Iterate Until Retrieved: Factual Nugget Optimization for Discoverable Continual Corrections in Agentic RAG
Dieser Beitrag stellt die Iterative Nugget-Optimierung (INO) vor, eine Methode zur Laufzeit der Indizierung, die freie faktische Korrekturen durch iterative Verfeinerung mittels Tests mit produktiven RAG-Agenten in optimierte „faktische Nuggets" überführt, um deren Auffindbarkeit und effektive Nutzung in B2B-Wissensassistenzsystemen sicherzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie arbeiten für einen sehr intelligenten, hilfsbereiten Roboter-Assistenten, der Fragen zu den Produkten eines Unternehmens beantwortet. Manchmal macht der Roboter einen Fehler bei einer Tatsache. Ein menschlicher Nutzer könnte sagen: „Tatsächlich ist das nicht richtig. Das Zurücksetzen des Passworts funktioniert nur für Manager, nicht für normale Mitarbeiter."
In der Vergangenheit war die Behebung dieses Problems schwierig. Man konnte nicht einfach das massive Handbuch des Roboters bearbeiten, da dies andere Dinge beschädigen könnte, und der Roboter die neue Regel möglicherweise nicht „hört", wenn sie in einem riesigen Dokument versteckt ist.
Dieser Artikel stellt eine neue Methode vor, um den Roboter zu unterrichten: Iterative Nugget-Optimierung (INO). Denken Sie daran als ein System des „Versuchens, Scheiterns und Justierens", das eine Korrektur des Nutzers in eine winzige, extrem haltbare Faktenkarte verwandelt, die als „faktisches Nugget" bezeichnet wird.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Das Problem: Die „Nadel im Heuhaufen"
Stellen Sie sich die Wissensdatenbank des Roboters als eine riesige Bibliothek mit Millionen von Büchern (Dokumenten) vor. Wenn ein Nutzer eine Frage stellt, muss der Roboter das richtige Buch sofort finden.
- Das Problem: Wenn Sie einfach eine neue Faktenkarte schreiben und in die Bibliothek legen, könnte der Roboter sie übersehen. Der Nutzer könnte fragen: „Wie setze ich ein Passwort zurück?", aber die neue Karte trägt den Titel „SSO-Zurücksetzungsrichtlinie für Manager". Der Roboter verbindet die beiden möglicherweise nicht, weil die Wörter nicht perfekt übereinstimmen.
2. Die Lösung: Das „Faktische Nugget"
Anstatt die gesamte Bibliothek umzuschreiben, erstellt das System ein faktisches Nugget.
- Was ist es? Eine winzige, in sich geschlossene Notiz (wie ein Haftnotiz), die genau eine korrigierte Tatsache aussagt.
- Das Ziel: Diese Notiz muss so klar und gut beschriftet sein, dass der Roboter sie sofort findet, egal wie der Nutzer später die Frage stellt.
3. Der Zaubertrick: „Die Probefahrt" (INO)
Dies ist die Kerninnovation. Anstatt nur die Notiz zu schreiben und auf das Beste zu hoffen, führt das System eine Probefahrt für die Notiz durch, bevor sie live geschaltet wird.
Stellen Sie sich INO als einen Proberaum vor:
- Entwurf erstellen: Das System nimmt die Korrektur des Nutzers und schreibt einen Entwurf für ein Nugget.
- Der Testlauf: Es platziert diesen Entwurf in die Bibliothek des Roboters und stellt dem Roboter eine Reihe von Fragen. Es fragt nicht nur die ursprüngliche Frage, sondern viele verschiedene Versionen (z. B. „Wie ändere ich mein Passwort?", „Kann ich meine Anmeldung zurücksetzen?", „Wer kann Passwörter zurücksetzen?").
- Der „Scheiterns"-Check: Wenn der Roboter das Nugget nicht findet oder stattdessen das falsche Buch findet, gibt das System nicht auf.
- Die Reflexion: Ein KI-„Coach" untersucht, warum der Roboter gescheitert ist. Klingte der Titel zu technisch? Fehlte ein Schlüsselwort?
- Die Umschreibung: Der Coach schreibt das Nugget um, um es leichter auffindbar zu machen. Vielleicht fügt er ein Synonym hinzu oder klärt den Titel.
- Wiederholen: Das System testet die neue Version erneut. Es wiederholt diese Schleife (bis zu 3 Mal), bis der Roboter das Nugget bei jeder Frage immer findet.
4. Die Ergebnisse: Warum es wichtig ist
Die Forscher testeten dies an realen Geschäftsrobotern (einer, der Kundenfragen beantwortet, und einem anderen, der Support-Ingenieure unterstützt).
- Die Basislinie: Ohne diese Probefahrtschleife fand der Roboter die neue Tatsache nur in 50–60 % der Fälle.
- Mit INO: Der Roboter fand die neue Tatsache in 77–97 % der Fälle.
- Die Auswirkung: Da der Roboter die Tatsache fand, gab er viel häufiger die richtige Antwort. Er lernte nicht nur die exakte Frage auswendig, sondern lernte, die Idee hinter der Frage zu erkennen, selbst wenn die Wörter unterschiedlich waren.
5. Status in der Praxis
Dies ist nicht nur eine Theorie. Der Artikel besagt, dass dieses System bereits in der Produktion für ihre Kunden läuft. Es verarbeitet jede Woche Hunderte dieser „Nuggets" und korrigiert Fehler automatisch, ohne dass ein Mensch das Gehirn des Roboters manuell bearbeiten muss.
Kurz gesagt: Der Artikel lehrt uns, wie man eine einzelne Korrektur eines Nutzers in einen „Super-Fakt" verwandelt, der garantiert vom Roboter gefunden wird, indem man dem Roboter erlaubt, ihn immer wieder zu finden, bis er es richtig macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.