Evidence-Grounded Verified Agentic Reasoning: A Path Toward Eliminating LLM Hallucination in Empirical Inference via Tool-Attested Kernel Proofs
Das Papier stellt EG-VAR vor, eine auf Lean 4 basierende agentische Reasoning-Architektur, die Halluzinationen von LLMs in der empirischen Inferenz eliminiert, indem sie sicherstellt, dass alle verifizierten Ausgaben strukturell aus attestierten Tool-Aufrufen und kernel-geprüften Beweisen abgeleitet werden, während sie jede nicht gestützte Behauptung explizit auditiert oder unterlässt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen super-intelligenten, gesprächigen Roboter-Assistenten (ein LLM), der es liebt, Geschichten über die Welt zu erzählen. Das Problem? Manchmal wird dieser Roboter so selbstsicher in seinen eigenen Erinnerungen, dass er Fakten erfindet oder die tatsächlichen Beweise, die direkt vor ihm liegen, ignoriert. Es ist wie ein Schüler, der, wenn er gebeten wird, eine Matheaufgabe gegen das Lehrbuch zu prüfen, einfach die Antwort aufschreibt, von der er glaubt, dass sie richtig ist, weil er sie aus einem Traum erinnert, selbst wenn das Lehrbuch etwas anderes sagt.
Lange Zeit versuchten Menschen, dies zu beheben, indem sie dem Roboter einen „Werkzeugkasten“ mit externen Quellen gaben, wie etwa einen Taschenrechner oder eine Datenbank. Aber das Paper argumentiert, dass es nicht ausreicht, dem Roboter nur einen Werkzeugkasten zu überreichen. Der Roboter könnte den Werkzeugkasten immer noch ignorieren oder er könnte zwar die Zahlen aus dem Werkzeugkasten verwenden, aber dann die Logik so verbiegen, dass sie zu seiner eigenen Geschichte passt. Es ist, als würde man einem Koch eine frische, verifizierte Zutat geben, ihn aber entscheiden lassen, wie er sie kocht; das fertige Gericht kann trotzdem eine Katastrophe sein.
Die große Idee: Die „Verifizierte Behauptungs“-Fabrik
Die Autoren, angeführt von Junyu Ren, haben ein neues System namens EG-VAR (Evidence-Grounded Verified Agentic Reasoning) entwickelt. Betrachten Sie dies nicht nur als einen Roboter, der Fragen beantwortet, sondern als eine Hochsicherheitsfabrik mit einem sehr strengen, unermüdlichen Inspektor.
So funktioniert diese Fabrik, Schritt für Schritt:
- Die Werkzeugschicht (Der vertrauenswürdige Kurier): Zuerst holt eine vertrauenswürdige, langweilige, deterministische Maschine (nicht der gesprächige Roboter) die Rohdaten aus der Quelle – wie etwa einer Tabelle oder einer Datenbank. Diese Maschinen stempeln diese Zahlen mit einem „Verifiziert“-Siegel. Dies ist der einzige Weg, um echte Daten in die Fabrik zu bringen.
- Der Formalisierer (Der Übersetzer): Der gesprächige Roboter (das LLM) wird dann gebeten, die menschliche Frage in eine strikte, mathematische Sprache namens Lean 4 zu übersetzen. Es ist, als würde man den Roboter bitten, einen rechtlichen Vertrag oder einen mathematischen Beweis zu schreiben, anstatt eines Absatzes.
- Der Kernel (Der unermüdliche Inspektor): Dies ist der wichtigste Teil. Ein winziges, super-strenges Computerprogramm (ein Lean-Kernel) fungiert als Inspektor. Er prüft den „Vertrag“ des Roboters Zeile für Zeile.
- Die Goldene Regel: Der Inspektor hat eine Regel, die besagt: „Du darfst nicht behaupten, dass eine Tatsache VERIFIZIERT ist, es sei denn, du kannst auf eine gestempelte, versiegelte Zahl vom vertrauenswürdigen Kurier hinweisen.“
- Wenn der Roboter versucht, eine Zahl zu erfinden, oder wenn er versucht, eine Zahl zu verwenden, aber die Logik falsch verknüpft, lehnt der Inspektor das Ganze ab.
- Das Ergebnis:
- Wenn der Beweis besteht, druckt die Fabrik eine VERIFIZIERTE Antwort aus. Diese Antwort kommt mit einem „wiederholbaren Audit-Pfad“, was bedeutet, dass jeder die Mathematik später erneut durchspielen und genau sehen kann, wie die Antwort aus den Originaldaten aufgebaut wurde.
- Wenn der Beweis fehlschlägt, rät die Fabrik nicht. Sie sagt ABSTAIN (was bedeutet: „Ich weiß es nicht“ oder „Ich kann das nicht beweisen“). Es ist ein ehrliches „Ich gebe auf“ statt einer selbstbewussten Lüge.
Was das Paper tatsächlich herausgefunden hat
Die Autoren haben dieses System an einem spezifischen Satz von 120 Fragen über Tabellen (Tabellenkalkulationen) getestet.
- Die „perfekte“ Punktzahl: Wenn die Fragen klar waren und der Roboter die richtigen Werkzeuge zur Verfügung hatte, erreichte EG-VAR 120 von 120 Fragen richtig. Es war 100 % genau.
- Der Wettbewerb: Andere Systeme, die dieselben Werkzeuge verwendeten, aber keinen strengen Inspektor hatten, bekamen nur 114 von 120 richtig (95 %). Sie machten immer noch Fehler.
- Der „Kontrafaktische Test“: Dies war der wahre Stresstest. Die Autoren nahmen Tabellen und änderten heimlich die Zahlen, um dem widersprechen, was der Roboter aus seinem Training „wusste“ (wie zum Beispiel die Bevölkerung eines Landes in eine winzige Zahl zu ändern).
- Ohne den strengen Inspektor ignorierte der Roboter die neuen Zahlen und hielt an seinen alten Erinnerungen fest (80 % bis 90 % der Zeit).
- Mit EG-VAR blieb das System zu 100 % treu gegenüber den neuen, geänderten Zahlen. Es spielte keine Rolle, wie stark die alte Erinnerung des Roboters war; der Inspektor zwang ihn, die neuen Daten zu verwenden.
Was das Paper ausschließt (Die „No-Go-Zonen“)
Das Paper ist sich sehr klar darüber, was dieses System nicht ist und was es nicht kann:
- Es ist keine magische Heilung für alle Halluzinationen. Das Paper stellt explizit fest, dass der Roboter immer noch Fehler bei der Übersetzung der menschlichen Frage in die mathematische Sprache machen kann. Wenn der Roboter die Frage missversteht und das falsche mathematische Problem schreibt, wird der Inspektor dieses mathematische Problem zwar perfekt prüfen, aber die Antwort wird für die ursprüngliche Frage dennoch falsch sein.
- In ihren Tests trat dieser „Übersetzungsfehler“ etwa 3,3 % der Zeit bei einem Modell und 1,7 % bei einem stärkeren Modell auf.
- Es behebt keine schlechten Daten. Wenn die ursprüngliche Tabelle eine Lüge enthält, wird das System diese Lüge treu verifizieren. Das System garantiert, dass die Antwort aus der Quelle stammt, nicht dass die Quelle wahr ist.
- Es ist kein „Vielleicht“-System. Das Paper argumentiert gegen Systeme, die einen „Konfidenzwert“ angeben (wie „Ich bin mir zu 80 % sicher“). Stattdessen verwendet EG-VAR ein striktes „Ja/Nein“-Tor. Man hat entweder einen verifizierten Beweis oder ein ehrliches „Ich verzichte“.
Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich hinsichtlich der strukturellen Sicherheit ihres Systems. Sie haben mathematisch bewiesen (Theoreme 3.1 und 3.2), dass:
- Keine VERIFIZIERTE Antwort jemals erscheinen kann, ohne dass ein gestempelter Werkzeugaufruf sie untermauert.
- Jeder Schritt der Logik in einer VERIFIZIERTEN Antwort vom Kernel geprüft wurde und mathematisch gültig ist.
Was die Genauigkeit der Übersetzung der menschlichen Sprache durch den Roboter betrifft, sind sie jedoch vorsichtiger. Sie haben die Fehlerraten (3,3 % und 1,7 %) in ihren spezifischen Tests gemessen und legen nahe, dass diese Zahlen besser werden könnten, wenn man den Roboter intensiver darauf trainiert, Fragen korrekt zu übersetzen. Aber der „Sicherheitsboden“ – die Garantie, dass das System nicht heimlich lügt – ist in die Architektur eingebaut, nicht nur in das Gehirn des Roboters.
Das Fazit
EG-VAR ist wie eine Fabrik, die sich weigert, ein Produkt zu versenden, sofern sie nicht für jedes einzelne verwendete Teil einen Beleg vorlegen kann. Wenn der Roboter versucht, ein gefälschtes Teil einzuschleusen, stoppt die Fabrik das Band und sagt: „Nee, das können wir nicht liefern.“ Es verwandelt das Problem der „lügenden Roboter“ in ein Problem der „fehlenden Quittungen“, was viel einfacher zu erfassen und zu beheben ist. Auch wenn es nicht jedes Problem löst (der Robbot kann immer noch eine Bestellung missverstehen), stellt es sicher, dass, wenn die Fabrik „Verifiziert“ sagt, sie das auch wirklich meint.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.