🤖 AI

Theoria: Rewrite-Acceptability Verification over Informal Reasoning States

Das Papier stellt Theoria vor, eine Verifizierungsarchitektur, welche die Vertrauenswürdigkeit von KI-Antworten verbessert, indem sie Lösungen in auditierbare, typisierte Zustandsübergänge mit expliziten Begründungen umschreibt und dadurch ganzheitliche LLM-Richter bei der Erkennung verborgener Prämissen und fingierter Zitate übertrifft, während gleichzeitig eine hohe Präzision bei Expertenproblemen beibehalten wird.

Ursprüngliche Autoren: Ben Slivinski, Michael Saldivar

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ben Slivinski, Michael Saldivar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen brillanten, aber manchmal übermütigen Architekten ein, um eine Brücke zu entwerfen. Sie wollen nicht nur den fertigen Bauplan; Sie müssen wissen, warum jeder Balken genau dort platziert wurde, wo er ist. Wenn der Architekt sagt: „Dieser Balken kommt hierher, weil es sich richtig anfühlt“, können Sie der Brücke nicht vertrauen. Aber wenn er sagt: „Dieser Balken kommt hierher, weil Gesetz X gilt, und hier ist die Berechnung, die das beweist“, dann können Sie die Mathematik überprüfen.

Dies ist das Problem, das Theoria für die Künstliche Intelligenz löst.

Das Problem: Zwei fehlerhafte Wege, KI zu vertrauen

Derzeit haben wir zwei Hauptwege, um zu prüfen, ob die Antwort einer KI gut ist, und beide haben Schwachstellen:

Der „Mathematiker“-Ansatz (Formale Beweisassistenten): Dies ist, als würde man einen Roboter einstellen, der ausschließlich in strengem, unzerbrechlichem mathematischem Code spricht. Er ist perfekt, kann aber nur Probleme verstehen, die bereits in diesen Code übersetzt wurden. Die meisten realen Probleme (wie juristische Argumente oder wissenschaftliche Theorien) sind jedoch unordentlich und informell, sodass der Roboter sie nicht lesen kann.
Der „Bauchgefühl“-Ansatz (Skalare Richter): Dies ist, als würde man einen Menschen bitten, den Essay einer KI zu lesen und ihm eine Punktzahl von 1 bis 10 zu geben. Das deckt viel ab, aber die Punktzahl ist eine Blackbox. Sie wissen nicht, warum sie eine 7 erhalten hat. Hat die KI eine versteckte Annahme übersehen? Hat sie eine Quelle gefälscht? Sie erhalten nur eine Zahl und können diese später nicht auditieren.

Die Lösung: Der „Zustandsänderungs“-Detektiv

Theoria führt einen dritten Weg ein. Anstatt die KI zu verlangen, einen langen Essay zu schreiben oder alles in mathematischen Code zu übersetzen, zwingt Theoria die KI dazu, ihre Antwort als ein Schritt-für-Schritt-Protokoll von Zustandsänderungen umzuschreiben.

Man kann es sich wie eine Spielstand-Datei eines Videospiels oder ein Versionskontrollsystem (wie Git) für logisches Denken vorstellen.

Das Setup: Die KI beginnt mit einem „Zustand 0“ (der Aufgabenstellung).
Der Zug: Um zum Ergebnis zu gelangen, muss die KI einen Zug zu „Zustand 1“, dann zu „Zustand 2“ und so weiter vollziehen.
Die Regel: Für jeden einzelnen Zug muss die KI ein Ticket (eine Begründung) vorlegen. Ein Ticket kann nur einer der drei folgenden Typen sein:
1. Ein Zitat: „Ich verwende Theorem X.“
2. Eine Berechnung: „Ich habe gerechnet: 2+2=4.“
3. Eine gegebene Tatsache: „Die Aufgabe hat mir dies mitgeteilt.“

Der magische Trick: „Vollständigkeit der Änderung“

Hier liegt das Erfolgsgeheimnis. Theoria hat eine strikte Regel: Jede einzelne Änderung zwischen Zustand A und Zustand B muss durch das Ticket erklärt werden.

Wenn die KI versucht, eine versteckte Annahme einzuschmuggeln (wie „Angenommen, die Brücke ist aus Gold gebaut“) ohne ein Ticket, erkennt das System dies. Die „Änderung“ (das Hinzufügen der Gold-Annahme) erscheint im Protokoll, aber das Ticket (die Begründung) deckt sie nicht ab. Das System schreit: „Warte! Du hast den Zustand geändert, aber du hast uns nicht den Beleg dafür gezeigt!“

Dies zwingt die KI zur Ehrlichkeit. Sie kann eine Lüge nicht in einem langen Textabschnitt verstecken; sie muss den exakten Moment aufzeigen, in dem die Lüge in das Gespräch eingeführt wurde.

Wie es in der Praxis funktioniert

Der Solver: Eine KI versucht, ein Problem zu lösen.
Der Formalisierer: Eine zweite KI schreibt diese Lösung in das beschriebene „Zustandsänderungsprotokoll“ um. Wenn der Solver einen logischen Sprung gemacht hat, muss der Formalisierer dies als einen spezifischen Schritt festhalten.
Die Richter: Spezialisierte KI-Auditoren prüfen jeden Schritt.
- Ein „Mathematik-Richter“ prüft die Berechnungen.
- Ein „Zitations-Richter“ prüft, ob das referenzierte Theorem tatsächlich existiert und anwendbar ist.
- Ein „Fakten-Richter“ prüft, ob die Tatsache tatsächlich in der ursprünglichen Aufgabe enthalten war.
Das Urteil: Wenn jeder Schritt ein gültiges Ticket hat, ist die Antwort Zertifiziert. Wenn auch nur ein Schritt ein fehlendes oder ein falsches Ticket hat, ist die Antwort Abgelehnt.

Was das Paper herausgefunden hat

Die Autoren haben dies an schwierigen Problemen getestet (wie sie in Expertenprüfungen vorkommen, und fanden:

Hohes Vertrauen: Wenn Theoria eine Antwort als korrekt bezeichnet, ist sie in 91,4 % der Fälle auch korrekt.
Besser darin, hinterhältige Lügen zu entlarven: Wenn die KI versucht, eine Prämisse (eine versteckte Annahme) zu verbergen oder ein Zitat zu fälschen, entlarvt Theoria dies in 90,6 % der Fälle. Ein standardmäßiger „Bauchgefühl“-Richter entlarvt es nur in 62,5 % der Fälle.
Kein Zauber bei Rechenfehlern: Wenn die KI einfach nur eine einfache Rechnung falsch macht (wie zu sagen, dass 2+2=5 ist), erkennen sowohl Theoria als auch der Standardrichter dies etwa gleich oft. Der besondere Vorteil von Theoria liegt spezifisch im Aufspüren von versteckter Logik und gefälschten Quellen.
Komplementär: Theoria und Standardrichter scheitern an unterschiedlichen Problemen. Wenn man beide verwendet, kann man fast alle Fehler erfassen.

Das Fazit

Theoria versucht nicht, die KI intelligenter zu machen; es versucht, ihr logisches Denken auditierbar zu machen.

Es verwandelt einen vagen, unzuverlässigen Essay in ein transparentes Register von Änderungen. Es verspricht nicht, dass jede Antwort richtig sein wird (es lehnt etwa 43 % der Antworten ab, weil es sie nicht verifizieren kann), aber für die Antworten, die es genehmigt, können Sie den Beleg einsehen, die Mathematik prüfen und genau wissen, warum es sicher ist, ihnen zu vertrauen.

In einer Welt, in der KI Fakten halluzinieren könnte, ist Theoria das System, das sagt: „Zeig mir für jeden einzelnen Schritt den Beleg, oder ich unterschreibe das nicht.“

Technisches Resümee: Theoria – Verifizierung der Umschreib-Akzeptanz über informelle Reasoning-Zustände

1. Problemstellung

Das Paper adressiert das „Vertrauensproblem“ beim KI-gestützten Schließen: die Unterscheidung, wann eine KI-generierte Antwort eine begründete Zuverlässigkeit erzeugt, insbesondere in sicherheitskritischen Bereichen (Wissenschaft, Recht, Finanzen, Medizin). Aktuelle Ansätze stehen vor einem Dilemma:

Formale Proof-Assistenten (z. B. Lean, Coq): Bieten mathematische Gewissheit, scheitern aber an den meisten Problemverteilungen aufgrund der hohen Kosten und der semantischen Fragilität der Autoformalisierung von informellen, natürlichen Sprachanforderungen.
Skalare LLM-Judges: Bieten eine breite Abdeckung, produzieren jedoch opake Scores, die nicht auditierbar sind, die Kohärenzprobleme von LLMs erben und nicht identifizieren können, warum ein Beweis fehlerhaft ist (z. B. verborgene Prämissen, fabrikierte Zitate).

Die Kernherausforderung besteht darin, informelles Schließen zu verifizieren, ohne eine vollständige Formalisierung zu erfordern, während gleichzeitig sichergestellt werden muss, dass Fehler – insbesondere ungenannte Annahmen und logische Sprünge – sichtbar und auditierbar sind.

2. Methodik: Die Theoria-Architektur

Theoria führt eine Verifizierungsarchitektur ein, die die natürlichsprachliche Antwort eines Solvers in ein Proof Witness (Beweiszeugnis) umschreibt: eine Sequenz von typisierten Zustandsübergängen.

2.1 Das Umschreibungs-Framing

Anstatt einen Beweis als Textblock zu behandeln, zerlegt Theoria ihn in eine Trajektorie von Zuständen $(S_0, S_1, \dots, S_n)$ .

Zustand ( $S_i$ ): Eine geordnete Liste von Strings, die etablierte Fakten und das aktuelle Ziel repräsentieren.
Übergang: Ein Schritt von $S_{i-1}$ $S_{i - 1}$ zu $S_i$ $S_{i}$ wird durch einen spezifischen Justification Type (Begründungstyp) lizenziert:
1. Citation (Zitat): Ein Theorem, eine Definition oder eine Schlussregel.
2. Computation (Berechnung): Arithmetische oder symbolische Manipulation.
3. Problem Given (Gegebene Problemstellung): Fakten, die explizit im Text der Problemstellung enthalten sind.
Die Invariante der Vollständigkeit der Änderung (Completeness-of-Change Invariant): Jede semantische Differenz zwischen $S_{i-1}$ und $S_i$ muss durch die angegebene Begründung erklärt werden. Wenn eine Prämisse erforderlich ist, um den neuen Zustand abzuleiten, aber nicht in dem vorherigen Zustand oder der Begründung vorhanden ist, stellt dies eine unlizenzierte Mutation dar.

2.2 Verifizierungspipeline

Das System arbeitet in einer Schleife: Solve $\to$ Formalize $\to$ Judge $\to$ Filter $\to$ Repair.

Solver: Schlägt eine Lösung in natürlicher Sprache vor (tool-augmentiert, z. B. Websuche).
Formalizer: Schreibt die Lösung in das Zustandsübergangs-Zeugnis um. Er erzwingt, dass Prämissen vor ihrer Verwendung explizit vorhanden sein müssen.
Parallele spezialisierte Judges:
- Computation Judges: Berechnen Schritte von Grund auf neu.
- Citation Judges: Verifizieren die Existenz und Anwendbarkeit zitierter Theoreme gegen das spezifische State-Diff.
- Problem-Given Judges: Überprüfen Fakten gegen den Originaltext.
- Initial-State Judge: Auditiert $S_0$ , um sicherzustellen, dass keine unbegründeten Prämissen zu Beginn eingeführt werden.
- Alle Judges werden adversariell gepromptet, um Fehler zu finden, anstatt Plausibilität zu bestätigen.
Pedantry Filter (Pedanterie-Filter): Unterscheidet zwischen substanziellen Fehlern und übertriebener Strenge hinsichtlich informeller Notation oder Kompression.
Convention Lift (Konventions-Anhebung): Erlaubt dem System, einen Schritt zu akzeptieren, wenn eine standardmäßige, zitierfähige Domänenkonvention eine Ablehnung auflöst, vorausgesetzt, die Annahme wird explizit festgehalten.
Certify-or-Decline (Zertifizieren oder Ablehnen): Das System gibt eine binäre Entscheidung aus. Wenn alle Schritte bestehen (oder via Convention Lift gelöst wurden), ist die Antwort Zertifiziert. Wenn ein Schritt fehlschlägt und nicht innerhalb der Grenzen repariert werden kann, ist die Antwort Abgelehnt.

3. Zentrale Beiträge

Der primäre Beitrag des Papers ist nicht die Verwendung mehrerer Modelle oder das Schritt-Prüfen (was üblich ist), sondern das spezifische Witness-Format und dessen theoretische Garantien:

Expositionsgarantie (Proposition 4.4): Die Invariante der Vollständigkeit der Änderung wandelt verborgene Prämissen (globale Reasoning-Lücken) in lokale, beobachtbare unlizenzierte Mutationen um. Eine verborgene Prämisse muss entweder als neues Element im Zustand erscheinen (was eine Lizenzprüfung auslöst) oder die Invariante verletzen. Dies zwingt Fehler an die Oberfläche, wo sie durch lokale Judges detektierbar sind.
Fehlerklassen-Vorhersage (Proposition 4.5): Das Format sagt voraus, dass sich die Vorteile der Verifizierung in folgenden Bereichen konzentrieren werden:
- Verborgene Prämissen: Aufgedeckt als unlizenzierte Mutationen.
- Fabrikierte Zitate: Aufgedeckt, weil der Beleg explizit typisiert und gegen das Diff geprüft wird.
- Kein Vorteil: Arithmetische Fehler und die Fehlanwendung von Theorem (wo das Theorem existiert, aber falsch angewendet wird) erhalten keinen strukturellen Expositionsvorteil gegenüber Prosa, da der Fehler semantisch und nicht strukturell ist.
Dekomposition des Scheiterns: Das Paper unterscheidet zwischen Expositionsfehler (das Format verbirgt den Fehler) und Judge-Fehler (der Judge übersieht einen exponierten Fehler). Theoria zielt darauf ab, erstere zu minimieren und die letztere empirisch zu adressieren.

4. Empirische Ergebnisse

Die Evaluierung wurde auf HLE-Verified Gold (185 Expertenprobleme) und GPQA Diamond (65 Graduate-Level Naturwissenschaftsprobleme) durchgeführt.

4.1 Performance auf HLE-Verified Gold

Certified Precision: 91,4 % (96/105 korrekt) mit einem 95 % Wilson-KI von [84,5 %, 95,4 %].
Coverage (Abdeckung): 56,8 % (105/185 Probleme zertifiziert).
Asymmetrie: Abgelehnte Antworten waren ~5,0-mal wahrscheinlicher falsch als zertifizierte Antworten (42,5 % vs. 8,6 % Fehlerrate).
Vergleich zu Solver-only: Ein web-augmentierter Solver erreichte 83,8 % Genauigkeit bei 100 % Coverage. Die Theoria-Pipeline filterte einen signifikanten Teil der Fehler heraus und reduzierte die Fehlerrate im zertifizierten Bucket auf 8,6 %.
Vergleich zu holistischen Judges: Holistische LLM-Judges (die einen einzelnen Konfidenzscore zuweisen) erreichten eine vergleichbare Präzision (92,4–93,3 %) bei gleicher Coverage. Sie scheiterten jedoch an unterschiedlichen Problemen (Jaccard-Index 0,14–0,36), was auf komplementäre Fehlerabdeckung hindeutet.

4.2 Adversarielle Robustheit

Auf einem Benchmark von 95 vergifteten Beweisen (Injektion spezifischer Fehlertypen):

Gesamterkennung: Theoria entlarvte 94,7 % (90/95) vs. 83,2 % (79/95) für holistisches Judging ( $p = 0,0017$ ).
Spezifika der Fehlerklassen:
- Verborgene Prämissen: Theoria 90,6 % vs. Holistisch 62,5 % (28 Prozentpunkte Differenz).
- Fabrikierte Zitate: Theoria 100 % vs. Holistisch 90 %.
- Arithmetik/Fehlanwendung von Theorem: Die Performance war identisch (~95 % bzw. ~93 %), was die theoretische Vorhersage bestätigt, dass das Format keinen strukturellen Vorteil für diese Fehlertypen bietet.

4.3 Out-of-Distribution (GPQA Diamond)

Certified Precision: 97,1 % (33/34).
Coverage: 52,3 %.
Die hohe Präzision auf einem anderen Benchmark deutet darauf hin, dass die „Certify-or-Decline“-Grenze durch die Formalisierbarkeit des Reasonings getrieben wird und nicht durch benchmarkspezifische Kalibrierung.

4.4 Ensemble-Potenzial

Da Theoria und holistische Judges auf disjunkten Problemen scheitern, erreichten Ensemble-Strategien (z. B. Mehrheitsentscheid) 93,6 % Präzision bei 58,9 % Coverage, womit sie jede Einzelmethode übertrafen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Theoria einen Mechanismus für Scalable Oversight (skalierbare Aufsicht) bietet, der die Lücke zwischen rohem LLM-Output und formaler Verifizierung schließt.

Auditierbarkeit: Im Gegensatz zu skalaren Scores produziert Theoria einen menschenlesbaren Beweisverlauf, in dem jeder Schritt unabhängig angefochten werden kann.
Struktureller Vorteil: Das System verlässt sich nicht darauf, dass der Judge einen Beweis aus Prosa rekonstruiert. Stattdessen reduziert es die Verifizierungsaufgabe auf eine lokale Frage: „Lizenziert diese Begründung diese spezifische Zustandsänderung?“
Komplementarität: Das Paper argumentiert, dass Theoria kein Ersatz für holistische Judges ist, sondern ein komplementärer Ansatz. Die geringe Jaccard-Überlappung der Fehler deutet darauf hin, dass die Kombination strukturell unterschiedlicher Verifizierungsarchitekturen eine höhere Zuverlässigkeit liefert.
Limitierungen: Die Autoren räumen ein, dass Theoria keine Fehler erkennen kann, die keine beobachtbare Zustandsmutation erzeugen (z. B. subtile Fehlinterpretationen der Problemstellung in $S_0$ ), und dass es derzeit auf LLM-Judges statt auf formalen Backends (wie Lean oder SMT-Solvern) basiert, obwohl es darauf ausgelegt ist, kompatibel zu sein.

Zusammenfassend zeigt das Paper, dass durch die Durchsetzung einer Vollständigkeit der Änderung (Completeness-of-Change Invariant) auf informellem Schließen möglich ist, verborgene Annahmen und fabrikierte Evidenzen aufzudecken, die Standard-Holistic-Evaluations übersehen, und somit eine rigorose, auditierbare Grenze für das Vertrauen in KI-generiertes Schließen zu schaffen.