🤖 AI

ForEx: A Formal Verification Framework for Explainable Reasoning in Logical Fallacy Detection and Annotation

Dieses Paper stellt ForEx vor, ein Framework zur formalen Verifizierung, das LLM-generierte Erklärungen in Lean4 übersetzt, um die Ableitbarkeit von Argumentationsketten zu verifizieren, wobei eine signifikante Lücke zwischen hohen formalen Verifizierungsraten und einer geringen Übereinstimmung der Labels mit menschlichen Annotationen bei der Detektion logischer Fehlschlüsse aufzeigt.

Ursprüngliche Autoren: Pei-Cing Huang, Chienyu Liu, Chan Hsu, Ci-Siang Chen, Pei-Ju Lee, Yihuang Kang

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pei-Cing Huang, Chienyu Liu, Chan Hsu, Ci-Siang Chen, Pei-Ju Lee, Yihuang Kang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Richtige Antwort, falsche Begründung“

Stellen Sie sich vor, Sie schreiben eine Mathearbeit. Sie geben die richtige Endantwort an, aber Ihre Rechenschritte sind ein einziges Chaos oder Sie haben die Antwort nur durch Raten richtig bekommen. In einer normalen Prüfung würden Sie die volle Punktzahl erhalten. Aber in der Welt der Künstlichen Intelligenz (KI), speziell bei Large Language Models (LLMs), ist dies ein riesiges Problem.

Aktuelle Tests für KI prüfen nur, ob das finale Label (die Antwort) richtig ist. Sie prüfen nicht, ob die Begründung (die Schritte) diese Antwort tatsächlich stützt. Eine KI könnte sagen: „Dieser Satz enthält einen logischen Fehlschluss“, und damit recht haben, aber ihre Erklärung könnte völliger Unsinn sein. Oder sie könnte falsch liegen, aber ihre Erklärung klingt sehr überzeugend.

Die Lösung: ForEx (Der „Logik-Übersetzer“)

Die Autoren haben ein Werkzeug namens ForEx entwickelt. Betrachten Sie ForEx als einen strengen Übersetzer und einen Schiedsrichter, die zusammenarbeiten.

Der Übersetzer (Lean4): Wenn eine KI eine Erklärung liefert, übersetzt ForEx diese unstrukturierte menschliche Sprache in Lean4, was wie eine superstrenge, computerlesbare Sprache für Mathematik und Logik ist. Es ist, als würde man ein lockeres Gespräch in einen juristischen Vertrag übersetzen, bei dem jedes Wort präzise sein muss.
Der Schiedsrichter (Der Compiler): Sobald die Erklärung in Lean4 vorliegt, versucht ein Computerprogramm, sie „auszuführen“. Wenn die Logik hält, sagt der Computer: „Bestanden!“ Wenn die Logik fehlerhaft ist, sagt er: „Nicht bestanden!“

Wichtige Unterscheidung: Das Papier stellt klar, dass das Bestehen dieses Tests nicht bedeutet, dass die KI den gesamten menschlichen Satz perfekt verstanden hat. Es bedeutet lediglich: „Gegeben die spezifischen Regeln, die wir aufgeschrieben haben, folgt die Schlussfolgerung der KI logisch aus ihrer eigenen Erklärung.“

Die neue Bewertungstabelle: Die Verifizierungsmatrix

Anstatt nur „Richtig“ oder „Falsch“ zu sagen, haben die Autoren eine neue Bewertungsmatrix erfunden, die LLM Argument Verification Matrix. Sie unterteilt die Ergebnisse in vier Felder, ähnlich wie ein Tic-Tac-Toe-Spielfeld:

Feld 1: Der Goldstandard (Compilable-Correct / Kompilierbar-Richtig)
- Die Analogie: Sie haben die richtige Antwort gegeben und Ihre Rechenschritte sind perfekt.
- Bedeutung: Das Label der KI stimmt mit dem des menschlichen Experten überein UND der Computer hat verifiziert, dass die Argumentation solide ist.
Feld 2: Das verborgene Juwel (Compilable-Alternative / Kompilierbar-Alternativ)
- Die Analogie: Sie haben eine andere Antwort als der Lehrer gegeben, aber Ihre Rechenschritte sind perfekt und beweisen, dass Ihre Antwort unter einer anderen Interpretation gültig ist.
- Bedeutung: Das Label der KI unterscheidet sich vom menschlichen Experten, ABER der Computer hat verifiziert, dass die Argumentation solide ist. Dies deutet darauf hin, dass der menschliche Experte möglicherweise eine gültige Sichtweise auf den Satz übersehen hat.
Feld 3: Der Glückstreffer (Uncompilable-Correct / Nicht kompilierbar-Richtig)
- Die Analogie: Sie haben die richtige Antwort gegeben, aber Ihre Rechenschritte sind hingeschmiert und ergeben keinen Sinn.
- Bedeutung: Die KI stimmte mit dem menschlichen Label überein, aber der Computer konnte die Begründung nicht verifizieren. Sie könnte die Antwort nur geraten haben.
Feld 4: Das doppelte Versagen (Uncompilable-Incorrect / Nicht kompilierbar-Falsch)
- Die Analogie: Sie haben die falsche Antwort gegeben und Ihre Rechenschritte sind Unsinn.
- Bedeutung: Die KI war falsch und ihre Begründung war fehlerhaft.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher testeten dies an einem Datensatz namens LOGIC-Climate (etwa 100 Beispiele für logische Argumente). Hier ist, was sie entdeckten:

KI ist überraschend gut darin, Logikketten aufzubauen: In über 90 % der Fälle konnten die Erklärungen der KI in Lean4 übersetzt werden und bestanden die Logikprüfung des Computers.
Aber KI ist schlecht darin, menschliche Labels zu treffen: Trotz guter Logikketten stimmte die KI nur in etwa 20 % der Fälle mit den menschlichen Experten überein.
Das „Alternative“-Feld ist riesig: Meistens war die KI nicht „falsch“; sie befand sich im Feld 2 (Compilable-Alternative). Sie fand eine logisch fundierte Begründung, um einen Satz anders zu bewerten als der menschliche Experte.

Die Erkenntnis: Es gibt eine massive Lücke zwischen „Kann die KI ihre Argumentation beweisen?“ und „Stimmt die KI mit Menschen überein?“. Das Papier legt nahe, dass viele menschliche Labels zu eng gefasst sind und gültige Interpretationen übersehen.

Der „Gruppenchat“ für Annotationen

Um das Problem zu lösen, dass Menschen und KI uneinig sind, entwickelten die Autoren eine Consensus-Guided Annotation Pipeline (Konsensgesteuerte Annotations-Pipeline).

Die Analogie: Stellen Sie sich ein Klassenzimmer vor, in dem der Lehrer (Mensch) und 15 Schüler (KI-Modelle) eine Prüfung bewerten. Normalerweise, wenn der Lehrer „A“ sagt und die Schüler „B“ sagen, gehen wir davon aus, dass die Schüler falsch liegen.
Der ForEx-Ansatz: Wir schauen uns nur die Schüler an, die bewiesen haben, dass ihre Logik solide ist (den Lean4-Check bestanden haben). Wenn eine Gruppe dieser „schlauen“ Schüler alle übereinstimmend ein Label wählt, das der Lehrer übersehen hat, markieren wir dies als potenzielles „Alternatives“ Label.
Das Ergebnis: Sie fanden einige Fälle, in denen die KI-Modelle kollektiv einen gültigen logischen Pfad sahen, den das ursprüngliche menschliche Label nicht erfasste. Sie fügten diese Fälle dem Datensatz hinzu, aber nur für jene Fälle, bei denen eine hohe Übereinstimmung (hoher Konsens) herrschte.

Zusammenfassung

Das Papier argumentiert, dass wir aufhören müssen, nur zu prüfen, ob eine KI das „richtige“ Label erhält. Wir müssen stattdessen prüfen, ob ihre Argumentation Bestand hat, wie ein mathematischer Beweis.

Sie fanden heraus, dass KI-Modelle tatsächlich sehr gut darin sind, logische Beweise aufzubauen (90 % Erfolgsquote), aber oft nicht mit menschlichen Experten übereinstimmen. Dies deutet darauf hin, dass menschliche Experten beim Labeln logischer Fehlschlüsse möglicherweise zu starr sind und es gültige, logische Wege gibt, Sätze zu interpretieren, die aktuelle menschliche Labels nicht erfassen. ForEx ist ein Werkzeug, um diese „verborgenen“ gültigen Interpretationen zu finden.

Technisches Resümee: ForEx – Ein Framework zur formalen Verifizierung für erklärbares Schließen bei der Detektion logischer Fehlschlüsse

1. Problemstellung

Die aktuelle Evaluierung von Large Language Models (LLMs) bei der Detektion logischer Fehlschlüsse stützt sich überwiegend auf die Vorhersagegenauigkeit (Korrektheit des Labels). Dieser Ansatz versäumt es jedoch zu verifizieren, ob die bereitgestellte Begründung das vorhergesagte Label tatsächlich stützt. Korrekte Vorhersagen können aus oberflächlichen Korrelationen statt aus echter logischer Ableitung resultieren, während inkorrekte Vorhersagen von einer Begründung begleitet sein können, die unter einer spezifischen Interpretation formal fundiert ist, aber von menschlichen Annotationen abweicht.

Darüber hinaus formalisieren bestehende symbolische Ansätze (z. B. NL2FOL) typischerweise das Eingangsargument, um Erfüllbarkeit zu prüfen, anstatt die vom Modell generierte Begründungskette zu formalisieren. Zudem neigen Standard-Annotationspraktiken dazu, interpretative Variationen in einzelne „Gold“-Labels zu komprimieren, was potenziell plausible alternative Lesarten eines Arguments verschleiert. Es mangelt an einem Framework, das vorhergesagte Labels, generierte Erklärungen und die formale Ableitbarkeit dieser Erklärungen gemeinsam analysiert.

2. Methodik: Das ForEx-Framework

Die Autoren schlagen ForEx (Formal Verification for Explainable Reasoning) vor, ein Framework, das LLM-generierte natürliche Sprach-Erklärungen in Lean4 (einen formalen Beweisassistenten) übersetzt, um zu verifizieren, ob die übersetzte Begründung unter den kodierten Prämissen ableitbar ist. Der Arbeitsablauf besteht aus drei Phasen:

A. Generierung von Begründungskandidaten

Ein „Reasoner“-Modell erhält eine Aussage und generiert bis zu $k$ Kandidaten. Jeder Kandidat ist ein Tupel $(f_i, a_i, s_i)$ , bestehend aus:

$f_i$ : Der vorhergesagte Typ des logischen Fehlschlusses.
$a_i$ : Die natürliche Sprach-Erklärung (Rationale).
$s_i$ : Die Lean4-Struktur, welche die Erklärung formalisiert.

Ein „Modifier“ konvertiert $s_i$ in den initialen Lean4-Code.

B. Ausführungs-Feedback & Lean4-Verifizierung

Diese Phase nutzt eine iterative Reparatur-Schleife, um sicherzustellen, dass der generierte Lean4-Code kompiliert:

Kompilierungsversuch: Der „Executor“ versucht, den Lean4-Code zu kompilieren.
Feedback-Schleife: Falls die Kompilierung fehlschlägt (Zustand F), erhält der Executor die Fehlermeldung und die ursprüngliche Erklärung $a_i$ , um den Code zu revidieren.
Beschränkungen: Revisionen sind strikt auf die ursprüngliche Erklärung und den initialen Code beschränkt, um semantische Drift zu verhindern; der Executor darf keinen neuen logischen Inhalt einführen.
Terminierung: Die Schleife läuft weiter, bis der Code erfolgreich kompiliert (Zustand T) oder die maximale Anzahl an Reparatur-Iterationen ( $iter_{max}$ ) erschöpft ist.

C. Bewertung der Label-Konsistenz

Das Framework führt die LLM Argument Verification Matrix ein, um die Korrektheit des Labels von dem Status der formalen Verifizierung zu entkoppeln. Die Matrix klassifiziert Ausgaben in vier Quadranten basierend auf zwei Achsen:

Lean4-Verifizierung: Pass (kompiliert) vs. Fail (nicht kompiliert).
Label-Konsistenz: Match (Vorhersage entspricht der menschlichen Annotation) vs. Mismatch.

Die vier resultierenden Kategorien sind:

Compilable-Correct (CC): Pass & Match.
Compilable-Alternative (CA): Pass & Mismatch (weist auf eine formal valide Begründungskette hin, die ein anderes Label unterstützt als die menschliche Annotation).
Uncompilable-Correct (UC): Fail & Match.
Uncompilable-Incorrect (UI): Fail & Mismatch.

D. Konsensgestützte Annotations-Pipeline

Um die Annotations-Ambiguität zu adressieren, schlagen die Autoren eine Pipeline vor, die:

Modelle und menschliche Annotationen als Multi-Hot-Vektoren über Fehlschluss-Kategorien darstellt.
PCA (Hauptkomponentenanalyse) und die Mahalanobis-Distanz verwendet, um Ausreißer-Modelle zu identifizieren und zu filtern.
Paarweise Jaccard-Distanzen berechnet, um „High-Consensus“-Aussagen (geringe Diskrepanz) zu identifizieren.
Annotationen für High-Consensus-Aussagen augmentiert, falls mindestens 50 % der beibehaltenen Modelle ein spezifisches Label unter formaler Verifizierung zuweisen.

3. Zentrale Beiträge

ForEx-Framework: Ein neuartiges System, das LLM-generierte Erklärungen in Lean4 übersetzt und so eine maschinenprüfbare Analyse formalisierter Begründungsketten ermöglicht, anstatt nur Eingangsargumente zu prüfen.
LLM Argument Verification Matrix: Eine Metrik, die die Label-Konsistenz von dem Status der formalen Verifizierung trennt und Fälle offenlegt, in denen Modelle eine formal ableitbare Begründung liefern, die den bestehenden menschlichen Labels widerspricht (die Kategorie „Compilable-Alternative“).
Konsensgestützte Annotations-Pipeline: Eine Methode, die menschliche Standards, Multi-LLM-Übereinstimmung und formale Verifizierung kombiniert, um die Annotationsanalyse und die konservative Label-Augmentierung zu unterstützen, wobei Annotations-Diskrepanzen als Signal für interpretative Variationen statt als Rauschen behandelt werden.

4. Experimentelle Ergebnisse

Das Framework wurde auf dem LOGIC-Climate Datensatz (1.074 Instanzen, 13 Fehlschluss-Kategorien) evaluiert, unter Verwendung eines 10 % Stichproben-Subsets und 15 verschiedener Reasoner-Modelle (einschließlich „Thinking“- und „Non-Thinking“-Varianten).

Kompilierungserfolgsrate: Die durchschnittliche Erfolgsrate für die Lean4-Kompilierung stieg von 36,70 % (initial) auf 98,65 % nach vier Reparatur-Iterationen. Die meisten Gewinne traten nach der ersten Iteration auf.
Verifizierung vs. Label-Übereinstimmung:
- Die kombinierte Rate aus Compilable-Correct (CC) + Compilable-Alternative (CA) war konsistent hoch und überstieg für die meisten Modelle 90 % (mit einem Spitzenwert von 97,59 %). Dies zeigt, dass die überwiegende Mehrheit der LLM-Outputs in formale Begründungsketten übersetzt werden kann, die die Verifizierung bestehen.
- Die CC-Rate (Übereinstimmung mit menschlichen Labels) war jedoch signifikant niedriger und lag bei den Top-Modellen etwa zwischen 17 % und 23 %.
- Die CA-Rate war dominant, was darauf hindeutet, dass viele formal verifizierte Begründungsketten Labels unterstützen, die von den menschlichen Annotationen abweichen.
Fehleranalyse:
- Die Uncompilable-Correct (UC)-Raten waren sehr gering (<2 %), was bedeutet, dass korrekte Labels in diesem Setting selten ohne eine verifizierbare Begründungskette auftreten.
- Uncompilable-Incorrect (UI)-Fehler waren oft auf „No Fallacy“ (NF)-Vorhersagen zurückzuführen, was potenziell durch den Mangel an Kontext in isolierten Einzel-Satz-Inputs verursacht wurde.
Annotations-Augmentierung: Die konsensgestützte Pipeline identifizierte eine Teilmenge von High-Consensus-Aussagen. Die augmentierten Annotationen erreichten einen Recall von 0,77 gegenüber den ursprünglichen menschlichen Annotationen, wodurch die meisten Original-Labels bewahrt und gleichzeitig formal gestützte Alternativen hinzugefügt wurden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ForEx die LLM-Evaluierung über die einfache Label-Korrektheit hinaus zu einer maschinenprüfbaren Analyse formalisierter Begründungsketten führt.

Systematischer Gap: Die Ergebnisse legen eine systematische Lücke zwischen formaler Ableitbarkeit und Label-Übereinstimmung offen. Die hohe Prävalenz von „Compilable-Alternative“-Ausgaben deutet darauf hin, dass bestehende menschliche Annotationen möglicherweise nicht alle plausiblen Interpretationen von Eingangsargumenten erfassen oder dass Modelle unter anderen Annahmen korrekt schlussfolgern.
Jenseits der Vorhersage: Das Framework demonstriert, dass ein Modell eine Begründungskette liefern kann, die formal valide ist (unter den kodierten Prämissen ableitbar), selbst wenn sie dem „Gold“-Label widerspricht. Diese Unterscheidung ist durch Standard-Vorhersagemetriken unsichtbar.
Nutzen der Annotation: ForEx wird nicht nur als Verifizierungswerkzeug präsentiert, sondern auch als Mechanismus für die nachgelagerte Annotationsanalyse. Es kann Fälle identifizieren, in denen Gold-Labels unzurereichend sein könnten oder in denen mehrere valide Interpretationen existieren, und so die Augmentierung von Datensätzen mit konsensbasierten Alternativ-Labels unterstützt.

Die Autoren bleiben hinsichtlich der Implikationen bescheiden und merken an, dass die formale Verifizierung in Lean4 zwar die Ableitbarkeit unter kodierten Prämissen zertifiziert, aber nicht die Garantie für die semantische Übereinstimmung mit der ursprünglichen natürlichen Sprache bietet. Sie räumen ein, dass natürliche Sprache kein vollständig spezifiziertes semantisches Fundament besitzt und formale Ergebnisse die Fähigkeiten des Modells daher überschätzen könnten, falls die Formalisierung selbst unvollkommen ist. Zukünftige Arbeiten sollen die Abstimmung zwischen Verifizierungsergebnissen und semantischer Korrektheit verbessern, indem reichhaltigere Argumentstrukturen und kontextuelle Informationen integriert werden.