💬 NLP

Fixing FOLIO and MALLS: Verified Annotations and an LLM-assisted Framework to Focus Human Relabeling

Diese Arbeit deckt signifikante Annotationsfehler in den FOLIO- und MALLS NL-to-FOL-Benchmarks auf, veröffentlicht korrigierte Ground Truths, welche die Evaluationsmetriken für LLMs erheblich verbessern, und schlägt ein LLM-gestütztes Framework vor, das eine effiziente menschliche Neubewertung ermöglicht, um mit minimalem Review-Aufwand eine hohe Datensatzgenauigkeit zu erreichen.

Ursprüngliche Autoren: Andrea Brunello, Cristian Curaba, Luca Geatti, Michele Mignani, Angelo Montanari, Nicola Saccomanno

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrea Brunello, Cristian Curaba, Luca Geatti, Michele Mignani, Angelo Montanari, Nicola Saccomanno

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Logik zu verstehen. Um dies zu tun, geben Sie dem Roboter ein Lehrbuch voller Geschichten in einfachem Englisch, gepaart mit ihren „mathematischen Übersetzungen“ in eine strikte Sprache namens Prädikatenlogik erster Stufe (First-Order Logic, FOL). Der Roboter studiert diese Paare, um zu lernen, wie er neue Geschichten selbstständig zu übersetzen.

In dieser Arbeit geht es darum, die Entdeckung, dass das Lehrbuch voller Tippfehlern und Fehlern war, und darum, einen klügeren Weg zu entwickeln, um dies zu beheben, ohne jede einzelne Seite von Hand lesen zu müssen.

Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden und getan haben:

1. Das Problem: Das „Lehrbuch“ war fehlerhaft

Die Forscher untersuchten zwei populäre Datensätze (FOLIO und MALLS), die jeder verwendet, um diese KI-Roboter zu testen. Sie agierten wie ein Team strenger Redakteure, die die Antwortschlüssel überprüfen.

Die Entdeckung: Sie fanden heraus, dass etwa 39 % der Antworten in FOLIO und 36 % in MALLS tatsächlich falsch waren.
- Einige Übersetzungen waren einfach nur Kauderwelsch (Syntaxfehler).
- Einige waren logischer Unsinn (semantische Fehler).
- Einige der ursprünglichen englischen Sätze waren so vage, dass sie auf mehrere Arten interpretiert werden konnten, aber das Lehrbuch gab nur eine einzige Antwort vor.
Die Konsequenz: Da der „Antwortschlüssel“ fehlerhaft war, wurden die Roboter ungerecht bewertet. Ein Roboter könnte eine perfekt korrekte Übersetzung geliefert haben, aber weil diese nicht mit der falschen Antwort im Buch übereinstimmte, wurde er Punktabzug gegeben. Er war eigentlich klüger als gedacht; der Test war nur kaputt.
Die Lösung: Das Team korrigierte diese Fehler manuell. Als sie die Top-KI-Modelle mit den neuen, korrekten Antwortschlüsseln erneut testeten, sprangen die Ergebnisse der Roboter dramatisch nach oben – um 9 bis 22 Prozentpunkte. Es stellte sich heraus, dass die Roboter klüger waren als angenommen; der Test war lediglich fehlerhaft.

2. Die Herausforderung: Man kann nicht jede Seite lesen

Nachdem sie wussten, dass die Bücher unordentlich waren, standen die Forscher vor einem neuen Problem: Wie repariert man eine riesige Bibliothek von Büchern, ohne 100 Jahre damit zu verbringen, jede einzelne Seite zu lesen?

Wenn man einen Menschen anheuert, um jede einzelne Übersetzung zu prüfen, kostet das zu viel Zeit und Geld. Wenn man einen Computer prüfen lässt, sind Computer noch nicht perfekt darin, menschliche Nuancen zu verstehen.

3. Die Lösung: Die „Stichproben“-Strategie

Die Forscher erfanden ein intelligentes Assistenzsystem (ein LLM-gestütztes Framework), das wie ein Metalldetektor für Fehler fungiert.

Anstatt einen Menschen zu bitten, jede einzelne Seite zu prüfen, funktioniert das System wie folgt:

Der KI-Späher: Eine leistungsstarke KI liest die Übersetzung und fragt: „Sieht das für mich richtig aus?“
Der Filter:
- Wenn die KI sagt: „Das sieht perfekt aus“, überspringt der Mensch dies. (Die Forscher fanden heraus, dass die KI sehr gut darin ist, korrekte Antworten zu erkennen; sie markiert eine gute Antwort selten als schlecht).
- Wenn die KI sagt: „Das sieht verdächtig aus“ oder „Ich bin mir nicht sicher“, setzt sie eine rote Flagge auf diese Seite.
Der menschliche Experte: Der menschliche Prüfer schaut sich nur die Seiten an, die mit roten Flaggen markiert wurden.

4. Das Ergebnis: Weniger tun, mehr erreichen

Diese „Stichproben“-Methode war unglaublich effizient.

Der alte Weg (Zufällige Prüfung): Um einen Datensatz mit 90 % Genauigkeit zu erhalten, hätte ein Mensch 70 % bis 74 % der gesamten Bibliothek lesen müssen.
Der neue Weg (Intelligente Stichproben): Indem der Mensch nur die Seiten prüfte, die die KI als verdächtig markiert hatte, erreichte er eine Genauigkeit von 90 %, nachdem er nur 13 % bis 24 % der Bibliothek gelesen hatte.

Das Fazit

Stellen Sie sich vor, Sie suchen eine Nadel im Heuhaufen.

Vorher: Ihnen wurde gesagt, dass Sie jedes einzelne Stück Heu herausziehen und prüfen müssen, um die Nadeln zu finden.
Jetzt: Sie haben einen Magneten (die KI), der das Metall (die Fehler) anzieht. Sie müssen nur das Metall inspizieren, das der Magnet gefunden hat.

Das Paper kommt zu dem Schluss, dass wir, indem wir KI nutzen, um die menschliche Aufmerksamkeit auf die wahrscheinlichsten Fehler zu lenken, massive Datensätze viel schneller und kostengünstiger bereinigen können. Dies stellt sicher, dass zukünftige KI-Systeme mit qualitativ hochwertigen, präzisen Informationen trainiert werden. Sie haben die korrigierten Datensätze sowie den Code für dieses „Stichproben“-System veröffentlicht, damit auch andere es nutzen können.

Technisches Resümee: Korrektur von FOLIO und MALLS

Problemstellung

Die Übersetzung von natürlicher Sprache (Natural Language, NL) in Prädikatenlogik erster Ordnung (First-Order Logic, FOL) ist eine kritische Komponente der neurosymbolischen KI und des natürlichen Sprachinferenz-Verfahrens (Natural Language Inference, NLI). Die Qualität bestehender Benchmarks, die zum Training und zur Evaluierung dieser Systeme verwendet werden, wurde jedoch bisher nicht einer strengen Prüfung unterzogen. Diese Arbeit identifiziert, dass weit verbreitete Datensätze, spezifisch FOLIO und MALLS, signifikante Annotationsfehler und Ambiguitäten in ihren Ground-Truth-Labels enthalten. Diese Fehler verzerren die Bewertung von State-of-the-Art Large Language Models (LLMs) und führen zu ungenauen Leistungsmetriken. Darüber hinaus ist eine erschöpfende manuelle Überprüfung großer Datensätze kostspielig und nicht skalierbar, was die Notwendigkeit einer effizienteren Methode zur Kuratierung von Datensätzen bedingt.

Methodik

1. Systematische menschliche Auditierung und Korrektur

Die Autoren führten eine systematische menschliche Inspektion des FOLIO-Validierungs-Splits (275 Instanzen) und einer Teilmenge des MALLS-Testsets (100 Instanzen) durch. Zwei erfahrene Reviewer (Doktorand und Research Fellow) annotierten die Daten unabhängig, kreuzprüften die Ergebnisse und lösten Konflikte durch Konsens auf.

Ontologie-Handhabung: Da die Datensätze keine expliziten Ontologien besitzen, extrahierten die Autoren Signaturen (Prädikate, Aritäten, Konstanten) aus den FOL-Formeln und nutzten ein LLM, um natürliche Bedeutungen zuzuweisen, gefolgt von einer manuellen Verifizierung. Sie unterschieden zwischen Inkonsistenzen (konfliktäre Aritäten/Bedeutungen), die korrigiert wurden, und ontologischer Lockerheit (unkonventionelle, aber konsistente Konventionen), die beibehalten wurde, um nicht den gesamten Datensatz umschreiben zu müssen.
Fehlerklassifizierung: Das Audit kategorisierte Fehler in:
- Syntaktische Fehler: Klammerfehler, Tippfehler, Missbrauch der Ontologie (10,5 % in FOLIO, 3 % in MALLS).
- Semantische Fehler: Gültige Formeln, die die Bedeutung der natürlichen Sprache falsch darstellen, einschließlich Quantor-Scope-Fehlern und fehlender Informationen (28,3 % in FOLIO, 33 % in MALLS).
- Ambiguitäten: Sätze in natürlicher Sprache, die mehrere nicht-äquivalente, aber vertretbare Formalisierungen zulassen (16,4 % in FOLIO, 48 % in MALLS).
- Inkonsistenzen der NLI-Labels: Labels (True/False/Unknown), die nicht mit den bereitgestellten Formalisierungen übereinstimmen (8,4 % in FOLIO).
Kontrollgruppe: Die Autoren überprüften zudem 213 Instanzen des GGC-Datensatzes (Barker-Plummer et al., 2011b), eines qualitativ hochwertigen, instruktorengestützten Korpus, um sicherzustellen, dass ihr Kuratierungs-Framework keinen Lärm in bereits korrekte Daten einführt.

2. LLM-gestütztes Oversight-Framework

Um das Skalierbarkeitsproblem der manuellen Überprüfung anzugehen, schlagen die Autoren ein Framework vor, das LLMs nutzt, um die menschliche Anstrengung zu priorisieren.

Verdict-and-Refinement (V&R) Aufgabe: Ein LLM ist damit beauftragt, ein Triplet $(p, \Omega, \phi)$ $(p, Ω, ϕ)$ zu bewerten – wobei $p$ $p$ ein Satz in natürlicher Sprache, $\Omega$ $Ω$ eine Ontologie und $\phi$ $ϕ$ eine Kandidaten-FOL-Formel ist. Das LLM produziert:
1. Ein Urteil (Verdict) $v \in \{yes, no, ?\}$ (korrekt, inkorrekt oder ambivalent/unsicher).
2. Eine Verfeinerung (Refinement) $\psi$ (eine korrigierte Formel, falls $v \neq yes$ ).
Pipelines: Zwei Pipeline-Designs wurden getestet:
- Pipeline 1 (Direktes V&R): Das LLM bewertet die ursprüngliche Formel $\phi$ direkt.
- Pipeline 2 (Regeneration): Das LLM generiert zuerst einen neuen Kandidaten $\hat{\phi}$ aus $p$ und $\Omega$ , und bewertet dann diesen neuen Kandidaten.
Priorisierungsstrategie: Das Framework nutzt die empirische Erkenntnis, dass LLMs korrekte Formalisierungen selten als inkorrekt markieren (False-Positive-Rate $\approx 3\,\%$ in FOLIO). Indem die menschlichen Reviewer primär auf Instanzen gelenkt werden, die als "no" (inkorrekt) oder "?" (ambivalent) markiert wurden, zielt das Framework darauf ab, den Gewinn an Genauigkeit pro Einheit menschlicher Anstrengung zu maximieren.

Zentrale Beiträge

Korrigierte Datensätze: Die Autoren haben revidierte Ground-Truth-Werte für den FOLIO-Validierungs-Split und eine MALLS-Test-Teilmenge veröffentlicht, wobei sie jeweils 39 % bzw. 36 % der Einträge sowie die entsprechenden NLI-Labels korrigiert haben.
Analyse der Auswirkungen auf die Evaluierung: Die Arbeit zeigt, dass Annotationsfehler die Modellbewertung erheblich benachteiligen. Eine Re-Evaluierung von drei State-of-the-Art LLMs (Gemma 4 31B-it, Qwen3-30B-A3B, GPT-4o-mini) gegen die korrigierten Ground-Truths ergab Genauigkeitsgewinne zwischen +9 und +22 Prozentpunkten.
LLM-gestütztes Oversight-Framework: Eine neuartige Strategie, die die Kosten der Datensatz-Kuratierung reduziert. Durch die Fokussierung der menschlichen Überprüfung auf die vom LLM als fehleranfällig markierten Instanzen erreicht das Framework eine Datensatzgenauigkeit von 90 %, nachdem es nur 24 % der FOLIO-Instanzen und 13 % der MALLS-Instanzen überprüft hat. Dies ist eine erhebliche Reduktion gegenüber der ungeleiteten Zufallsüberprüfung, die über 70 % der Instanzen benötigt, um dieselbe Genauigkeit zu erreichen.

Ergebnisse

Fehlerraten: Das menschliche Audit bestätigte, dass etwa 39 % der FOLIO- und 36 % der MALLS-Instanzen inkorrekte FOL-Formalisierungen enthalten. Zusätzlich enthalten 16,4 % von FOLIO und 48 % von MALLS ambivalente Sätze in natürlicher Sprache.
Leistungsverschiebungen: Beim Testen auf den kuratierten Datensätzen zeigten alle evaluierten Modelle eine verbesserte Translationsgenauigkeit. Beispielsweise verzeichnete Gemma 4 31B-it einen Zuwachs von +21,8 % bei FOLIO (alle Instanzen) und +18,0 % bei MALLS.
Effizienz des Oversights:
- Pipeline 1 übertraf Pipeline 2 und Baseline-Methoden (Zufallsüberprüfung der Originaldaten oder regenerierter Daten) über alle Metriken hinweg (Area Under the Curve, $T_{90}$ , $T_{95}$ ).
- Durch Verwendung der Priorisierungsreihenfolge (fehlgeschlagene Ausgaben $\to$ ? $\to$ no $\to$ yes) erreichte das Framework eine Genauigkeit von 90 % mit minimalem menschlichem Aufwand (24 % für FOLIO, 13 % für MALLS).
- Auf dem hochwertigen GGC-Datensatz führte das Framework vernachlässigbaren Lärm ein (Degradation $\le 5\,\%$ ), was dessen Zuverlässigkeit bei Anwendung auf bereits weitgehend korrekte Daten bestätigt.

Signifikanz und Behauptungen

Die Arbeit behauptet, dass die Qualität der NL-zu-FOL-Benchmarks eine "Black Box" war, welche die Evaluierung neurosymbolischer KI-Systeme verzerrt hat. Durch die Bereitstellung korrigierter Ground-Truths zeigen die Autoren, dass frühere Leistungsschätzungen durch Annotationsrauschen künstlich unterdrückt wurden.

Das vorgeschlagene LLM-gestützte Framework bietet eine praktische Lösung für das "Skalierungsproblem" der Datensatz-Kuratierung. Es demonstriert, dass es möglich ist, qualitativ hochwertige Datensätze ohne die prohibitiven Kosten einer erschöpfenden menschlichen Überprüfung zu erstellen. Die Autoren positionieren dieses Framework als Werkzeug für:

Datensatz-Kuratierung: Ermöglicht es Kuratoren, sich ausschließlich auf verdächtige Instanzen zu konzentrieren.
Formale Methoden: Dient als Warnschicht für Experten, die NL-Spezifikationen überprüfen.
Runtime Verification: Bietet Feedback zur Laufzeit darüber, ob generierte Formeln die beabsichtigten Anforderungen erfassen, in Szenarien, in denen eine manuelle Überprüfung unmöglich ist.

Die Autoren stellen die korrigierten Datensätze und den Code für das Framework zur Reproduzierbarkeit bereit, weisen jedoch darauf hin, dass die Schlussfolgerungen spezifisch für die getesteten Datensätze und LLMs sind und eine Anpassung für andere logische Formalismen oder Domänen erfordern können.