💬 NLP

Fixing FOLIO and MALLS: Verified Annotations and an LLM-assisted Framework to Focus Human Relabeling

Dit artikel onthult significante annotatiefouten in de FOLIO- en MALLS NL-naar-FOL benchmarks, brengt gecorrigeerde grondwaarheden uit die de evaluatiemetrieken van LLM's aanzienlijk verbeteren, en stelt een door LLM ondersteund framework voor dat efficiënte menselijke herlabeling mogelijk maakt om een hoge datasetnauwkeurigheid te bereiken met minimale controle-inspanning.

Oorspronkelijke auteurs: Andrea Brunello, Cristian Curaba, Luca Geatti, Michele Mignani, Angelo Montanari, Nicola Saccomanno

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrea Brunello, Cristian Curaba, Luca Geatti, Michele Mignani, Angelo Montanari, Nicola Saccomanno

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de menselijke logica te begrijpen. Om dit te doen, geef je de robot een tekstboek vol verhalen geschreven in gewone Engelse taal, gekoppeld aan hun "mathematische vertalingen" in een strikte taal genaamd First-Order Logic (FOL). De robot bestudeert deze paren om later zelf nieuwe verhalen te kunnen vertalen.

Dit artikel gaat over de ontdekking dat het tekstboek vol typefouten en fouten zat, en over het bouwen van een slimmere manier om dit te herstellen zonder elke pagina met de hand te hoeven lezen.

Hier is de uitsplitsing van wat de onderzoekers hebben ontdekt en gedaan:

1. Het Probleem: Het "Tekstboek" was kapot

De onderzoekers bekeken twee populaire datasets (FOLIO en MALLS) die iedereen gebruikt om deze AI-robots te testen. Ze gedroegen zich als een team van strikte redacteuren die de antwoordsleutels controleerden.

De Ontdekking: Ze ontdekten dat ongeveer 39% van de antwoorden in FOLIO en 36% in MALLS feitelijk fout waren.
- Sommige vertalingen waren simpelweg onzin (syntactische fouten).
- Sommige waren logische onzin (semantische fouten).
- Sommige van de oorspronkelijke Engelse zinnen waren zo vaag dat ze op meerdere manieren geïnterpreteerd konden worden, maar het tekstboek gaf slechts één antwoord.
Het Gevolg: Omdat de "antwoordsleutel" kapot was, werden de robots onrechtvaardig beoordeeld. Een robot had een perfecte vertaling kunnen geven, maar omdat deze niet overeenkwam met het foutieve antwoord in het boek, werd hij afgestraft.
De Fix: Het team heeft deze fouten handmatig gecorrigeerd. Toen ze de top AI-modellen opnieuw testten met de nieuwe, correcte antwoordsleutels, schoten de scores van de robots spectaculair omhoog — met 9 tot 22 procentpunten. Het bleek dat de robots slimmer waren dan we dachten; de test was gewoon kapot.

2. De Uitdaging: Je kunt niet elke pagina lezen

Nu ze wisten dat de boeken rommelig waren, stonden de onderzoekers voor een nieuw probleem: Hoe herstel je een enorme bibliotheek aan boeken zonder dat je 100 jaar lang elke enkele pagina moet lezen?

Als je een mens inhuurt om elke vertaling te controleren, kost dat te veel tijd en geld. Als je een computer laat controleren, zijn computers nog niet perfect in het begrijpen van menselijke nuances.

3. De Oplossing: De "Steekproef"-strategie

De onderzoekers hebben een slim assistentsysteem uitgevonden (een LLM-ondersteund framework) dat werkt als een metaaldetector voor fouten.

In plaats van een mens te vragen om elke enkele pagina te controleren, werkt het systeem als volgt:

De AI-Verkenner: Een krachtige AI leest de vertaling en vraagt: "Ziet dit er goed uit voor mij?"
Het Filter:
- Als de AI zegt: "Dit ziet er perfect uit," dan slaat de mens deze over. (De onderzoekers ontdekten dat de AI erg goed is in het herkennen van correcte antwoorden; het markeert een goed antwoord zelden als slecht).
- Als de AI zegt: "Dit ziet er verdacht uit," of "Ik weet het niet zeker," dan plaatst het een rood vlaggetje op die pagina.
De Menselijke Expert: De menselijke beoordelaar kijkt alleen naar de pagina's met rode vlaggetjes.

4. Het Resultaat: Minder doen, meer bereiken

Deze "steekproef"-methode was ongelooflijk efficiënt.

Oude Manier (Willekeurige Controle): Om een dataset van 90% nauwkeurigheid te krijgen, zou een mens 70% tot 74% van de gehele bibliotheek moeten doorlezen.
Nieuwe Manier (Slimme Steekproef): Door alleen naar de pagina's te kijken die de AI als verdacht had gemarkeerd, bereikte de mens 90% nauwkeurigheid na het lezen van slechts 13% tot 24% van de bibliotheek.

De Kernboodschap

Denk aan het zoeken naar een naald in een hooiberg.

Vóór: Je kreeg te horen dat je elk stukje hooi moest eruit trekken en controleren om de naalden te vinden.
Nu: Je hebt een magneet (de AI) die het metaal (de fouten) naar boven haalt. Je hoeft alleen het metaal te inspecteren dat de magneet heeft gevonden.

Het paper concludeert dat door AI te gebruiken om de menselijke aandacht naar de meest waarschijnlijke fouten te leiden, we enorme datasets veel sneller en goedkoper kunnen opschonen, wat ervoor zorgt dat toekomstige AI-systemen worden getraind op hoogwaardige, nauwkeurige informatie. Ze hebben de gecorrigeerde datasets en de code voor dit "steekproef"-systeem vrijgegeven, zodat anderen het kunnen gebruiken.

Technische Samenvatting: Het herstellen van FOLIO en MALLS

Probleemstelling

De vertaling van natuurlijke taal (NL) naar eerste-orde logica (FOL) is een cruciaal onderdeel van neurosymbolische AI en Natural Language Inference (NLI). Echter, de kwaliteit van bestaande benchmarks die worden gebruikt voor het trainen en evalueren van deze systemen, is niet grondig gecontroleerd. Dit artikel stelt vast dat veelgebruikte datasets, specifiek FOLIO en MALLS, significante annotatiefouten en ambiguïteiten bevatten in hun grondwaarheid-labels (ground truth labels). Deze fouten vervormen de evaluatie van state-of-the-art Large Language Models (LLMs), wat leidt tot onnauwkeurige prestatiemetingen. Bovendien is een uitputtende handmatige controle van grote datasets kostenintensief en niet schaalbaar, wat de noodzaak voor een efficiëntere methode voor datasetcuratie vereist.

Methodologie

1. Systematische menselijke audit en correctie

De auteurs voerden een systematische menselijke inspectie uit van de FOLIO-validatiesplit (275 instanties) en een subset van de MALLS-testset (100 instanties). Twee ervaren beoordelaars (een PhD-student en een onderzoeker) annoteerden de data onafhankelijk, kruiscontroleerden de resultaten en losten conflicten op via consensus.

Ontologie-afhandeling: Omdat datasets geen expliciete ontologieën missen, extraheerden de auteurs signaturen (predicaten, ariteiten, constanten) uit de FOL-formules en gebruikten ze een LLM om natuurlijke taalbetekenissen toe te wijzen, gevolgd door handmatige verificatie. Ze maakten onderscheid tussen inconsistenties (conflicterende ariteiten/betekenissen), die werden gecorrigeerd, en ontologische losheid (onconventionele maar consistente conventies), die behouden bleef om het herschrijven van de gehele dataset te voorkomen.
Foutclassificatie: De audit categoriseerde fouten in:
- Syntactische fouten: Haakjes-mismatches, typefouten, ontologie-misbruik (10,5% in FOLIO, 3% in MALLS).
- Semantische fouten: Geldige formules die de NL-betekenis verkeerd weergeven, inclus\u00adbij kwantificator-scopefouten en ontbrekende informatie (28,3% in FOLIO, 33% in MALLS).
- Ambiguïteiten: NL-zinnen die meerdere niet-equivalente maar verdedigbare formalisaties toelaten (16,4% in FOLIO, 48% in MALLS).
- Inconsistenties in NLI-labels: Labels (Waar/Onwaar/Onbekend) die inconsistent zijn met de verstrekte formalisaties (8,4% in FOLIO).
Controlegroep: De auteurs beoordeelden ook 213 instanties uit de GGC-dataset (Barker-Plummer et al., 2011b), een hoogwaardige, door instructeurs gevalideerde corpus, om te verifiëren dat hun curatiekader geen ruis introduceert in reeds correcte data.

2. LLM-ondersteund toezichtskader

Om het schaalbaarheidsprobleem van handmatige controle aan te pakken, stellen de auteurs een kader voor dat LLMs gebruikt om menselijke inspanning te prioriteren.

Verdict-en-Verfijning (V&R) Taak: Een LLM krijgt de taak om een triplet $(p, \Omega, \phi)$ $(p, Ω, ϕ)$ te evalueren—waarbij $p$ $p$ een NL-zin is, $\Omega$ $Ω$ een ontologie, en $\phi$ $ϕ$ een kandidaat FOL-formule. De LLM produceert:
1. Een verdict $v \in \{ja, nee, ?\}$ (correct, incorrect, of ambigu/onzeker).
2. Een verfijning $\psi$ (een gecorrigeerde formule als $v \neq ja$ ).
Pipelines: Twee pipeline-ontwerpen werden getest:
- Pipeline 1 (Directe V&R): De LLM beoordeelt de oorspronkelijke formule $\phi$ direct.
- Pipeline 2 (Regeneratie): De LLM genereert eerst een nieuwe kandidaat $\hat{\phi}$ vanuit $p$ en $\Omega$ , en beoordeelt vervolgens deze nieuwe kandidaat.
Prioriteringsstrategie: Het kader maakt gebruik van de empirische bevinding dat LLMs zelden correcte formalisaties als incorrect markeren (fout-positief percentage $\approx 3\%$ in FOLIO). Door menselijke beoordelaars eerst naar instanties te leiden die gemarkeerd zijn als "nee" (incorrect) of "?" (ambigu), beoogt het kader de winst in nauwkeurigheid per eenheid menselijke inspanning te maximalen.

Belangrijkste Bijdragen

Gecorrigeerde Datasets: De auteurs hebben de herziene grondwaarheden voor de FOLIO-validatiesplit en een MALLS-testsubset vrijgegeven, waarbij respectievelijk 39% en 36% van de vermeldingen zijn gecorrigeerd, samen met gecorrigeerde NLI-labels waar van toepassing.
Impactanalyse van Evaluatie: Het artikel toont aan dat annotatiefouten de evaluatie van modellen significant benadelen. Het opnieuw evalueren van drie state-of-the-art LLMs (Gemma 4 31B-it, Qwen3-30B-A3B, GPT-4o-mini) tegen de gecorrigeerde grondwaarheden resulteerde in nauwkeurigheidswinsten variërend van +9 tot +22 procentpunten.
LLM-ondersteund Toezichtskader: Een nieuwe strategie die de kosten van datasetcuratie vermindert. Door de menselijke controle te richten op de subset van instanties die door de LLM als foutgevoelig zijn gemarkeerd, bereikt het kader een datasetnauwkeurigheid van 90% na het beoordelen van slechts 24% van de FOLIO-instanties en 13% van de MALLS-instanties. Dit is een substantiële reductie vergeleken met ongeleide willekeurige controle, die meer dan 70% van de instanties vereist om dezelfde nauwkeurigheid te bereiken.

Resultaten

Foutpercentages: De menselijke audit bevestigde dat ongeveer 39% van de FOLIO- en 36% van de MALLS-instanties onjuiste FOL-formalisaties bevatten. Daarnaast bevatten 16,4% van de FOLIO- en 48% van de MALLS-instanties ambigue NL-zinnen.
Prestatieverschuivingen: Bij testen op de gecureerde datasets vertoonden alle geëvalueerde modellen een verbeterde vertaalnauwkeurigheid. Zo zag Gemma 4 31B-it bijvoorbeeld een toename van +21,8% op FOLIO (alle instanties) en +18,0% op MALLS.
Efficiëntie van Toezicht:
- Pipeline 1 presteerde beter dan Pipeline 2 en baseline-methoden (willekeurige controle van originele of geregenereerde data) over alle metrieken (Area Under the Curve, $T_{90}$ , $T_{95}$ ).
- Door de prioritering te gebruiken (gefaalde outputs $\to$ ? $\to$ nee $\to$ ja), bereikte het framework 90% nauwkeurigheid met minimale menselijke inspanning (24% voor FOLIO, 13% voor MALLS).
- Op de hoogwaardige GGC-dataset introduceerde het framework verwaarloosbare ruis (degradatie $\le 5\%$ ), wat de betrouwbaarheid ervan bevestigt wanneer het wordt toegepast op data die al grotendeels correct is.

Betekenis en Claims

Het artikel beweert dat de kwaliteit van NL-naar-FOL benchmarks een "black box" is geweest die de evaluatie van neurosymbolische AI-systemen heeft vervormd. Door gecorrigeerde grondwaarheden te leveren, laten de auteurs zien dat eerdere prestatieschattingen kunstmatig werden onderdrukt door annotatieruis.

Het voorgestelde LLM-ondersteunde kader biedt een praktische oplossing voor het "schaalbaarheidsprobleem" van datasetcuratie. Het demonstreert dat het mogelijk is om hoogwaardige datasets te verkrijgen zonder de prohibitieve kosten van een uitputtende menselijke controle. De auteurs positioneren dit kader als een instrument voor:

Datasetcuratie: Curatoren in staat stellen zich uitsluitend te concentreren op verdachte instanties.
Formele Methoden: Fungeren als een waarschuwingslaag voor experts die NL-specificaties beoordelen.
Runtime Verificatie: Het bieden van realtime feedback over of gegenereerde formules de beoogde vereisten vatten in scenario's waar handmatige controle onmogelijk is.

De auteurs stellen de gecorrigeerde datasets en de code voor het framework beschikbaar om reproduceerbaarheid te ondersteunen, terwijl ze opmerken dat de conclusies specifie \u001e aan de geteste datasets en LLMs zijn gebonden en mogelijk aanpassing vereisen voor andere logische formalismen of domeinen.