🤖 AI

ForEx: A Formal Verification Framework for Explainable Reasoning in Logical Fallacy Detection and Annotation

Dit artikel introduceert ForEx, een framework voor formele verificatie dat door LLM gegenereerde verklaringen vertaalt naar Lean4 om de afleidbaarheid van redeneerketens te verifiëren, wat een aanzienlijk gat onthult tussen hoge formele verificatiepercentages en een lage overeenstemming van labels met menselijke annotaties bij het detecteren van logische drogredenen.

Oorspronkelijke auteurs: Pei-Cing Huang, Chienyu Liu, Chan Hsu, Ci-Siang Chen, Pei-Ju Lee, Yihuang Kang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pei-Cing Huang, Chienyu Liu, Chan Hsu, Ci-Siang Chen, Pei-Ju Lee, Yihuang Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: "Goed Antwoord, Foute Redenering"

Stel je voor dat je een wiskundetoets maakt. Je schrijft het juiste eindantwoord op, maar je stappen zijn een complete chaos, of je hebt het antwoord geraden door geluk te hebben. Bij een normale toets krijg je volledige punten. Maar in de wereld van Kunstmatige Intelligentie (AI), specif kindelijk gezien bij Large Language Models (LLMs), is dit een enorm probleem.

Huidige tests voor AI controleren alleen of het eindlabel (het antwoord) juist is. Ze controleren niet of de redenering (de stappen) het antwoord ook daadwerkelijk ondersteunt. Een AI kan zeggen: "Deze zin bevat een drogreden," en gelijk hebben, maar de uitleg kan onzin zijn. Of de AI kan het fout hebben, maar de uitleg klinkt heel overtuigend.

De Oplossing: ForEx (De "Logica-Vertaler")

De auteurs hebben een tool gemaakt genaamd ForEx. Zie ForEx als een strikte vertaler en een scheidsrechter die samenwerken.

De Vertaler (Lean4): Wanneer een AI een uitleg geeft, vertaalt ForEx die rommelige menselijke taal naar Lean4, wat een soort zeer strikte, computerleesbare taal is voor wiskunde en logica. Het is alsof je een informeel gesprek vertaalt naar een juridisch contract waarin elk woord uiterst precies moet zijn.
De Scheidsrechter (De Compiler): Zodra de uitleg in Lean4 staat, probeert een computerprogramma deze te "draaien". Als de logica klopt, zegt de computer: "Pass!" (Geslaagd!). Als de logica gebrekkig is, zegt de computer: "Fail!" (Gezakt!).

Cruciaal onderscheid: Het paper verduidelijkt dat het slagen voor deze test niet betekent dat de AI de volledige menselijke zin perfect heeft begrepen. Het betekent alleen: "Gegeven de specifieke regels die wij hebben opgeschreven, volgt de conclusie van de AI logischerwijs uit de eigen uitleg."

De Nieuwe Scorekaart: De Verificatiematrix

In plaats van alleen "Correct" of "Incorrect" te zeggen, hebben de auteurs een nieuwe scorekaart uitgevonden genaamd de LLM Argument Verification Matrix. Deze verdeelt de resultaten in vier vakken, zoals een boterkaas-en-eieren-bord:

Vak 1: De Gouden Standaard (Compilable-Correct)
- De Analogie: Je hebt het juiste antwoord en je wiskundestappen zijn perfect.
- Betekenis: Het label van de AI komt overeen met dat van de menselijke expert, EN de computer heeft geverifieerd dat de redenering solide is.
Vak 2: De Verborgen Parel (Compilable-Alternative)
- De Analogie: Je hebt een ander antwoord dan de docent, maar je wiskundestappen zijn perfect en bewijzen dat jouw antwoord geldig is onder een andere interpretatie.
- Betekenis: Het label van de AI is anders dan dat van de menselijke expert, MAAR de computer heeft geverifieerd dat de redenering solide is. Dit suggereert dat de menselijke expert misschien een geldige manier om de zin te interpreteren, heeft gemist.
Vak 3: De Gelukkige Gok (Uncompilable-Correct)
- De Analogie: Je hebt het juiste antwoord, maar je wiskundestappen zijn onleesbare krabbels.
- Betekenis: De AI kwam overeen met het menselijke label, maar de computer kon de redenering niet verifiëren. De AI heeft het wellicht goed geraden door geluk.
Vak 4: De Dubbele Mislukking (Uncompilable-Incorrect)
- De Analogie: Je hebt het fout en je wiskundestappen zijn onzin.
- Betekenis: De AI zat ernaast en de redenering was gebrekkig.

Wat ze vonden (De Resultaten)

De onderzoekers testten dit op een dataset genaamd LOGIC-Climate (ongeveer 100 voorbeelden van logische argumenten). Dit is wat zij ontdekten:

AI is verrassend goed in het opbouwen van logische ketens: In meer dan 90% van de gevallen kon de uitleg van de AI worden vertaald naar Lean4 en slaagde de AI voor de logische controle van de computer.
Maar AI is slecht in het matchen van menselijke labels: Ondanks de goede logische ketens, stemde de AI slechts in ongeveer 20% van de gevallen overeen met menselijke experts.
Het "Alternative"-vak is enorm: De meeste tijd was de AI niet "fout"; de AI zat in Vak 2 (Compilable-Alternative). De AI vond een logisch geldige reden om een zin anders te labelen dan de menselijke expert deed.

De Kernboodschap: Er is een enorme kloof tussen "Kan de AI zijn redenering bewijzen?" en "Komt de AI overeen met mensen?". Het paper suggereert dat veel menselijke labels te nauw zijn en een geldige interpretatie van een zin missen.

De "Groepsapp" voor Annotaties

Om het probleem op te lossen waarbij mensen en AI van mening verschillen, bouwden de auteurs een Consensus-Guided Annotation Pipeline.

De Analogie: Stel je een klas voor waar de docent (mens) en 15 leerlingen (AI-modellen) allemaal een toets nakijken. Normaal gesproken, als de docent "A" zegt en de leerlingen "B", gaan we ervan uit dat de leerlingen fout zitten.
De ForEx-aanpak: Ze kijken alleen naar de leerlingen die bewezen hebben dat hun logica klopte (geslaagd voor de Lean4-check). Als een groep van deze "slimme" leerlingen allemaal hetzelfde label geven dat de docent gemist heeft, markeren ze dit als een potentiële "Alternative" label.
Het Resultaat: Ze ontdekten een paar gevallen waar de AI-modellen collectief een geldige logische weg zagen die het oorspronkelijke menselijke label over het hoofd had gezien. Ze voegden deze toe aan de dataset, maar alleen voor de gevallen waar iedereen het eens was (hoge consensus).

Samenvatting

Dit paper betoogt dat we moeten stoppen met alleen controleren of een AI het "juiste" label krijgt. We moeten controleren of de redenering standhoudt, net als een wiskundig bewijs.

Ze ontdekten dat AI-modellen eigenlijk erg goed zijn in het bouwen van logische bewijzen (90% slagingspercentage), maar dat ze vaak van mening verschillen met menselijke experts. Dit suggereert dat menselijke experts misschien te rigide zijn in hoe ze logische drogredenen labelen, en dat er geldige, logische manieren zijn om zinnen te interpreteren die de huidige menselijke labels niet vatten. ForEx is een tool om die "verborgen" geldige interpretaties te vinden.

Technische Samenvatting: ForEx – Een Framework voor Formele Verificatie van Verklarende Redeneringen bij de Detectie van Logische Drogredenen

1. Probleemstelling

Huidige evaluaties van Large Language Models (LLMs) op het gebied van detectie van logische drogredenen vertrouwen voornamelijk op voorspellingsnauwkeurigheid (correctheid van het label). Deze aanpak faalt echter in het verifiëren of de verstrekte redenering daadwerkelijk de voorspelde label ondersteunt. Correcte voorspellingen kunnen voortkomen uit oppervlakkige correlaties in plaats van werkelijke logische afleiding, terwijl incorrecte voorspellingen gepaard kunnen gaan met een redenering die formeel sluitend is onder een specifieke interpretatie, maar afwijkt van menselijke annotaties.

Bovendien formaliseren bestaande symbolische benaderingen (bijv. NL2FOL) doorgaans het invoerargument om verzadigbaarheid te controleren, in plaats van de gegenereerde redeneerketen van het model te formaliseren. Daarnaast comprimeren standaard annotatiepraktijken interpretatieve variaties vaak tot enkelvoudige "gouden" labels, wat plausibele alternatieve lezingen van een argument kan maskeren. Er is een gebrek aan een framework dat de voorspelde labels, gegenereerde verklaringen en de formele afleidbaarheid van die verklaringen gezamenlijk analyseert.

2. Methodologie: Het ForEx-framework

De auteurs stellen ForEx (Formal Verification for Explainable Reasoning) voor, een framework dat de door LLM gegenereerde natuurlijke taalverklaringen vertaalt naar Lean4 (een formele bewijsassistent) om te verifiëren of de vertaalde rationale afleidbaar is onder de gecodeerde premissen. De workflow bestaat uit drie stadia:

A. Generatie van Redeneerkandidaten

Een "Reasoner"-model ontvangt een bewering en genereert tot $k$ kandidaten. Elke kandidaat is een tupel $(f_i, a_i, s_i)$ bevattende:

$f_i$ : Het voorspelde type logische drogreden.
$a_i$ : De natuurlijke taalverklaring (rationale).
$s_i$ : De Lean4-structuur die de verklaring formaliseert.

Een "Modifier" zet $s_i$ om in de initiële Lean4-code.

B. Executiefeedback & Lean4-verificatie

Deze fase maakt gebruik van een iteratieve herstel-loop om te garanderen dat de gegenereerde Lean4-code compileert:

Compilatiepoging: De "Executor" probeert de Lean4-code te compileren.
Feedback-loop: Als de compilatie faalt (toestand F), ontvangt de Executor de foutmelding en de oorspronkelijke verklaring $a_i$ om de code te herzien.
Restricties: Revisies zijn strikt beperkt tot de oorspronkelijke verklaring en de initiële code om semantische drift te voorkomen; de Executor mag geen nieuwe logische inhoud introduceren.
Terminatie: De loop gaat door totdat de code succesvol compileert (toestand T) of de maximale aantal hersteliteraties ( $iter_{max}$ ) is bereikt.

C. Evaluatie van Labelconsistentie

Het framework introduceert de LLM Argument Verification Matrix om labelcorrectheid te ontkoppelen van de formele verificatiestatus. De matrix classificeert outputs in vier kwadranten op basis van twee assen:

Lean4-verificatie: Pass (compileert) vs. Fail (compileert niet).
Labelconsistentie: Match (voorspelling komt overeen met menselijke annotatie) vs. Mismatch.

De vier resulterende categorieën zijn:

Compilable-Correct (CC): Pass & Match.
Compilable-Alternative (CA): Pass & Mismatch (duidt op een formeel geldige redeneerketen die een label ondersteunt dat afwijkt van de menselijke annotatie).
Uncompilable-Correct (UC): Fail & Match.
Uncompilable-Incorrect (UI): Fail & Mismatch.

D. Consensus-gestuurde Annotatie-pipeline

Om annotatie-ambiguïteit aan te pakken, stelt de auteurs een pipeline voor die:

Modellen en menselijke annotaties representeert als multi-hot vectoren over drogreden-categorieën.
PCA (Principal Component Analysis) en de Mahalanobis-afstand gebruikt om uitschieters (outliers) onder modellen te identificeren en te filteren.
Paarwise Jaccard-afstanden berekent om "high-consensus" beweringen (lage onenigheid) te identificeren.
Annotaties voor high-consensus beweringen augment (aanvult) indien ten minste 50% van de behouden modellen een specifiek label toekent onder formele verificatie.

3. Belangrijkste Bijdragen

ForEx-framework: Een nieuw systeem dat LLM-gegenereerde verklaringen vertaalt naar Lean4, wat een machine-controleerbare analyse van geformaliseerde redeneerketens mogelijk maakt in plaats van enkel de invoerargumenten.
LLM Argument Verification Matrix: Een metriek die labelconsistentie scheidt van de formele verificatiestatus, waardoor gevallen worden blootgelegd waarin modellen een formeel afleidbare redenering bieden die in strijd is met bestaande menselijke labels (de "Compilable-Alternative" categorie).
Consensus-gestuurde Annotatie-pipeline: Een methode die menselijke standaarden, multi-LLM overeenstemming en formele verificatie combineert om annotatie-analyse en conservatieve label-augmentatie te ondersteunen, waarbij annotatie-onenigheid wordt behandeld als een signaal van interpretatieve variatie in plaats van ruis.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de LOGIC-Climate dataset (1.074 instanties, 13 drogreden-categorieën), met behulp van een 10% gesamplede subset en 15 verschillende Reasoner-modellen (inclusclusief "thinking" en "non-thinking" varianten).

Compilatiesucces: Het gemiddelde passingspercentage voor Lean4-compilatie steeg van 36,70% (initieel) naar 98,65% na vier hersteliteraties. De meeste winst werd behaald na de eerste iteratie.
Verificatie vs. Labelovereenkomst:
- Het gecombineerde percentage van Compilable-Correct (CC) + Compilable-Alternative (CA) was consistent hoog en overschreed in de meeste modellen de 90% (met een piek van 97,59%). Dit geeft aan dat het overgrote deel van de LLM-outputs kan worden vertaald naar formele redeneerketens die verificatie doorstaan.
- Echter, de CC-ratio (overeenstemming met menselijke labels) was aanzienlijk lager en varieerde tussen ongeveer 17% en 23% bij de topmodellen.
- De CA-ratio was dominant, wat suggereert dat veel formeel geverifieerde redeneerketens labels ondersteunen die afwijken van de menselijke annotaties.
Foutanalyse:
- De Uncompilable-Correct (UC) ratio's waren zeer laag (<2%), wat aangeeft dat correcte labels zellement zonder een verifieerbare redeneerketen voorkomen in deze setting.
- Uncompilable-Incorrect (UI) fouten werden vaak veroorzaakt door "No Fallacy" (NF) voorspellingen, mogelijk door het gebrek aan context in geïsoleerde enkelvoudige zinnen.
Annotatie-augmentatie: De consensus-gestuurde pipeline identificeerde een subset van high-consensus beweringen. Geaugmenteerde annotaties behaalden een 0,77 recall ten opzichte van de originele menselijke annotaties, waarbij de meeste originele labels behouden bleven terwijl er ook formeel ondersteunde alternatieven werden toegevoegd.

5. Betekenis en Claims

Het artikel claimt dat ForEx de evaluatie van LLM's verplaatst van eenvoudige labelcorrectheid naar een machine-controleerbare analyse van geformaliseerde redeneerketens.

Systematische Kloof: De resultaten leggen een systematische kloof bloot tussen formele afleidbaarheid en labelovereenkomst. De hoge prevalentie van "Compilable-Alternative" outputs suggereert dat bestaande menselijke annotaties mogelijk niet alle plausibele interpretaties van invoerargumenten volledig vatten, of dat modellen correct redeneren onder andere aannames.
Voorbij Voorspelling: Het framework demonstreert dat een model een redeneerketen kan leveren die formeel geldig is (afleidbaar onder de gecodeerde premissen), zelfs als het niet overeenstemt met het "gouden" label. Dit onderscheid is onzichtbaar voor standaard voorspellingsgebaseerde metrieken.
Nut van Annotatie: ForEx wordt gepresenteerd, niet alleen als een verificatietool, maar ook als een mechanisme voor downstream annotatie-analyse. Het kan gevallen identificeren waar gouden labels mogelijk onvoldoende zijn of waar meerdere geldige interpretaties bestaan, wat de augmentatie van datasets met consensus-gebaseerde alternatieve labels ondersteunt.

De auteurs blijven bescheiden over de implicaties en merken op dat formele verificatie in Lean4 de afleidbaarheid certificeert onder gecodeerde premissen, maar niet noodzakelijkerwijs de semantische overeenstemming met de oorspronkelijke natuurlijke taal garandeert. Ze erkennen dat natuurlijke taal geen volledig gespecificeerde semantische basis heeft, en dat formele resultaten de capaciteiten van het model mogelijk overschatten als de formalisering zelf imperfect is. Toekomstig werk richt zich op het verbeteren van de uitlijning tussen verificatie-uitkomsten en semantische correctheid door rijkere argumentstructuren en contextuele informatie te integreren.