💬 NLP

Explanation Generation for Contradiction Reconciliation with LLMs

Dit paper introduceert de taak van het genereren van verzoenende verklaringen voor tegenstrijdigheden, een vaardigheid die menselijk redeneren kenmerkt maar bij grote taalmodellen (LLMs) vaak tekortschiet, en presenteert een nieuwe methode en evaluatiemetrics om deze beperking te onderzoeken.

Oorspronkelijke auteurs: Jason Chan, Zhixue Zhao, Robert Gaizauskas

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jason Chan, Zhixue Zhao, Robert Gaizauskas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een gesprek zit met een vriend. Je vriend zegt: "Ik haat koffie!" Maar een paar minuten later zie je hem een kopje koffie kopen.

Een computer of een simpele robot zou hier waarschijnlijk denken: "Fout! Dit kan niet kloppen. De ene zin moet weg." Ze kiezen dan vaak voor de makkelijkste oplossing: één van de twee zinnen is gewoon verkeerd.

Maar mensen zijn slim. Wij denken niet direct: "Hij liegt." Wij denken: "Wacht even, misschien is er een verhaal dat dit verklaart." Misschien haat hij koffie, maar moet hij elke dag koffie kopen voor al zijn collega's? Dat is een uitleg die de twee tegenstrijdige dingen met elkaar verzoent.

Dit is precies wat dit nieuwe onderzoek van Jason Chan en zijn team bij de Universiteit van Sheffield onderzoekt. Ze kijken of moderne kunstmatige intelligentie (LLMs, zoals ChatGPT) ook zo'n slimme, menselijke "uitlegger" kan zijn.

Hier is de samenvatting van hun onderzoek, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Vechters" versus de "Vredemakers"

Tot nu toe zijn slimme computers vooral getraind om te vechten over wie er gelijk heeft. Als er twee dingen zijn die niet samengaan, proberen ze er één te discarteren.

De huidige AI: "Je zegt A, maar je doet B. A is fout."
De mens: "Je zegt A, maar je doet B. Misschien is er een reden C die beide mogelijk maakt."

De onderzoekers willen weten: Kunnen deze computers ook verzoenen? Kunnen ze een verhaal bedenken dat de twee tegenstrijdige zinnen weer logisch maakt?

2. De Oplossing: Een Nieuwe Test

Ze hebben een nieuwe test bedacht, noem het de "Verzoenings-Test".

De Opdracht: De computer krijgt twee zinnen die lijken op botsende auto's (bijvoorbeeld: "Cassie haat koffie" en "Ze koopt elke dag koffie").
De Taak: De computer moet een derde zin bedenken (de uitleg) die de botsing laat verdwijnen.
Het Voorbeeld: De computer moet zeggen: "Cassie koopt koffie voor haar hele kantoor, omdat ze de enige is die het kan betalen." Plotseling kloppen beide zinnen weer!

3. Hoe hebben ze dit getest? (De "Schaakmeesters")

Ze hebben geen nieuwe, dure tests gemaakt. In plaats daarvan hebben ze gekeken naar oude puzzels (datasets) die al bestonden, waar mensen vaak oneens waren over of zinnen wel of niet tegenstrijdig waren.

De slimme truc: Ze hebben die "oneens" als een kracht gebruikt. Als mensen het oneens zijn, betekent dat vaak dat er een verborgen verhaal is dat de tegenstrijdigheid oplost.
De Rechters: Ze hebben 18 verschillende AI-modellen (zoals Qwen, Llama, en de nieuwe GPT-versies) gevraagd om deze uitleggen te bedenken. Vervolgens hebben ze andere AI-modellen als "rechter" gebruikt om te checken: "Is deze uitleg goed? Klopt het verhaal?"

4. De Resultaten: De "Denk-Mode" werkt niet altijd

Wat vonden ze?

De beste uitleggers: De duurste, gesloten modellen van OpenAI (zoals de nieuwste GPT-versies) waren het beste in het bedenken van slimme uitleggen. Ze konden het beste "verzoenen".
De open modellen: De gratis, open-source modellen deden het vaak minder goed. Ze konden vaak wel een verhaal bedenken dat niet in tegenspraak was met het eerste verhaal, maar ze slaagden er vaak niet in om het tweede verhaal (de hypothese) ook nog te verklaren.
Het "Denken" is niet altijd beter: Veel moderne modellen hebben een "Denk-Mode" (waarbij ze eerst nadenken voordat ze antwoorden). Je zou denken: "Hoe meer nadenken, hoe beter."
- Maar: Bij deze specifieke taak bleek dat niet altijd waar. Bij de middelgrote modellen hielp het nadenken enorm. Maar bij de allersterkste, grootste modellen bleef het resultaat steken op een plateau. Het leek alsof ze wel genoeg kennis hadden, maar moeite hadden om die kennis op de juiste manier te gebruiken om een nieuw verhaal te bouwen.
- Analogie: Het is alsof je een meesterkok hebt die alle ingrediënten kent (groot model), maar die soms vergeten is hoe je een nieuw gerecht moet creëren in plaats van alleen een bestaand recept te herhalen.

5. Waarom is dit belangrijk?

Stel je voor dat je een chatbot gebruikt voor juridisch advies of wetenschappelijk onderzoek.

Als je bot alleen maar "fouten" ziet en dingen weggooit, mis je belangrijke nuances.
Als je bot echter kan verzoenen, kan hij helpen bij complexe situaties waar dingen niet zwart-wit zijn. Hij kan helpen bij het oplossen van conflicten, het begrijpen van menselijk gedrag en het bedenken van nieuwe hypotheses in de wetenschap.

Conclusie

Dit onderzoek laat zien dat AI nog niet helemaal "menselijk" is in het oplossen van tegenstrijdigheden. Ze zijn goed in het detecteren van fouten, maar nog niet zo goed in het creatief bedenken van verhalen die de wereld weer logisch maken. Het is een belangrijke stap om AI van een simpele "fact-checker" te veranderen in een echte "probleemoplosser".

Titel: Explanation Generation for Contradiction Reconciliation with LLMs

Auteurs: Jason Chan, Zhixue Zhao, Robert Gaizauskas (University of Sheffield, UK)

1. Het Probleem

Bestaand werk in Natural Language Processing (NLP) behandelt tegenstrijdigheden (contradictions) doorgaans als fouten die moeten worden opgelost door te kiezen welke stelling men accepteert en welke men verwerpt. Echter, een essentieel aspect van menselijk redeneren in sociale interacties en professionele domeinen is het vermogen om abductieve redenering toe te passen: het hypotheseren van verklaringen die schijnbare tegenstrijdigheden met elkaar verzoenen.

Bijvoorbeeld: "Cassie haat koffie" en "Ze koopt elke dag koffie" lijken tegenstrijdig, maar zijn verenigbaar als Cassie de taak heeft koffie voor al haar collega's te kopen. Ondanks de groeiende redeneercapaciteiten van Large Language Models (LLMs), is hun vermogen om dergelijke verzoenende verklaringen te genereren nauwelijks onderzocht. Bestaande studies focussen voornamelijk op detectie en arbitrage (welke stelling is waar?), niet op het genereren van context die beide stellingen waar maakt.

2. Methodologie

De auteurs introduceren een nieuwe taak genaamd Reconciliatory Explanation Generation (REG) en ontwikkelen een framework om deze te evalueren zonder extra menselijke annotatie.

A. Taakdefinitie (REG)

Gegeven een premissen ( $P$ ) en een hypothese ( $H$ ) die door een 'judge model' als tegenstrijdig worden gelabeld, moet een model een verklaring ( $E$ ) genereren met twee criteria:

Effectiviteit: Wanneer $P$ en $E$ gecombineerd worden, moet $H$ logisch volgen (entailment).
Coherentie: $P$ en $E$ mogen niet met elkaar in tegenspraak zijn.

Formeel:

$M_{nli}(P + E, H) = \text{entailment}$
$M_{nli}(P, E) \neq \text{contradiction}$ en $M_{nli}(E, P) \neq \text{contradiction}$

B. Dataverzameling

In plaats van nieuwe data te verzamelen, repurposen de auteurs bestaande Natural Language Inference (NLI) datasets. Ze gebruiken een subset van MultiNLI (herannotatie als ChaosNLI), specifiek de gevallen waar menselijke annotatoren het oneens waren over de label, maar waar de meerderheid "contradiction" labelde.

Kerninzicht: Menselijke onenigheid wordt hier gezien als een feature, niet een bug. Het suggereert dat er een verborgen context bestaat die de tegenstrijdigheid kan oplossen.
De dataset bevat 275 voorbeelden (ChaosNLI-MNLI-C) waar de label "contradiction" dominant was, maar nooit unaniem (gemiddeld 62% van annotatoren).

C. Evaluatie Framework

Om schaalbare evaluatie mogelijk te maken zonder menselijke tussenkomst, gebruiken de auteurs LLM-judges.

Meerdere NLI-modellen fungeren als "rechters" om te bepalen of een gegenereerde verklaring effectief en coherent is.
Dit vermijdt de subjectiviteit en ruis van menselijke annotatie en maakt evaluatie reproduceerbaar.

D. Experimenteel Opzet

Modellen: 18 verschillende LLMs werden getest, variërend van kleine open-weight modellen (Qwen3, Olmo, Llama) tot grote gesloten modellen (GPT-5 variants).
Modus: Er werd getest met "non-thinking" (direct antwoord) en "thinking" (chain-of-thought/redeneren voorafgaand aan het antwoord) modi.

3. Belangrijkste Bijdragen

Nieuwe Taak (REG): Introductie van een nieuwe benchmark om het vermogen van modellen te evalueren om tegenstrijdigheden te verzoenen via uitleg, een tot nu toe onderbelicht aspect van LLM-redeneren.
Scalable Data Curation: Een framework dat bestaande NLI-datasets (met menselijke onenigheid) hergebruikt om een testset te creëren zonder extra menselijke labels.
Automatische Evaluatie: Introductie van metrics gebaseerd op standaard NLI-judgments (entailment/contradiction) die automatisch door LLM-judges kunnen worden berekend.
Empirische Bevindingen: Uitgebreide experimenten die fundamentele beperkingen van huidige LLMs blootleggen, met name inzake het gebruik van "thinking" bij grotere modellen.

4. Resultaten

De experimenten met 18 modellen leverden de volgende inzichten op:

Algemene Prestaties: De meeste modellen hebben moeite om effectieve verklaringen te genereren. Hoewel ze vaak coherente zinnen produceren (die niet in tegenspraak zijn met de premissen), slagen ze er minder vaak in om de hypothese logisch te laten volgen uit de combinatie van premissen en verklaring.
Propriëtaire vs. Open Modellen: Gesloten modellen (gpt-5-mini en gpt-5.2) presteerden aanzienlijk beter dan open-weight modellen.
- gpt-5-mini: Hoogste succesrate (40,25%).
- Llama-3.3-70B: Beste open-weight model (26,20%).
Het "Thinking" Paradox:
- Voor middelgrote modellen (bijv. Qwen3-4B, 8B) verbeterde het "thinking"-modus de effectiviteit aanzienlijk (tot +14% verbetering).
- Voor grote modellen (bijv. Qwen3-32B) platte dit voordeel af; het verschil tussen "thinking" en "non-thinking" werd minimaal.
- Voor kleine modellen (Qwen3-0.6B) verslechterde "thinking" de prestaties, wat suggereert dat geforceerde redeneerketens kleine modellen destabiliseren.
Kwalitatieve Analyse: Modellen slaagden erin om tegenstrijdigheden op te lossen door:
- Onuitgesproken context toe te voegen (tijdscontext, sociale rollen).
- Ambiguïteit in termen op te lossen (verschillende interpretaties van "succes" of "vaststellen").
- Soms faalden ze door oppervlakkige herhaling van de hypothese of het genereren van nonsens.

5. Betekenis en Conclusie

Dit paper benadrukt dat het vermogen om tegenstrijdigheden te verzoenen een cruciale, maar onderbelichte dimensie van intelligentie is die essentieel is voor toepassingen zoals chatbots, juridische analyse en wetenschappelijk onderzoek.

Beperkingen van huidige LLMs: Hoewel LLMs goed zijn in het detecteren van fouten, zijn ze nog beperkt in het abductief redeneren om schijnbare fouten te verklaren als een nieuw, verenigend perspectief.
Rol van "Thinking": Het toevoegen van "thinking" (rekenkracht tijdens inferentie) helpt niet lineair met modelgrootte. Grote modellen lijken al voldoende kennis te hebben, maar worstelen met het gebruik daarvan om een succesvolle verklaring te construeren.
Toekomstige Richting: Er is behoefte aan nieuwe trainingsstrategieën en redeneermethodes die modellen leren om context te hypotheseren in plaats van alleen te arbitreren tussen feiten.

De auteurs concluderen dat het oplossen van tegenstrijdigheden via uitleg een fundamentele stap is naar meer robuuste en mensachtige AI-systemen, en dat hun voorgestelde framework een schaalbare manier biedt om dit verder te onderzoeken.