CRAwDAD: Causal Reasoning Augmentation with Dual-Agent Debate

Dit artikel introduceert CRAwDAD, een framework dat twee taalmodellen in een debat laat treden om hun redeneervermogen te verbeteren en zo de nauwkeurigheid van causale inferentie, met name bij tegenwerkelijke vragen, aanzienlijk verhoogt.

De kern

CRAwDAD: Twee slimme computers die ruzie maken om het juiste antwoord te vinden

Stel je voor dat je een heel lastige wiskundepuzzel moet oplossen. Je denkt er even over na, maar je bent niet helemaal zeker van je antwoord. Wat doe je dan? Je vraagt waarschijnlijk een vriend om mee te kijken. "Zie jij het zo ook?" vraag je. "Misschien heb ik hier een foutje gemaakt," denkt je vriend. Jullie bespreken het samen, jullie twijfelen aan elkaar's redenering, en uiteindelijk komen jullie tot een oplossing die jullie allebei overtuigt.

Dat is precies wat deze wetenschappelijke paper doet, maar dan met kunstmatige intelligentie (AI). De onderzoekers hebben een systeem bedacht genaamd CRAwDAD. Het is een beetje als een debatclub voor computers, maar dan gericht op het vinden van de waarheid over oorzaak en gevolg.

Hier is hoe het werkt, in simpele taal:

1. Het Probleem: Computers zijn soms "causale papegaaien"

Mensen zijn heel goed in het bedenken van "wat als"-scenario's. "Als ik vandaag niet naar school was gegaan, had ik dan mijn toets gehaald?" Dat noemen we causale redenering (het begrijpen van oorzaak en gevolg).

Computers (zoals chatbots) zijn slim, maar ze zijn vaak gewoon heel goed in het nabootsen van wat ze in hun training hebben gelezen. Ze kunnen soms een antwoord geven dat klinkt alsof het logisch is, maar in feite is het gewoon een herhaling van patronen die ze eerder hebben gezien. Ze zijn als papegaaien die zinnen nadoen zonder ze echt te begrijpen.

2. De Oplossing: Twee AI's die tegen elkaar debatteren

De onderzoekers hebben twee zeer slimme AI-modellen (noem ze Qwen3 en DeepSeek-R1) tegen elkaar gezet in een duel.

• De Spelers: Stel je voor dat Qwen3 de "Denker" is en DeepSeek-R1 de "Criticus".
• De Opdracht: Ze krijgen een vraag over oorzaak en gevolg.
• Het Spel:
  1. De Denker geeft eerst een antwoord en legt uit waarom.
  2. De Criticus leest dit en zegt: "Wacht even, dat klopt niet helemaal. Kijk hier naar dit logische gat."
  3. Als ze het oneens zijn, gaan ze de discussie aan. Ze proberen elkaar te overtuigen.
  4. Ze blijven discussiëren totdat ze het eens zijn, of totdat ze vastlopen.

Het mooie is: door te discussiëren, dwingen ze elkaar om dieper na te denken. Ze kunnen niet meer "papegaai-gedrag" vertonen; ze moeten hun eigen redenering verdedigen.

3. De Resultaten: Ruzie leidt tot wijsheid

De onderzoekers hebben dit getest met duizenden moeilijke vragen (een dataset genaamd CLadder). Hier is wat ze ontdekten:

• Alleen werken is goed, samenwerken is beter: Als de AI's alleen werkten, hadden ze al een redelijk goed score. Maar toen ze gingen debatteren, schoot hun score omhoog.
• De zwakkere speler profiteert het meest: DeepSeek-R1 (de iets minder sterke speler) werd veel slimmer door te debatteren met Qwen3. Het was alsof hij een meesterklas kreeg.
• De moeilijkste vragen: De grootste winst was bij de allerlastigste vragen (de "wat als"-vragen die tegen de realiteit ingaan). Hier was het debat echt nodig om de fouten te vinden.

4. Een grappige observatie: De "Korte" en de "Lange"

Er was een grappig verschil tussen de twee AI's tijdens het debat:

• Qwen3 was als een gedetailleerde leraar. Hij schreef lange, overtuigende teksten om zijn punt te maken.
• DeepSeek-R1 was soms als een lui leerling. Hij dacht er intern heel diep over na (dat zag je in zijn "gedachten"), maar gaf in zijn antwoord vaak alleen maar een kort "Ja" of "Nee" zonder uitleg. Hierdoor was hij minder goed in het overtuigen van de ander, zelfs als hij het juiste antwoord had!

Waarom is dit belangrijk?

Deze studie laat zien dat we AI's niet alleen hoeven te laten werken als solisten. Door ze met elkaar te laten "ruzie maken" (in een constructieve zin), krijgen we veel betrouwbaardere antwoorden. Het is als een team van detectives: één detective kan een fout over het hoofd zien, maar als twee detectives samenwerken en elkaars theorieën testen, vinden ze de waarheid sneller.

Kortom: CRAwDAD is een slimme manier om computers slimmer te maken door ze te laten debatteren. Het bewijst dat zelfs de slimste computers nog kunnen leren van een goed gesprek met een vriend.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CRAwDAD: Causal Reasoning Augmentation with Dual-Agent Debate" in het Nederlands.

Titel: CRAwDAD: Causal Reasoning Augmentation with Dual-Agent Debate

Auteurs: Finn G. Vamosi en Nils D. Forkert (Universiteit van Calgary)
Publicatie: AAMAS 2026

---

1. Het Probleem

Causale redenering (het begrijpen van oorzaak en gevolg) is een fundamentele menselijke vaardigheid die vaak vereist dat men verschillende "wat als"-scenario's overweegt voordat een conclusie wordt getrokken. Hoewel Large Language Models (LLMs) goed zijn in taal, worstelen ze vaak met formele causale inferentie omdat ze gebaseerd zijn op linguïstische correlaties in plaats van expliciete causale modellen.

Recente Reasoning Language Models (RLMs) (zoals DeepSeek-R1 en Qwen3) zijn ontworpen voor stap-voor-stap redeneren en lijken beter geschikt voor deze taak. Echter, er is weinig onderzoek gedaan naar of Multi-Agent Debate (MAD) – waarbij modellen met elkaar discussiëren – de prestaties van RLMs op formele causale taken kan verbeteren. Bestaande datasets voor causale inferentie, zoals CLadder, zijn ontworpen om "geamortiseerde causale redenering" (het memoriseren van patronen) te voorkomen, maar de prestaties van moderne RLMs op deze volledige dataset in een multi-agent setting waren nog niet grondig onderzocht.

2. Methodologie

De auteurs introduceren CRAwDAD, een raamwerk voor tweezijdige debatten tussen twee RLMs om causale vragen op te lossen.

• Dataset: Het onderzoek gebruikt de volledige CLadder-dataset (10.112 vragen). Deze dataset bevat vragen die gekoppeld zijn aan formeel gedefinieerde causale grafieken en zijn verdeeld over drie niveaus van causaliteit (Pearl's ladder):

  • Rung 1 (Zien): Statistische associaties.
  • Rung 2 (Doen): Interventies.
  • Rung 3 (Imagineren): Counterfactuals (wat als het anders was geweest?).
    De dataset bevat ook vragen die bewust in strijd zijn met gezond verstand of nonsensische variabelen gebruiken om memorisatie te voorkomen.

• Agenten: Twee open-source RLMs werden geselecteerd voor het debat:

  • Qwen3-32B
  • DeepSeek-R1-Distill-Qwen-32B
    De auteurs kiezen voor verschillende basismodellen om gedeelde bias te verminderen en diverse perspectieven te garanderen.

• Debat-Setup (Dual-Agent):

  • Er is geen "rechter" (judge) agent; de twee modellen debatteren direct met elkaar.
  • Ronde 1: Een willekeurig geselecteerd model (de eerste spreker) geeft een gestructureerd antwoord met een redeneringstrace, een ja/nee-antwoord en een zelfvertrouwensschatting.
  • Ronde 2: Het tweede model krijgt de eerste reactie en wordt gevraagd om de redenering kritisch te beoordelen op logische fouten en een weerwoord te formuleren.
  • Ronde 3 & 4: Als er onenigheid is, krijgt de eerste spreker de kritiek terug en kan het zijn antwoord verdedigen of corrigeren. Als er opnieuw onenigheid is, wordt het antwoord van het tweede model als definitief beschouwd.
  • Stopconditie: Het debat stopt na 4 rondes of eerder als er consensus is. De auteurs merken op dat extra rondes na een bepaald punt weinig meerwaarde bieden.

• Extra Technieken:

  • Een klein Granite3.3-2B model wordt gebruikt als "extractor" om de ja/nee-antwoorden en vertrouwensscores uit de vaak ongestructureerde output van de RLMs te halen.
  • De prompts zijn aangepast om de modellen zelfverzekerd te laten zijn, zelfs als de antwoorden in strijd zijn met gezond verstand (om overdenken te voorkomen).

3. Belangrijkste Bijdragen

1. Diepgaande Analyse: Een uitgebreide evaluatie van twee open-source RLMs op de volledige CLadder-dataset, opgesplitst per causaliteitsniveau (Rung).
2. Nieuw Framework: Implementatie van een tweezijdig debatframework specifiek voor RLMs, inclusief vertrouwensschattingen en een strategie voor vroegtijdig stoppen bij consensus.
3. Eerste Benchmark: Het bieden van een robuuste baseline voor zowel single-agent als multi-agent prestaties in causale inferentie, wat een referentiepunt vormt voor toekomstig onderzoek.

4. Resultaten

De resultaten tonen aan dat het debatteren tussen RLMs de nauwkeurigheid aanzienlijk verbetert, vooral bij de moeilijkste vragen.

• Algemene Nauwkeurigheid:
  • DeepSeek-R1: Verbeterde van 78,03% (single-agent) naar 87,45% (na debat).
  • Qwen3: Verbeterde van 84,16% (single-agent) naar 89,41% (na debat).
• Verbetering per Niveau (Rung):
  • De grootste winst werd geboekt bij Rung 3 (Counterfactuals), de moeilijkste categorie.
  • DeepSeek-R1: Van 67,94% naar 80,04%.
  • Qwen3: Van 71,53% naar 80,35%.
• Overtuigingskracht (Persuasion):
  • Het debat corrigeerde fouten vaker dan het fouten introduceerde. Onjuiste antwoorden werden vaker omgezet in juiste antwoorden dan andersom.
  • DeepSeek-R1 was gevoeliger voor overtuiging door Qwen3, maar Qwen3 profiteerde ook sterk door zijn eigen fouten te corrigeren.
• Vertrouwen en Gedrag:
  • Modellen waren vaak oververzekerd, maar hun vertrouwen nam af bij moeilijker vragen (hogere Rungs).
  • Qwen3 gaf over het algemeen langere en meer overtuigende argumenten dan DeepSeek-R1. DeepSeek-R1 neigde naar zeer korte antwoorden (soms slechts "ja" of "nee") tijdens het debat, wat de effectiviteit van de discussie beperkte, hoewel de onderliggende redeneringstraces wel vergelijkbaar lang waren.
  • Modellen lieten zich vaker overtuigen door een tegenstander met een hoge vertrouwensschatting.

5. Betekenis en Conclusie

• Validatie van Multi-Agent Systemen: Het paper bewijst dat multi-agent debatten een krachtige methode zijn om de causale redeneercapaciteiten van AI-systemen te verbeteren, zelfs voor al sterke modellen.
• Rol van Diversiteit: Het gebruik van verschillende modelarchitecturen (Qwen vs. DeepSeek) is cruciaal om gedeelde bias te doorbreken en betere resultaten te behalen dan bij het gebruik van identieke modellen.
• Beperkingen: Hoewel de prestaties van deze open-source modellen (na debat) dicht bij of zelfs boven die van GPT-4 (zonder debat) liggen, blijven ze achter bij menselijke prestaties, vooral bij counterfactuals (Rung 3). De auteurs suggereren dat toekomstige systemen mogelijk externe tools nodig hebben voor precieze berekeningen van counterfactuals.
• Toekomstperspectief: Dit werk legt de basis voor het gebruik van reasoning-modellen als bouwstenen in complexe multi-agent systemen voor wetenschappelijk en logisch redeneren.

Kortom, CRAwDAD demonstreert dat het laten "discussiëren" van AI-modellen niet alleen de nauwkeurigheid verhoogt, maar ook een mechanisme biedt om complexe causale problemen op te lossen die voor een enkel model te moeilijk zijn.