💬 NLP

CAF-Gen: A Multi-Agent System for Enriching Argumentation Structures

Dit artikel introduceert CAF-Gen, een multi-agent framework dat een iteratieve Creator-Reviewer pipeline gebruikt om automatisch oppervlakkige argumentstructuren te transformeren naar rijke, formele Carneades Argumentation Framework (CAF) modellen, waarmee de structurele beperkingen van single-pass generatiemethoden effectief worden overwonnen.

Oorspronkelijke auteurs: Jakub Bąba, Jarosław Chudziak

Gepubliceerd 2026-06-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jakub Bąba, Jarosław Chudziak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex debat probeert te begrijpen, zoals een verhitte discussie tijdens een inspreekavond in een gemeentehuis. Momenteel zijn computers best goed in het herkennen van het "wie zei wat" en "wie valt wie aan". Ze kunnen je vertellen dat Persoon A een bewering heeft gedaan en dat Persoon B een reden heeft aangevoerd om deze te ondersteunen. Dit is als het hebben van een eenvoudige kaart van het debat met alleen stippen (mensen) en lijnen (verbindingen).

De auteurs van dit artikel stellen echter dat deze eenvoudige kaart niet genoeg is voor diepgaande, serieuze redenering. Om een debat echt te begrijpen, moet je weten hoe de argumenten werken. Is die reden een feit? Is het een aanname? Is het een deskundige mening? Welk soort bewijs is nodig om dit te geloven? Dit is als het upgraden van een basis straatkaart naar een gedetailleerd 3D-model dat het terrein, de bouwmaterialen en de structurele integriteit van elk huis laat zien.

Dit paper introduceert een nieuw systeem genaamd CAF-Gen dat precies deze upgrade uitvoert, maar dan automatisch.

Het Probleem: De "One-Shot" Fout

De auteurs probeerden een enkele, superintelligente AI (een Large Language Model) te gebruiken om deze upgrade in één keer uit te voeren. Denk hierbij aan het vragen aan een getalenteerde maar overwerkte architect om in één ademteug een perfect, juridisch bindend bouwplan te tekenen. De AI is slim, maar maakt vaak fouten, raakt in de war of "hallucineert" (verzint details) omdat de regels voor formele logica zeer strikt zijn. Het is alsof je probeert een perfecte soufflé te bakken zonder de oven ook maar één keer te controleren; als je het fout doet, stort het hele ding in.

De Oplossing: Het "Maker en Criticus" Team

Om dit op te lossen, bouwden de auteurs een Multi-Agent Systeem. In plaats van één AI die alles doet, creëerden ze een team van twee gespecialiseerde AI-agenten die samenwerken in een lus:

De Maker (The Creator): Deze AI fungeert als een ontwerper. Hij neemt de eenvoudige "stippen en lijnen" kaart van het debat en probeert hiervan het complexe 3D-model te bouwen. Hij voegt labels toe zoals "Deskundige Mening" of "Bewijsstandaard" aan elk onderdeel van het argument.
De Beoordelaar (The Reviewer): Deze AI fungeert als een strenge bouwinspecteur. Hij bekijkt het concept van de Maker en controleert op fouten. Heeft de Maker een feit met een aanname verwisseld? Heeft hij het verkeerde type bewijs gebruikt? Is de structuur zelfs wel geldig?

Hoe Ze Samenwerken (De Iteratieve Lus)

Hier zit de magie: ze werken niet slechts één keer. Ze werken in een cyclus, zoals een schrijver en een redacteur.

Ronde 1: De Maker maakt een concept. De Beoordelaar vindt 10 fouten en stuurt het terug met een lijst met correcties.
Ronde 2: De Maker herstelt de fouten en probeert het opnieuw. De Beoordelaar controleert opnieuw.
Ronde 3: Als er nog steeds kleine problemen zijn, gaan ze heen en weer.

Het paper stelt vast dat deze "touwtrekwedstrijd" tussen de Maker en de Beoordelaar cruciaal is. Wanneer de AI het alleen probeerde te doen (één passage), kreeg hij het slechts in ongeveer 35% van de gevallen goed. Maar met deze teamlus steeg het succespercentage naar meer dan 91%. Het is alsof een team van schrijvers en redacteurs een veel beter boek produceert dan een enkele auteur die alleen werkt.

De Resultaten

Het team testte dit systeem op een grote collectie overtuigende essays (402 essays). Ze wilden twee dingen weten:

Werd het systeem beter door feedback? Ja. De "Beoordelaar" betrapte veelvoorkomende fouten zoals het kiezen van het verkeerde "argumentatieschema" (bijv. iets een "Deskundige Mening" noemen terwijl het eigenlijk gewoon een "Voorbeeld" was) of het maken van structurele fouten.
Blijft het trouw aan de oorspronkelijke tekst? Ja. Het systeem was zeer voorzichtig om geen nieuwe argumenten uit het niets te verzinnen. Het behield de oorspronkelijke structuur van de essays bijna perfect (99% nauwkeurigheid) terwijl het de rijke, gedetailleerde lagen er bovenop legde.

De Kernboodschap

Het paper concludeert dat door het gebruik van een team van AI-agenten die elkaars werk bekritiseren en verfijnen, we eenvoudige tekstuele argumenten automatisch kunnen omzetten in complexe, formele modellen die klaar zijn voor serieuze logische analyse. Het bewijst dat je geen mens nodig hebt om elke stap te controleren; een slim, zelfcorrigerend AI-team kan het zware werk doen van het bouwen van deze complexe argumentatiestructuren op een betrouwbare manier.

Technische Samenvatting: CAF-Gen

Probleemstelling
Het artikel behandelt een kritieke beperking in huidige technieken voor Argument Mining (AM): hoewel ze effectief basisstellingen, premissen en eenvoudige ondersteunings- of aanvalsrelaties identificeren, worstelen ze met het vastleggen van de rijkere structurele informatie die vereist is voor geavanceerde formele argumentatiekaders. Specifiek missen standaard AM-outputs de semantische diepgang die nodig is voor kaders zoals het Carneades Argumentation Framework (CAF), dat onderscheid maakt tussen verschillende typen premissen (bijv. gewone premissen, aannames, uitzonderingen), bewijsstandaarden en expliciete argumentatieschema's (bijv. de taxonomie van Walton). Bovien wordt de toepassing van dergelijke kaders bemoeilijkt door een gebrek aan geannoteerde corpora die in staat zijn dergelijke complexe structuren te ondersteunen. Hoewel Large Language Models (LLMs) veelbelovend zijn in natuurlijke taalverwerking, faalt generatie in één enkele passage vaak bij het naleven van de strikte logische beperkingen van formele argumentatie, wat leidt tot hallucinaties en structurele instabiliteit.

Methodologie: CAF-Gen Framework
Om de kloof tussen oppervlakkige argumentatie-annotaties en rigoureuze, aan CAF consequente modellen te overbruggen, introduceren de auteurs CAF-Gen, een geautomatiseerd multi-agent systeem. Het framework werkt op de UKP Argument Annotated Essays v2 corpus en transformeert basisargumentatiegrafen naar verrijkte CAF-structuren via een iteratieve Creator-Reviewer pipeline:

Taakformulering: Het systeem behandelt het probleem als een structuurbehoudende graaf-transformatie. Het brengt een bron-graaf ( $G_{src}$ ) die basiscomponenten bevat (Major Claims, Claims, Premises) en relaties (Support, Attack), in kaart naar een doel-CAF-graaf ( $G_{CAF}$ ). De doel-graaf verrijkt knopen met typen stellingen en bewijsstandaarden, en randen met argumentatieschema's en polariteit.
De Creator Agent: Deze generatieve agent neemt een eenheid uit de corpus en construeert een kandidaat CAF-item. De subtaken omvatten:
- Het in kaart brengen van componenten naar CAF-stellingen (bijv. het mappen van Major Claims naar conclusies).
- Het classificeren van stellingtypen (gewone premisse, aanname, uitzondering).
- Het toewijzen van bewijsstandaarden (bijv. Scintilla of Evidence, Preponderance of Evidence).
- Het identificeren van argumentatieschema's uit de taxonomie van Walton.
De Reviewer Agent: Als criticus evalueert deze agent de output van de Creator aan de hand van een checklist voor integriteit, tekstuele coherentie en volledigheid. Het signaleert problemen zoals structurele inconsistenties, onjuiste selectie van schema's of ontbrekende velden.
Iteratieve Verfijning: Als de Reviewer het model afwijst (vanwege fouten of waarschuwingen), geeft deze specifieke feedback, waarna de Creator het model herziet. Deze cyclus gaat door totdat het model wordt geaccepteerd of een vooraf ingestelde iteratielimiet (vijf cycli) is bereikt. Het systeem maakt gebruik van Google's Gemini 2.5 Pro model met een lage temperatuur (0.1) om deterministische naleving van het schema te garanderen.

Belangrijkste Bijdragen

Geautomatiseerde Verrijking: De introductie van een multi-agent framework dat in staat is om oppervlakkige argumentatiestructuren automatisch te verrijken tot complexe, aan CAF consequente modellen zonder dat er vooraf geannoteerde corpora voor het doel-schema nodig zijn.
Iteratieve Kwaliteitsborging: De validatie van een iteratieve Creator-Reviewer pipeline die specifiek is aangepast voor formele argumentatie. Deze aanpak verzacht de structurele instabiliteit die typerend is voor single-pass LLM-generatie door collectieve intelligentie te simuleren om outputs te verfijnen.
Gegronde Transformatie: Een methodologie die ervoor zorgt dat de verrijkte modellen geworteld blijven in de oorspronkelijke inputstructuur, waardoor de introductie van ongegronde knopen of randen wordt voorkomen terwijl noodzakelijke logische attributen worden toegevoegd.

Experimentele Resultaten
Het systeem werd geëvalueerd op de volledige UKP Argument Annotated Essays v2 corpus (402 essays).

Effectiviteit van Verfijning (Q1): Het iteratieve proces bleek essentieel. Het Acceptatiepercentage bij de Eerste Passage was slechts 34,6%, maar na verfijning steeg het Eind-Acceptatiepercentage naar 91,3%. Het gemiddeld aantal iteraties per geaccepteerde essay was 2,35. De meest voorkomende problemen die door de Reviewer werden gesignaleerd, waren Structurele Inconsistenties (44,7%) en Ongepaste Selectie van Argumentatieschema's (38,9%).
Structurele Getrouwheid (Q2): Om te meten hoe goed de verrijkte modellen de oorspronkelijke argumentatiestructuur behielden, werd de output terug geprojecteerd naar het bron-schema.
- Component Identificatie: Behaalde een Precisie van 99,8%, Recall van 98,8% en een F1-score van 99,3%.
- Relatie Identificatie: Behaalde een Recall van 99,1%, maar een lagere Precisie van 67,1% (F1-score: 80,0%). De auteurs merken op dat de lagere precisie aangeeft dat het systeem niet alleen de oorspronkelijke relaties behoudt, maar ook proactief nieuwe verbindingen toevoegt die impliciet waren in de brontekst.

Betekenis en Claims
Het artikel claimt dat CAF-Gen een robuuste methodologie demonstreert voor de geautomatiseerde modellering van formele argumentatie. De primaire betekenis ligt in het bewijs dat multi-agent systemen de beperkingen van single-pass generatie kunnen overwinnen, waardoor de kwaliteit van de output aanzienlijk wordt verbeteren door middel van iteratieve feedbackloops. De auteurs stellen dat hun systeem erin slaagt de kloof te overbruggen tussen basis argumentatie-annotaties en de gedetailleerde structuren die gevraagd worden door het Carneades Argumentation Framework.

Het werk suggereert dat dergelijke multi-agent samenwerking cruciaal is voor het waarborgen van de structurele integriteit en semantische rijkdom van gegenereerde modellen, een taak die voorheen werd geacht menselijk oordeel te vereisen. Door natuurlijke taalargumentatie te verbinden met formele redeneerschema's, draagt het onderzoek bij aan de ontwikkeling van intelligente systemen voor domeinen die precisie vereisen, zoals juridische redenering en academisch debat. De auteurs blijven bescheiden over de absolute juistheid van de nieuw toegewezen CAF-kenmerken (vanwege het gebrek aan grondwaarheid voor dergelijke complexe structuren), maar benadrukken dat het systeem de onderliggende argumentatiestructuren betrouwbaar respecteert zonder destructief gedrag te vertonen.