From Argument Components to Graphs: A Multi-Agent Debate with Confidence Gating for Argument Relations

Technische Samenvatting: Van Argumentcomponenten naar Grafen: Een Multi-Agent Debat met Confidence Gating voor Argumentrelaties

Probleemstelling
Argument Mining (AM) beoogt het extraheren en identificeren van argumentatieve structuren, waarbij de focus verschuift van de detectie van enkelvoudige componenten (bijv. Claims, Premissen) naar het in kaart brengen van de relationele verbindingen tussen hen. De kernuitdaging die in dit werk wordt aangepakt, is Argument Relation Identification and Classification (ARIC), wat inhoudt dat bepaald wordt of er een gerichte link bestaat tussen twee tekstcomponenten en of deze geclassificeerd kan worden als Support (ondersteuning), Attack (aanval) of None (geen).

Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken voor AM, hebben standaard training-vrije modellen vaak moeite met het relationele karakter van deze taak. Specifiek zijn ze geneigd om logische links te "hallucineren" die niet in de tekst aanwezig zijn. Mechanismen voor zelfcorrectie door een enkele agent falen vaak in het oplossen hiervan vanwege "sycophantisch" gedrag, waarbij modellen hun initiële fouten versterken in plaats van ze te herzien. Bovendien lijden methoden voor supervised fine-tuning, hoewel ze state-of-the-art zijn in veel domeinen, aanzienlijk onder klassenimbalans (met name het tekort aan Attack-voorbeelden) en missen ze interpreteerbaarheid met betrekking tot individuele voorspellingen.

Methodologie
De auteurs breiden een multi-agent debatframework, dat eerder werd gebruikt voor componentclassificatie, uit naar de complexere taak van ARIC. Het voorgestelde systeem herformuleert relatieclassificatie als een gestructureerd debat over paren van argumentcomponenten.

1. Agent Architectuur: Het framework maakt gebruik van vier rollen:

   • Manager: Schat de initiële labelkansen in voor een paar componenten.
   • Proponent & Opponent: Engageren in een dialectisch debat. De één pleit voor de aanwezigheid van een specifieke relatie (Support of Attack), terwijl de ander voor een alternatief pleit (inclusief None). Zij hebben de taak om gehallucineerde links bloot te leggen door om tekstueel bewijs te vragen.
   • Judge: Evalueert het volledige debattranscript om een definitief oordeel te vellen, waarbij expliciet instructies zijn gegeven om ononderbouwde logische sprongen te bestraffen.

2. Confidence Gating Mechanisme: Een innovatieve toevoeging aan het framework is een confidence gating mechanisme. De Manager beoordeelt eerst de waarschijnlijkheid van het top-label. Als de zekerheid de drempelwaarde ($\tau$) overschrijdt, wordt het debat overgeslagen en wordt de initiële voorspelling geaccepteerd. Het debat wordt alleen getriggerd bij onzekere gevallen. Dit heeft als doel de computationele kosten te verlagen en te voorkomen dat de prestaties verslechteren op hoog-betrouwbare monsters waar het debat onnodige twijfel zou kunnen introduceren.

3. Experimentele Opzet: Het systeem werd geëvalueerd op de UKP Argument Annotated Essays v2 corpus. Het framework werd vergeleken met:

   • Single-agent baselines: Vanilla prompting, Chain-of-Thought (CoT), en "Smart Reasoning" (gebruikmakend van een krachtiger model zonder debat).
   • Supervised baselines: Fine-tuned RoBERTa-base en RoBERTa-large modellen.

Belangrijkste Resultaten
De experimenten leverden verschillende cruciale bevindingen op met betrekking tot de effectiviteit van multi-agent debat voor relationele taken:

• Conditioneel Voordeel van Debat: Onvoorwaardelijk debat over alle monsters (Full Debate) resulteerde in een Macro F1 van 0,561, wat lager was dan de sterkste single-agent baseline (Smart Reasoning op 0,578). Het debatproces corrigeerde 249 voorspellingen maar verslechterde er 236, wat resulteerde in een bijna nul netto voordeel.
• Succes van Confidence Gating: Wanneer gecombineerd met confidence gating (specifiek bij $\tau = 0,70$), bereikte het framework de hoogste Macro F1 van 0,585 onder alle training-vrije methoden. Deze configuratie debatteerde slechts over 14% van de monsters (332 van de 2.407), waardoor de computationele inspanning werd gericht op de meest onzekere gevallen.
• Prestaties versus Supervised Modellen: Alle generatieve (inference-only) benaderingen presteerden beter dan de fine-tuned RoBERTa-modellen op Macro F1. De supervised modellen hadden aanzienlijke problemen met de Attack-klasse (F1-scores van 0,071 en 0,167 voor respectievelijk RoBERTa-base en large) door de schaarste aan trainingsinstanties (160 paren). In tegenstelling hiertoe maakten generatieve modellen effectiever gebruik van algemene linguïstische kennis om deze minderheidsklasse te hanteren.
• Interpreteerbaarheid: In tegenstelling tot single-pass inferentie of black-box classifiers, produceert het framework menselijk leesbare debattranscripts die de redenering achter elke voorspelling blootleggen.

Betekenis en Claims
Het artikel stelt dat hoewel multi-agent debat een krachtig paradigma is, de toepassing ervan op relationeel redeneren conditioneel is. De auteurs beweren dat:

1. Debat is geen universele oplossing: Het onvoorwaardig toepassen van debat kan de prestaties verslechteren door twijfel te zaaien in gevallen waarin het model al correct was.
2. Gerichte interventie is vereist: Het confidence gating mechanisme dient als de noodzakelijke architecturale interventie om debat effectief te maken, door dialectische verfijning te beperken tot gevallen van echte onzekerheid.
3. Training-vrije levensvatbaarheid: In scenario's met weinig middelen of hoge onbalans (zoals de Attack-klasse in argument mining), kunnen training-vrije generatieve benaderingen met confidence gating beter presteren dan supervised fine-tuning, wat een praktisch alternatief biedt wanneer geannoteerde data schaars is.
4. Interpreteerbaarheid: Het framework biedt een mate van interpreteerbaarheid via debattranscripts, die afwezig is bij standaard single-agent of supervised classifiers.

Het werk concludeert dat hoewel de verbetering ten opzichte van de sterkste baseline bescheiden is, het framework een levensvatbaar pad aantoont naar training-vrije argument-relatieclassificatie die een balans vindt tussen prestaties, computationele efficiëntie en interpreteerbaarheid.