Multi-Agent Dialectical Refinement for Enhanced Argument Classification

Probleemstelling

Argument Mining (AM) is een fundamentele technologie voor geautomatiseerde schrijfbeoordeling, maar traditionele benaderingen zijn sterk afhankelijk van dure, domeinspecifieke fine-tuning op gelabelde data. Hoewel Large Language Models (LLMs) een trainingsvrij alternatief bieden, kampen ze met twee belangrijke beperkingen:

1. Structurele ambiguïteit: LLMs hebben moeite om vergelijkbare componenten te onderscheiden, zoals het verschil tussen een Claim (een stelling) en een Premise (een ondersteunend argument).
2. Sycophancy bij zelfcorrectie: Eén-agent systemen die proberen zichzelf te corrigeren, neigen vaak hun eigen initiële fouten te bevestigen in plaats van ze kritisch te evalueren.

Het centrale vraagstuk is of LLM-systemen hun prestaties in de classificatie van argumentcomponenten kunnen verbeteren door een multi-agent raamwerk te gebruiken, zonder de kosten van toezicht op fine-tuning.

Methodologie: MAD-ACC

De auteurs introduceren MAD-ACC (Multi-Agent Debate for Argument Component Classification), een raamwerk dat dialectische verfijning gebruikt om classificatieonzekerheid op te lossen. Het systeem is opgebouwd als een Multi-Agent System (MAS) met de volgende componenten:

• Agentrollen:

  • Manager: Fungeert als een probabilistische filter. Hij schat de waarschijnlijkheidsverdeling over labels en selecteert de twee meest waarschijnlijke labels. Om vooroordelen te voorkomen, worden deze labels willekeurig toegewezen aan de Proponent en de Opponent.
  • Proponent & Opponent: Deze agenten voeren een debat. Ze verdedigen elk een tegenstrijdige interpretatie van de tekst, waarbij ze zich richten op structurele en logische afhankelijkheden in plaats van alleen semantische assertiviteit.
  • Judge: Evalueert het debattranscript op basis van de definities van de labels en de richting van de ondersteuning. De Judge beslist niet door simpelweg te stemmen, maar door te analyseren welke agent de meest logische en structurele onderbouwing heeft geleverd.

• Werkingsproces:

  1. Probabilistische Initialisatie: De Manager kiest twee kandidaat-labels.
  2. Dialectische Interactie: De Proponent en Opponent wisselen meerdere beurten uit (in de experiments 2 rondes) om hun standpunt te verdedigen.
  3. Classificatie: De Judge leest het volledige transcript en levert de definitieve voorspelling.

Het doel is om de "Claim vs. Premise" verwarring op te lossen door agents te dwingen de hiërarchische rol van een zin binnen het volledige argument te verdedigen.

Belangrijkste Bijdragen

1. Dialectische Verfijning: Een nieuw raamwerk dat argumentatieclassificatie omzet in een gestructureerd debat, waardoor logische nuances worden blootgelegd die door single-pass modellen worden gemist.
2. Trainingsvrije Prestaties: Het systeem bereikt hoge nauwkeurigheid zonder domeinspecifieke fine-tuning of grote hoeveelheden gelabelde trainingsdata.
3. Transparantie en Uitlegbaarheid: In tegenstelling tot "black-box" classifiers, genereert MAD-ACC menselijk leesbare debattranscripten die de redenering achter elke beslissing uitleggen. Dit maakt het systeem interpreteerbaar voor gebruikers.
4. Verbetering van Claim-classificatie: Het systeem lost specifiek de moeilijkheid op om Claims te onderscheiden van Premises, wat een bekende zwakte is bij bestaande methoden.

Resultaten

De evaluatie vond plaats op het UKP Student Essays corpus (een standaarddataset voor educatieve teksten).

• Prestaties: MAD-ACC behaalde een Macro F1-score van 85,7%.
  • Dit is significant beter dan single-agent baselines:
    • Vanilla prompting: 78,5%
    • Chain-of-Thought (CoT): 79,2%
    • Smart Reasoning (zonder debat): 84,9%
• Specificatie: De grootste winst werd geboekt bij het classificeren van Claims (F1-score steeg van 72,5% bij de beste single-agent naar 74,5% bij MAD-ACC).
• Vergelijking met State-of-the-Art (SOTA): Hoewel fine-tuned modellen (zoals die van Cabessa et al., 2025) nog steeds de hoogste score halen (89,5%), presteert MAD-ACC zeer competitief zonder enige training.
• Kwalitatieve Analyse: Case studies tonen aan dat het debatmechanisme fouten corrigeert waar single-agent modellen falen, zoals het correct identificeren van een hoofdstelling als Claim in plaats van Premise, of het begrijpen van hiërarchische afhankelijkheden in complexe zinnen.

Significantie en Toekomstperspectief

De studie toont aan dat multi-agent debatten een effectieve strategie zijn om de kloof tussen trainingsvrije LLM-inferentie en toezicht op fine-tuning te verkleinen.

• Data-efficiëntie: Voor domeinen met weinig data (zoals juridische, politieke of biomedische teksten) is MAD-ACC een aantrekkelijk alternatief, omdat het de kosten van het handmatig labelen van grote datasets omzeilt.
• Toepasbaarheid: Het systeem kan worden geïntegreerd in intelligente educatieve systemen om studenten niet alleen een score te geven, maar ook een transparante uitleg te bieden over de structuur van hun argumentatie.
• Toekomstig werk: De auteurs suggereren uitbreiding naar andere taken zoals het identificeren van argumentrelaties (Support/Attack) en het testen van cross-domein generalisatie.

Kortom, MAD-ACC bewijst dat het simuleren van een menselijk debatproces tussen AI-agenten leidt tot robuustere, nauwkeurigere en transparantere argumentatieanalyse dan traditionele, statische modellen.