ArgBench: Benchmarking LLMs on Computational Argumentation Tasks

Probleemstelling

Grote Taalmodellen (LLMs) hebben argumentatievaardigheden nodig voor diverse toepassingen, zoals het bestrijden van haatzaaiende taal, het weerleggen van desinformatie en het faciliteren van collaboratief debatteren. Hoewel er veel onderzoek is gedaan naar het gebruik van LLMs voor redeneren (bijv. wiskunde, logische puzzels), ontbreekt er een gestandaardiseerde, uitgebreide benchmark voor computationele argumentatie. Bestaande benchmarks zijn vaak beperkt tot één taak (zoals alleen 'argument mining') of missen de complexiteit van conflicterende perspectieven en divergente redeneringspaden die kenmerkend zijn voor echte argumentatie. Er is dus behoefte aan een unificerend kader om de generaliseerbaarheid en vaardigheden van LLMs op dit specifieke domein te evalueren.

Methodologie

De auteurs introduceren ArgBench, het eerste benchmark voor de gestandaardiseerde evaluatie van LLMs op computationele argumentatietaken.

1. Dataset en Taakdefinitie:

• Omvang: ArgBench verenigt 33 bestaande datasets uit het veld tot 46 specifieke taken.
• Categorisatie: De taken zijn ingedeeld in vijf kernvaardigheden:
  1. Argument Mining: Het extraheren van argumenten uit tekst (bijv. unit segmentatie, relatie detectie, premisse-extractie).
  2. Argument Perspective Assessment: Het beoordelen van het perspectief (bijv. stance classification, frame identification, argument similarity).
  3. Argument Quality Assessment: Het beoordelen van de kwaliteit (bijv. argument ranking, rating, controverse scoring).
  4. Argument Reasoning: Het analyseren van redeneringspatronen (bijv. falacy detection, ad-hominem detection, warrant identification).
  5. Argument Generation: Het genereren van argumenten of tegenargumenten.
• Uniformiteit: Alle taken zijn omgezet naar een uniforme prompt-indeling (input/output) om vergelijking mogelijk te maken, waarbij de originele dataset-terminatie waar mogelijk behouden is.

2. Evaluatie-Opzet:
Twee experimentele setups worden gebruikt om verschillende aspecten van LLM-prestaties te meten:

• Prompting Setup (Zero-shot, Few-shot, Chain-of-Thought): LLMs worden getest zonder fine-tuning, puur op basis van hun vooraf getrainde kennis en prompt-technieken.
• Leave-One-Task-Out (LOTO): Een setup om generalisatie te testen. Een model wordt gefine-tuned op alle taken behalve één (de doel-taak), en vervolgens getest op die ongezette taak. Dit meet de capaciteit om vaardigheden over te dragen naar nieuwe argumentatietaken.

3. Geëvalueerde Modellen:
Er zijn 11 LLMs getest, afkomstig van 5 families (Mistral, Qwen, Llama, DeepSeek-R1, Phi) en variërend in grootte (van 4B tot 70B parameters, inclusief GPT-4.1 als gesloten referentie).

Belangrijkste Bijdragen

1. ArgBench Benchmark: Een unificerend evaluatiekader met 46 taken over 33 datasets, wat het meest uitgebreide benchmark voor computationele argumentatie tot nu toe is.
2. Systematische Analyse: Een kwantitatieve analyse van de generalisatie van LLMs over verschillende argumentatievaardigheden en de impact van modelgrootte, prompt-technieken (zoals Chain-of-Thought) en fine-tuning.
3. Inzichten in Vaardigheden: Identificatie van welke vaardigheden LLMs van nature goed beheersen en welke extra resources of geavanceerde methoden vereisen.

Resultaten

De experimenten leverden de volgende inzichten op:

• Modelgrootte: Over het algemeen presteren grotere modellen beter, vooral bij Argument Mining, Perspective Assessment en Reasoning. De prestaties stijgen significant bij het vergroten van het aantal parameters (factor 4+).
• Prompting Technieken:
  • Few-shot prompting werkt vaak het beste voor grote modellen, vooral bij generatie- en redeneringstaken.
  • Chain-of-Thought (CoT) verbetert de prestaties bij Argument Quality Assessment, maar presteert soms slechter dan zero-shot bij Argument Reasoning voor bepaalde model-families (Llama, Mistral, Qwen), vaak door fouten in het verwerken van emotionele taal of incomplete redeneerketens.
• Moeilijkste Vaardigheid: Argument Quality Assessment blijkt de meest uitdagende vaardigheid voor LLMs. De prestaties zijn over het algemeen laag en er is weinig winst te behalen door alleen de modelgrootte te vergroten of prompting-technieken toe te passen.
• Generalisatie (LOTO): De cross-task generalisatie is beperkt. Modellen generaliseren redelijk goed naar taken die gaan over het evalueren van argumenten (zoals Ad-hominem detection en Argument Rating), maar presteren slechter bij het genereren of extraheren van nieuwe argumenten en perspectieven.
  • Voorbeeld: Mistral-22b behaalde de hoogste macro-scores, maar presteerde nog steeds matig op taken zoals unit segmentation en argument rating zonder specifieke training.
• Manuele Evaluatie: Een handmatige evaluatie van tegenargument-generatie bevestigde dat taakspecifieke fine-tuning essentieel is voor optimale prestaties. Modellen getraind op de doel-taak presteerden aanzienlijk beter in 'argumentativeness' en 'relevance' dan modellen die alleen op andere taken waren getraind.

Betekenis en Conclusie

ArgBench biedt een cruciaal fundament voor het systematisch trainen en evalueren van LLMs op computationele argumentatie. De studie toont aan dat hoewel LLMs veelbelovend zijn voor het begrijpen en analyseren van argumenten, er nog aanzienlijke ruimte voor verbetering is, met name bij het beoordelen van argumentkwaliteit en het genereren van nieuwe argumenten.

De bevindingen suggereren dat:

1. Grotere modellen van nature betere argumentatievaardigheden hebben, maar niet automatisch alle nuances beheersen.
2. Taak-specifieke fine-tuning vaak noodzakelijk is voor optimale prestaties, hoewel bepaalde vaardigheden (zoals het beoordelen van kwaliteit) wellicht overdraagbaar zijn.
3. Toekomstig onderzoek zich moet richten op het selecteren van de beste trainings-taken voor specifieke doel-taken en op het verbeteren van de redeneringscapaciteiten van modellen om emotionele en complexe argumentatieve structuren beter te hanteren.

Dit werk legt de basis voor de ontwikkeling van robuustere AI-systemen die kunnen bijdragen aan het oplossen van maatschappelijke problemen door effectieve en eerlijke argumentatie.