Technische Samenvatting: Kwaliteitsbeoordeling van Argumenten met Grootte Taalmodellen: Een Paarsgewijze Bradley-Terry Benadering

Probleemstelling

De automatische beoordeling van argumentkwaliteit is cruciaal voor effectieve persuasie, besluitvorming en discoursanalyse in velden variërend van recht tot wetenschap. Echter blijft het handmatig evalueren van argumentkwaliteit op grote schaal een knelpunt vanwege hoge kosten en inconsistentie in annotatie. Hoewel Grootte Taalmodellen (LLMs) capaciteiten hebben aangetoond in redeneren en oordelen, blijft het een open vraag of ze deskundige oordelen in de beoordeling van argumentkwaliteit betrouwbaar kunnen repliceren. Bestaand onderzoek biedt gemengde resultaten met betrekking tot het vermogen van LLM's om specifieke kwaliteitsaspecten te beoordelen of argumenten te rangschikken, waarbij vaak wordt vertrouwd op beperkte modelsets of eendimensionale evaluaties (bijvoorbeeld overtuigingskracht) in plaats van multidimensionale kaders.

Deze studie behandelt de onderzoeksvraag: In hoeverre kunnen paarsgewijze vergelijkingen door LLM's deskundige rangschikkingen van argumentkwaliteit reproduceren? Het onderzoekt specifiek de prestaties van LLM's over verschillende groottes, families en promptstrategieën in vergelijking met menselijke deskundige annotaties.

Methodologie

De studie maakt gebruik van het Webis-ArgQuality-20 corpus, een gouden standaard dataset bestaande uit 1.610 teksten over 20 debatthema's. De dataset bevat 13.952 paarsgewijze vergelijkingen geannoteerd door experts (via crowdsourcing) over drie distincte dimensies van argumentkwaliteit zoals gedefinieerd door Wachsmuth et al. (2017b):

1. Logische Kwaliteit: Richt zich op overtuigingskracht, inclusief lokale aanvaardbaarheid, relevantie en toereikendheid van premissen.
2. Retorische Kwaliteit: Meet effectiviteit en persuasie, bestaande uit geloofwaardigheid, emotionele appel, helderheid, geschiktheid en ordening.
3. Dialectische Kwaliteit: Beoordeelt redelijkheid en het vermogen om meningsverschillen op te lossen, inclusief aanvaardbaarheid, relevantie en toereikendheid (weerlegging).

Experimentele Opstelling

De auteurs evalueerden 12 open-weight LLM's uit vijf modelfamilies (Mistral, Llama 3, Qwen2.5, Olmo2 en Command-R), variërend in parametergrootte van 7B tot 104B. De evaluatie volgde een strikt paarsgewijze vergelijkingprotocol waarbij modellen de instructie kregen om het betere argument (A, B of Gelijk) te selecteren voor een specifieke kwaliteitsdimensie.

Drie promptstrategieën werden toegepast:

• Zero-shot: Invoeren van de dimensie en het argumentpaar.
• Chain-of-Thought (CoT): De instructie aan het model om intern te redeneren over sub-dimensies (bijvoorbeeld het evalueren van lokale relevantie voordat de logische kwaliteit wordt bepaald) voordat het eindlabel wordt uitgegeven.
• Few-shot: Het verstrekken van drie geannoteerde voorbeelden per thema (één voor A, één voor B, één voor Gelijk), geselecteerd op basis van grondwaarheids-scoresverschillen om duidelijkheid te waarborgen.

Aggregatie en Metrieken

Om continue kwaliteitscores af te leiden uit discrete paarsgewijze oordelen, paste de studie het Bradley-Terry (BT) model toe. Deze statistische benadering schat de waarschijnlijkheid dat één argument de voorkeur heeft boven een ander ($P(d_i \succ d_j) = \frac{\gamma_i}{\gamma_i + \gamma_j}$) om latente sterktescores en een definitieve rangschikking te genereren.

Prestaties werden geëvalueerd met behulp van:

• Correlatiemetrieken: Pearson, Spearman en Kendall coëfficiënten die LLM-afgeleide BT-rangschikkingen vergelijken met door experts afgeleide BT-rangschikkingen.
• Foutmetrieken: Gemiddelde Absolute Fout (MAE) en Root Mean Square Error (RMSE).
• Overeenkomstmetrieken: Cohen's $\kappa$ en procentuele overeenkomst voor directe paarsgewijze labelvergelijking.
• Stabiliteit: Krippendorff's $\alpha$ en variabiliteitsanalyse over drie onafhankelijke runs om voorspellingsconsistentie te meten.

Belangrijkste Resultaten

1. Modelprestaties versus Menselijke Experts

De studie vond dat LLM's een matige correlatie bereiken met menselijke deskundige oordelen, waarbij geen enkel model perfecte alignering bereikte.

• Beste Performer: Llama-70B met few-shot prompting behaalde de hoogste alignering. Het bereikte een Cohen's $\kappa$ van 0,493 en correlaties met expert BT-scores van 0,473 (Pearson), 0,477 (Spearman) en 0,327 (Kendall).
• Runner-up: Qwen2.5-72B (zero-shot) volgde op korte afstand met correlaties van 0,463–0,466.
• Trends in Modelgrootte: Over het algemeen presteerden grotere modellen (70B+) beter dan kleinere varianten (7B–32B) in correlatie met experts. Echter was de Mistral familie een uitzondering, waarbij de 7B-variant beter presteerde dan de 22B-variant in correlatie, hoewel de 22B-variant een hogere inter-annotator overeenkomst (IAA) vertoonde.
• Promptstrategieën: Er was geen universele voorkeur voor één strategie. Few-shot prompting kwam grote modellen (Llama-70B, Command-R-104B) significant ten goede, maar was vaak schadelijk of neutraal voor modellen van middelgrote omvang. Chain-of-thought verbeterde de prestaties niet consequent en verminderde soms de correlatiescores ten opzichte van zero-shot.

2. Cross-LLM Alignering

Bij het vergelijken van andere modellen met de best presterende configuratie (Llama-70B met few-shot):

• Qwen2.5-72B en Olmo2-32B toonden sterke alignering met Llama-70B.
• Qwen2.5-7B (de kleine variant) verbaasde door goed te aligneren met zijn grotere tegenhanger en de beste configuratie.
• Mistral-22B toonde een correlatie van bijna nul met Llama-70B, wat wijst op een afwijkend begrip van de kwaliteitsdimensies ondanks dat beide modellen een matige overeenkomst met menselijke experts bereikten. Dit geeft aan dat verschillende modellen complementaire perspectieven op argumentkwaliteit kunnen vastleggen.

3. Stabiliteit en Variabiliteit

LLM-voorspellingen waren over het algemeen stabiel over drie onafhankelijke proefruns.

• Kleine Modellen: Vertoonden hoge stabiliteit (vaak 100% overeenkomst over runs) maar lagere nauwkeurigheid ten opzichte van experts.
• Grote Modellen: Toonden iets hogere variabiliteit, maar profiteerden van few-shot prompting, wat het voorkomen van "allemaal ongelijk" (conflicterende) labels verminderde.
• Slechtste Geval: Mistral-22B met few-shot prompting leverde de hoogste variabiliteit op, waarbij 7,75% van de gevallen resulteerde in verschillende labels over alle drie de runs.
• Conclusie: Aggregatiestrategieën zoals meerderheidsstemming zijn effectief voor het hanteren van de resterende variabiliteit.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Systematische Evaluatie: Het biedt de eerste uitgebreide evaluatie van 12 open-weight LLM's over vijf families en drie promptstrategieën voor multidimensionale argumentkwaliteitsbeoordeling.
2. Toepassing van Bradley-Terry: Het is, naar kennis van de auteurs, de eerste toepassing van het Bradley-Terry model om op LLM's gebaseerde vergelijkende oordelen in argument mining te aggregeren, verder gaand dan eenvoudige Likert-schaal evaluaties.
3. Inzichten in Modelgedrag: De studie onthult dat hoewel LLM's nog niet presteren op het niveau van experts, ze een "velebelovende maar matige" benadering bieden. Cruciaal is dat het benadrukt dat verschillende modellen een gedeeltelijk maar complementair begrip van kwaliteitsdimensies vertonen. Dit suggereert dat het ensemble van diverse modellen potentieel beter kan presteren dan het vertrouwen op één best presterend model.

De auteurs behouden een bescheiden houding, erkennend dat LLM's nog geen vervanging zijn voor menselijke experts maar dienen als een schaalbaar hulpmiddel voor het benaderen van deskundige rangschikkingen. Ze benadrukken dat de matige correlatie (tot $\kappa \approx 0,49$) zowel het potentieel als de huidige beperkingen van LLM's als beoordelaars onderstreept.

Beperkingen

De studie merkt enkele beperkingen op met betrekking tot validiteit:

• Interne Validiteit: Stabiliteit werd getest bij temperatuur 1; lagere temperaturen werden niet geablateerd. Verschillen in promptformulering tussen modelfamilies kunnen interpretatie beïnvloeden.
• Externe Validiteit: Resultaten zijn gebaseerd op korte, online debatargumenten en zijn mogelijk niet generaliseerbaar naar complexe teksten zoals essays. De grondwaarheid is beperkt tot het specifieke annotatorpanel van het Webis-ArgQuality-20 dataset. De studie omvatte geen fine-tuning, wat mogelijk andere prestatiekarakteristieken zou opleveren.
• Construct Validiteit: Er is een risico dat LLM's beoordelen op basis van oppervlaktekenmerken (bijvoorbeeld zelfverzekerde formulering) in plaats van diepe logische validiteit. De scheiding van dimensies in prompts kan cross-dimensionale contaminatie in modelredenering niet volledig voorkomen.
• Conclusie Validiteit: De datasetgrootte (13.952 vergelijkingen) is kleiner dan sommige eerdere werken, wat mogelijk de statistische robuustheid van de Bradley-Terry rangschikkingen beperkt.