Validating Political Position Predictions of Arguments

Probleemstelling

Het paper adresseert de uitdaging om grote hoeveelheden voorspellingen van Large Language Models (LLMs) te valideren voor subjectieve, continue variabelen, specifiek het bepalen van politieke posities in argumentatieve discours.

• De beperking van puntsgewijze annotatie: Traditionele menselijke evaluatie gebruikt vaak puntsgewijze (pointwise) annotatie (bijv. een score van 0-100). Mensen zijn echter cognitief slecht uitgerust voor precieze absolute positionering op continue schalen; ze hebben moeite met het toekennen van exacte scores zonder referentiepunt.
• De voorkeur voor paarsgewijze vergelijking: Mensen excelleren juist in vergelijkende oordelen (welk argument is meer links/rechts?). Echter, volledige paarsgewijze validatie ($O(n^2)$ vergelijkingen) is bij grote datasets prohibitief duur en tijdrovend.
• Het gat in de literatuur: Bestaande datasets voor politieke argumentatie missen vaak een gestructureerde weergave van zowel de argumentstructuur als de politieke stelling op het niveau van individuele argumenten (Argumentative Discourse Units - ADUs).

Methodologie

De auteurs stellen een dual-scale validatieframework voor dat puntsgewijze en paarsgewijze menselijke annotatie combineert.

1. Dataverzameling en Kennisbank:

   • Er is een kennisbank opgebouwd met 23.228 argumenten (ADUs) afkomstig uit 30 debatten van het Britse televisieprogramma Question Time.
   • De data is gestructureerd in een Neo4j-grafdatabase op basis van het ASPIC+-argumentatietheorie-framework, inclusief relaties zoals steun, aanval en dialoogtransities.

2. LLM-voorspellingen:

   • 22 verschillende LLMs (waaronder GPT-4o, Claude 3.5, Llama 3.3, DeepSeek, etc.) werden ingezet om elke ADU een politieke score toe te kennen op een schaal van 0 (extreem links) tot 100 (extreem rechts), of als "NA" (niet-politiek) te markeren.
   • Elke model voorspelling werd 5 keer herhaald om variabiliteit te meten.
   • Er werden drie ensembles gedefinieerd:
     • E1: Alle 22 modellen (algemene baseline).
     • E2: Modellen met expliciete redeneercapaciteiten (Chain-of-Thought).
     • E3: "High-Confidence" modellen die goed kunnen onderscheiden tussen politieke en niet-politieke argumenten.

3. Menselijke Validatie (Twee fasen):

   • Fase 1: Puntsgewijze Binaire Classificatie: Menselijke annotatoren (crowdworkers) beoordeelden of een argument politiek of niet-politiek was. Dit diende om de betrouwbaarheid van de model-voorspellingen te valideren en een dataset van "hoog-vertrouwde" politieke argumenten te creëren.
   • Fase 2: Paarsgewijze Vergelijking: Voor een subset van 100 politieke argumenten werden paren gegenereerd. Annotatoren moesten aangeven welk argument in een paar meer naar links of rechts neigde.
   • Modellering: De menselijke en model-voorspellingen werden omgezet in ranglijsten (rankings) met behulp van Bradley-Terry-modellen. De overeenstemming werd gemeten met statistieken zoals Krippendorff's $\alpha$ (voor overeenstemming) en Spearman's/Kendall's afstand (voor rangorde-overeenstemming).

Belangrijkste Resultaten

1. Puntsgewijze vs. Paarsgewijze Validatie:

   • Puntsgewijze (Pointwise): De overeenstemming tussen mensen en modellen was matig ($\alpha \approx 0.578$ voor het beste model). Menselijke annotatoren toonden ook lage onderlinge overeenstemming ($\alpha \approx 0.305$), wat aantoont dat absolute politieke scoring inherent subjectief en moeilijk is.
   • Paarsgewijze (Pairwise): De overeenstemming tussen menselijke ranglijsten en model-ranglijsten was aanzienlijk sterker. Voor het beste model bedroeg de ordinaire overeenstemming $\alpha = 0.86$.
   • Conclusie: Hoewel modellen moeite hebben met exacte scores, kunnen ze de relatieve ordening (welk argument is meer rechts dan een ander) zeer nauwkeurig voorspellen.

2. Invloed van Onzekerheid:

   • De prestaties van modellen en menselijke annotatoren verslechterden drastisch bij "ambigue" gevallen (waar modellen onzeker waren of het argument politiek was).
   • Bij hoog-vertrouwde gevallen (waar modellen zeker waren dat het politiek was) naderden de modellen de menselijke overeenstemming sterk. Dit suggereert dat meningsverschillen vaak voortkomen uit semantische ambiguïteit in de data, niet uit systematische ideologische bias van de modellen.

3. Ensembles vs. Individuele Modellen:

   • Ensembles presteerden over het algemeen beter dan individuele modellen, vooral in onzekere gebieden.
   • Echter, bij hoog-vertrouwde subsets presteerden sterke individuele modellen (zoals GPT-4.5 en o3 Mini) vergelijkbaar of zelfs beter dan ensembles, wat aangeeft dat ensemble-methoden vooral nuttig zijn om ruis in twijfelachtige gevallen te filteren.

4. Decoupling van Ordening en Accuracies:

   • Er is een gedeeltelijke ontkoppeling tussen rangorde-overeenstemming (ordinal agreement) en puntsgewijze nauwkeurigheid (macro F1). Modellen kunnen een goede rangorde voorspellen zonder perfecte absolute scores te hebben.

Bijdragen

1. Validatiemethodologie: Een praktische, schaalbare methode voor het valideren van subjectieve, continue kennis die de betrouwbaarheid van paarsgewijze vergelijkingen combineert met de schaalbaarheid van puntsgewijze annotatie.
2. Gestructureerde Kennisbank: De eerste grote, gestructureerde kennisbank die formele argumentatierelaties (aanval/steun) integreert met voorspellingen van politieke posities op het niveau van individuele argumenten (ADUs). Dit maakt graph-based reasoning mogelijk.
3. Empirisch Bewijs: Het bewijs dat LLMs, ondanks hun beperkingen in absolute schalen, een betekenisvolle ordinaire structuur kunnen extraheren uit subjectief discours, wat traditionele symbolische of categorische benaderingen overstijgt.

Significantie en Toekomst

Dit werk opent nieuwe onderzoekspaden in computationele sociale wetenschappen en argumentatiemining. De vrijgegeven kennisbank (met 23k argumenten) stelt onderzoekers in staat om:

• Te analyseren hoe ideologische posities zich voortplanten door argumentatiestructuren.
• Retrieval-Augmented Generation (RAG) systemen te bouwen die ideologisch afgestemde en structureel coherente argumenten kunnen ophalen.
• Politieke personas te modelleren op basis van gevalideerde argumentatie.

De studie benadrukt dat voor subjectieve taken zoals politieke positionering, paarsgewijze validatie een robuustere maatstaf is dan puntsgewijze scores, en dat LLM's zeer waardevol zijn voor het herstellen van de onderliggende ordening van politieke discours, zelfs als de exacte scores subjectief blijven.