Technische Samenvatting: DimStance: Multilinguale datasets voor dimensionale houdingsanalyse

Probleemstelling

Traditionele houdingsdetectie (stance detection) is een goed gevestigde taak die de houding van een auteur ten opzichte van een specifiek doelwit classificeert in discrete categorische labels (bijv. Voor, Tegen, Neutraal). Deze categorische benadering slaagt er echter niet in om de genuanceerde affectieve staten te vangen die ten grondslag liggen aan houdingsexpressies. Houdingen zijn zelden puur "voor" of "tegen"; zelfs expressies die dezelfde categorische label delen, kunnen aanzienlijk verschillen in emotionele toon en intensiteit. Bestaande bronnen missen menselijk geannoteerde dimensionale representaties, wat het vermogen beperkt om te analyseren waarom meningen verharden of om polarisatie in debatten over complexe kwesties zoals klimaatverandering en politiek te mitigeren. Bovendien is er een tekort aan houdingsbronnen voor talen met weinig middelen (low-resource languages).

Methodologie

De auteurs introduceren DIMSTANCE, de eerste dimensionale houdingsbron geannoteerd met continue Valence-Arousal (VA) scores. De methodologie omvat datasetconstructie, taakformulering en modelevaluatie.

Datasetconstructie

• Omvang: De dataset bestaat uit 11.746 doelaspecten over 7.365 teksten in vijf talen: Engels, Duits, Chinees, Nigeriaans Pidgin en Swahili.
• Domeinen: De data beslaat politiek en milieubescherming.
• Bronnen:
  • Engels: EZ-STANCE en Reddit (Milieubescherming).
  • Duits: Wahl-O-Mat Archief (Politiek).
  • Chinees: Threads platform (Milieubescherming).
  • Nigeriaans Pidgin & Swahili: X platform (Politiek).
• Annotatieproces:
  • Doelaspecten werden geëxtraheerd met behulp van LLM's en geverifieerd via een meerderheidsstem door vijf moedertaalsprekers per taal.
  • Annotatoren beoordeelden elk doel-tekstpaar op twee schalen: Valence (1 = zeer negatief tot 9 = zeer positief) en Arousal (1 = zeer lage opwinding tot 9 = zeer hoge opwinding).
  • De definitieve gouden labels zijn het gemiddelde van de beoordelingen van vijf annotatoren.
• Kwaliteitscontrole: Betrouwbaarheid werd gemeten met behulp van de Root Mean Squared Error (RMSE). De resultaten wijzen erop dat arousal-annotaties over het algemeen minder betrouwbaar zijn dan valence-annotaties, wat consistent is met eerdere studies.

Taakformulering

Het artikel introduceert Dimensionale Houdingsregressie, een taak waarbij systemen worden gevraagd om continue VA-scores te voorspellen voor een gegeven doelaspect binnen een tekst, in plaats van een discrete klasse te selecteren.

Experimentele Opzet

De auteurs evalueerden drie groepen modellen:

1. PLM Regressoren: Multilinguale pre-trained modellen (RemBERT, LaBSE, XLM-R) met een regressie-kop, geoptimaliseerd via Mean Squared Error (MSE).
2. Closed LLMs (Prompting): Zero-shot en few-shot prompting van closed-source modellen (GPT-5 mini, Gemini 2.5 Flash, Kimi K2) om numerieke scores te genereren.
3. LLM Regressors (Fine-tuning): Open-source LLM's (Mistral-3, Phi-4, Llama-3.3, Qwen-2.5) aangepast via 4-bit QLoRA met een regressie-kop.

Prestaties werden gemeten met behulp van RMSE in de VA-ruimte, berekend als de Euclidische afstand tussen voorspelde en gouden (V, A) paren.

Belangrijkste Resultaten

Datasetanalyse

• VA-distributie: Over alle talen heen vertoont de data een U-vormige relatie tussen valence en arousal; arousal is over het algemeen het laagst nabij neutrale valence en neemt toe naar zowel negatieve als positieve extremen.
• Cross-linguale Variaties:
  • Engels (Milieubescherming): Gebalanceerde valence-distributie; hoge arousal geassocieerd met zowel positieve als negatieve houdingen.
  • Duits (Politiek): Scheefgetrokken naar positieve valence (69%), waarschijnlijk reflecterend aan door partijen gegenereerde content.
  • Chinees (Milieubescherming): Compacte distributie met milde expressies; doelstellingen clusteren vaak rond een middenbereik van valence.
  • Nigeriaans Pidgin & Swahili (Politiek): Gedomineerd door negatieve valence (ongeveer 63-64%) en hoge arousal, wat de controversiële aard van het electorale discours weerspiegelt. De Swahili-data bevat een aanzienlijk aantal toxische voorbeelden en vertoont de hoogste gemiddelde arousal.

Modelprestaties

• Fine-tuned LLMs: Presteerden over het algemeen beter dan zowel geprompte LLM's als PLM-regressoren, met name de grotere modellen op 70B-schaal.
• Geprompte LLM's: Behaalden concurrerende resultaten en dienden als een data-efficiënt alternatief. Ze produceerden echter "grid-achtige" (discrete) VA-distributies vanwege token-gebaseerde generatie, wat moeite had met compacte distributies (bijv. Chinees).
• Taalprestaties:
  • Chinees: Behaalde consistent de beste prestaties over alle modellen, toegeschreven aan de geconcentreerde VA-distributie rond de neutrale regio.
  • Swahili: Toonde de laagste prestaties, wat de uitdagingen in talen met weinig middelen benadrukt.
  • Nigeriaans Pidgin: Presteerde beter dan Swahili, mogelijk door de Engels-achtige kenmerken.
• Prompt-gevoeligheid: De prestaties van closed LLM's waren zeer gevoelig voor de formulering van de prompt. Het vergroten van het aantal few-shot voorbeelden (tot 16 shots) verbeterde de prestaties over het algemeen, waarbij Kimi K2 de sterkste algehele resultaten liet zien onder de geprompte modellen.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Eerste Dimensionale Bron: De introductie van DIMSTANCE, de eerste meertalige bron voor houdingsanalyse met menselijk geannoteerde continue VA-scores, die zowel hoog- als laag-resource talen dekt.
2. Nieuw Taakframework: De formulering van dimensionale houdingsregressie, waarbij affectieve wetenschappelijke kaders worden geïntegreerd in houdingsdetectie om een fijnmazige analyse mogelijk te maken.
3. Benchmarking: Het bieden van baseline-resultaten over PLM-regressoren, geprompte LLM's en fine-tuned LLM-regressoren, wat een fundament legt voor toekomstig onderzoek.

De auteurs benadrukken dat deze bron een cruciaal fundament biedt voor meertalige, emotie-bewuste houdingsanalyse. Door verder te gaan dan categorische labels, faciliteert dit werk een dieper begrip van de affectieve staten die de publieke opinie drijven. De auteurs merken echter bescheiden de beperkingen op, waaronder de inherente moeilijkheid van het annoteren van arousal, potentiële culturele variaties in de interpretatie van VA, en het risico op bias in datasets met scheve valence-distributies (bijv. Nigeriaans Pidgin). De auteurs verbieden strikt commercieel of overheidsgebruik van de data om misbruik te voorkomen, zoals de vervolging van individuen op basis van geïnferred houdingen.