Sintesi Tecnica: DimStance: Dataset Multilingue per l'Analisi Dimensionale della Stance

Definizione del Problema

La rilevazione della stance (posizione/orientamento) è un compito ben consolidato che classifica l'atteggiamento di un autore verso un target specifico in etichette categoriali discrete (ad esempio, Favorevole, Contro, Neutrale). Tuttavia, questo approccio categoriale non riesce a catturare gli stati affettivi sfumati che sottendono le espressioni di stance. Le posizioni raramente sono puramente "a favore" o "contro"; anche le espressioni che condividono la stessa etichetta categoriale possono variare significativamente per tono emotivo e intensità. Le risorse esistenti mancano di rappresentazioni dimensionali annotate da esseri umani, limitando la capacità di analizzare perché le opinioni si radicalizzino o di mitigare la polarizzazione nei dibattiti su questioni complesse come il cambiamento climatico e la politica. Inoltre, vi è una scarsità di risorse per la stance relative alle lingue a basse risorse.

Metodologia

Gli autori introducono DIMSTANCE, la prima risorsa di stance dimensionale annotata con punteggi continui di Valenza-Arousal (VA). La metodologia comprende la costruzione del dataset, la formulazione del task e la valutazione del modello.

Costruzione del Dataset

• Ambito: Il dataset comprende 11.746 aspetti target in 7.365 testi in cinque lingue: inglese, tedesco, cinese, pidgin nigeriano e swahili.
• Domini: I dati coprono la politica e la protezione ambientale.
• Fonti:
  • Inglese: EZ-STANCE e Reddit (Protezione Ambientale).
  • Tedesco: Archivio Wahl-O-Mat (Politica).
  • Cinese: Piattaforma Threads (Protezione Ambientale).
  • Pidgin Nigeriano e Swahili: Piattaforma X (Politica).
• Processo di Annotazione:
  • Gli aspetti target sono stati estratti tramite LLM e verificati tramite voto di maggioranza da cinque parlanti nativi per lingua.
  • Gli annotatori hanno valutato ogni coppia target-testo su due scale: Valenza (1 = altamente negativa a 9 = altamente positiva) e Arousal (1 = altamente non eccitato a 9 = altamente eccitato).
  • Le etichette "gold" finali sono la media dei punteggi di cinque annotatori.
• Controllo della Qualità: L'affidabilità è stata misurata utilizzando l'Errore Quadratico Medio (RMSE). I risultati indicano che le annotazioni dell'arousal sono generalmente meno affidabili di quelle della valenza, in linea con studi precedenti.

Formulazione del Task

Il documento introduce la Regressione della Stance Dimensionale, un task che richiede ai sistemi di prevedere punteggi VA continui per un dato aspetto target all'interno di un testo, piuttosto che selezionare una classe discreta.

Configurazione Sperimentale

Gli autori hanno valutato tre gruppi di modelli:

1. Regressori PLM: Modelli pre-addestrati multilingue (RemBERT, LaBSE, XLM-R) con una testa di regressione, ottimizzati tramite Errore Quadratico Medio (MSE).
2. LLM Chiusi (Prompting): Zero-shot e few-shot prompting di modelli a sorgente chiusa (GPT-5 mini, Gemini 2.5 Flash, Kimi K2) per generare punteggi numerici.
3. Regressori LLM (Fine-tuning): LLM open-source (Mistral-3, Phi-4, Llama-3.3, Qwen-2.5) adattati tramite 4-bit QLoRA con una testa di regressione.
   La performance è stata misurata utilizzando l'RMSE nello spazio VA, calcolato come la distanza euclidea tra le coppie (V, A) previste e quelle gold.

Risultati Chiave

Analisi del Dataset

• Distribuzione VA: In tutte le lingue, i dati mostrano una relazione a forma di U tra valenza e arousal; l'arousal tende ad essere più basso vicino alla valenza neutra e aumenta verso entrambi gli estremi, sia negativo che positivo.
• Variazioni Cross-Lingue:
  • Inglese (Protezione Ambientale): Distribuzione della valenza bilanciata; alto arousal associato sia a stance positive che negative.
  • Tedesco (Politica): Sbilanciato verso la valenza positiva (69%), probabilmente riflettendo contenuti generati dai partiti.
  • Cinese (Protezione Ambientale): Distribuzione compatta con espressioni moderate; i target spesso si raggruppano intorno a una valenza di medio intervallo.
  • Pidgin Nigeriano e Swahili (Politica): Dominati da una valenza negativa (circa 63-64%) e alto arousal, riflettendo la natura contesa del discorso elettorale. I dati in Swahili contengono un numero notevole di esempi tossici e presentano l'arousal medio più elevato.

Performance dei Modelli

• LLM Fine-tuned: Hanno generalmente superato sia i modelli prompted che i regressori PLM, in particolare i modelli più grandi di scala 70B.
• LLM Prompted: Hanno ottenuto risultati competitivi, fungendo da alternativa efficiente in termini di dati. Tuttavia, hanno prodotto distribuzioni VA "a griglia" (discrete) a causa della generazione basata su token, che ha faticato con le distribuzioni compatte (es. Cinese).
• Performance Linguistica:
  • Cinese: Ha costantemente ottenuto la migliore performance tra i modelli, grazie alla sua distribuzione VA concentrata nella regione neutra.
  • Swahili: Ha mostrato la performance più bassa, evidenziando le sfide nelle lingue a basse risorse.
  • Pidgin Nigeriano: Ha performato meglio dello Swahili, probabilmente a causa delle sue caratteristiche simili all'inglese.
• Sensibilità al Prompt: La performance dei modelli LLM chiusi è stata altamente sensibile alla formulazione del prompt. L'aumento del numero di esempi few-shot (fino a 16 shot) ha generalmente migliorato le prestazioni, con Kimi K2 che ha mostrato i risultati complessivi più forti tra i modelli prompted.

Significato e Contributi

Il documento rivendica i seguenti contributi:

1. Prima Risorsa Dimensionale: L'introduzione di DIMSTANCE, la prima risorsa multilingue per l'analisi della stance con punteggi VA continui annotati da umani, che copre sia lingue ad alte che a basse risorse.
2. Nuovo Framework di Task: La formulazione della regressione della stance dimensionale, che integra i framework delle scienze affettive nella rilevazione della stance per consentire un'analisi granulare.
3. Benchmarking: Fornitura di risultati di base tra regressori PLM, LLM prompted e regressori LLM fine-tuned, stabilendo una base per la ricerca futura.

Gli autori sottolineano che questa risorsa fornisce una base cruciale per l'analisi della stance multilingue e consapevole delle emozioni. Andando oltre le etichette categoriali, il lavoro facilita una comprensione più profonda degli stati affettivi che guidano l'opinione pubblica. Tuttavia, il documento nota modestamente alcuni limiti, tra cui l'intrinseca difficoltà di annotare l'arousal, le potenziali variazioni culturali nell'interpretazione di VA e il rischio di bias nei dataset con distribuzioni di valenza sbilanciate (es. Pidgin Nigeriano). Gli autori proibiscono rigorosamente l'uso commerciale o governativo dei dati per prevenire potenziali usi impropri, come la persecuzione degli individui basata sulla stance inferita.