Contextualized Prompting For Stance Detection On Social Media

Sintesi Tecnica: Prompting Contestualizzato per la Rilevazione del Sentiment (Stance Detection) sui Social Media

Definizione del Problema
La rilevazione del sentiment (stance detection) sui social media, in particolare su Twitter, è intrinsecamente complessa a causa della natura breve, rumorosa e altamente dipendente dal contesto dei contenuti generati dagli utenti. Sebbene i Large Language Models (LLM) abbiano dimostrato forti capacità di generalizzazione zero-shot e few-shot, le configurazioni di prompting standard tipicamente classificano i tweet in isolamento. Questo approccio spesso fallisce nel risolvere espressioni ambigue dove un singolo post manca di informazioni sufficienti per determinare il punto di vista dell'autore verso un determinato target (ad esempio, una persona, un'organizzazione o un argomento). Sebbene la ricerca precedente sull'apprendimento supervisionato suggerisca che l'integrazione di metadati (come le biografie degli utenti e i tweet storici) migliori le prestazioni, rimane poco chiaro se tali benefici si traducano in scenari di prompting zero-shot e few-shot, dove gli LLM sono altamente sensibili al design del prompt e possono avere difficoltà a distinguere tra contesto rilevante e irrilevante.

Metodologia
Gli autori investigano sistematicamente l'impatto dell'integrazione di varie caratteristiche contestuali nel prompting zero-shot e few-shot per la rilevazione del sentiment. Lo studio impiega un set diversificato di quattro LLM basati sul ragionamento e istruiti (GPT-OSS-20B, Qwen2.5-32B, Gemma3-27B e Ministral3-14B) attraverso quattro dataset di riferimento: semeval2016t6, covid19-glandt, wtwt (fusioni e acquisizioni) e un nuovo dataset tedesco di alta qualità, covid19-de.

Lo studio valuta tre categorie di caratteristiche contestuali:

1. Metadati del mondo reale: Recuperati tramite l'API di Twitter, inclusi Username, Biografie Utente e Altri Tweet (i dieci tweet più simili dello stesso utente, selezionati tramite la similarità del coseno di Sentence-BERT).
2. Metadati derivati: Classificazioni dell'autore (ad esempio, cittadino, politico, scienziato) e gruppi di autori granulari derivati dalle biografie.
3. Contesto generato da LLM: Dati sintetici generati con GPT-4, specificamente Descrizioni del Target (una breve descrizione dell'entità target) e Contesto Specifico del Tweet (una descrizione del target nel contesto specifico del tweet).

L'impostazione sperimentale confronta i baseline zero-shot e few-shot standard contro prompt aumentati con queste caratteristiche. Gli autori valutano inoltre il prompting Chain-of-Thought (CoT) e un approccio "LLM-as-a-Judge" in cui il modello rivaluta la sua previsione iniziale. Le prestazioni sono misurate utilizzando i punteggi F1 mediati macro, mediati su tre seed casuali.

Contributi Chiave

1. Valutazione Sistematica del Contesto: Il documento fornisce un'analisi completa di come diversi tipi di contesto (reale, derivato e generato) influenzino le prestazioni degli LLM nella rilevazione del sentiment, andando oltre le basi di conoscenza statica utilizzate nei lavori precedenti.
2. Nuovo Dataset: Gli autori rilasciano covid19-de, un nuovo dataset tedesco di alta qualità per la rilevazione del sentiment su Twitter (n=3.750) focalizzato sulle misure governative durante la pandemia di COVID-19, annotato con un alto grado di accordo (Krippendorff $\alpha > 0.67$).
3. Risultati Empirici sull'Utilità del Contesto: Lo studio mette in discussione l'assunto che più contesto sia sempre meglio. Dimostra che, mentre le descrizioni del target generate da LLM migliorano costantemente le prestazioni, altre caratteristiche contestuali (come le biografie degli utenti o altri tweet) producono risultati misti o addirittura deleteri.
4. Analisi Qualitativa dei Modelli di Fallimento: Gli autori identificano che gli LLM faticano a distinguere tra contesto informativo e irrilevante. Nello specifico, l'aggiunta di "Altri Tweet" o del "Contesto Specifico del Tweet" spesso porta a previsioni errate, in particolare inducendo il modello verso posizioni non neutrali (favorevole/contrario) anche quando l'etichetta corretta è neutrale.

Risultati

• Descrizioni del Target: Le descrizioni del target generate da LLM sono state la caratteristica più robusta, migliorando costantemente l'accuratezza in quasi tutti i dataset e modelli (ad esempio, +5.10pp su semeval2016t6 zero-shot). Ciò suggerisce che le informazioni esplicite sul target aiutano a risolvere i riferimenti impliciti nei testi brevi.
• Altri Tweet: Contrariamente ai risultati dell'apprendimento supervisionato, fornire altri tweet dello stesso utente generalmente ha peggiorato le prestazioni o non ha mostrato benefici significativi. L'aumento della lunghezza dell'input sembra aver distratto il modello, e il contesto aggiunto ha spesso indotto un bias verso posizioni di opinione, degradando le prestazioni sulle istanze neutrali.
• Contesto Specifico del Tweet: Sorprendentemente, il contesto specifico del tweet generato da LLM ha avuto un effetto negativo in ogni impostazione, probabilmente perché il modello incorpora parole cariche di opinione dal contesto generato che confliggono con il contenuto effettivo del tweet.
• Baseline: Il prompting CoT è generalmente risultato inferiore rispetto ai baseline zero-shot standard su compiti di testo breve senza contesto aggiuntivo. L'approccio "LLM-as-a-Judge" è stato competitivo, mostrando particolare forza sul dataset sbilanciato covid19-de correggendo le previsioni verso la classe maggioritaria neutrale.
• Metadati dell'Autore: Le classificazioni semi-automatiche degli autori (ad esempio, politico vs cittadino) non hanno superato significativamente il baseline senza contesto, suggerendo che tali metadati non si traducono in guadagni per gli LLM zero-shot/few-shot.

Significatività e Rivendicazioni
Il documento sostiene che, sebbene l'integrazione di informazioni contestuali sia promettente per migliorare la rilevazione del sentiment in contesti reali rumorosi, i benefici sono altamente condizionati. La principale significatività risiede nell'evidenziare i limiti delle attuali strategie di prompting: gli LLM mancano della robustezza necessaria per filtrare efficacemente il contesto irrilevante o conflittuale. Gli autori sostengono che aggiungere semplicemente più dati al prompt non sia sufficiente; la ricerca futura deve concentrarsi sullo sviluppo di metodi per differenziare tra contesto utile e rumoroso, particolarmente per compiti soggettivi dove la rilevanza non è definita oggettivamente. Il lavoro estende la linea di ricerca sulla soggettività contestuale alla rilevazione del sentiment, dimostrando che l'euristica "più contesto è meglio" non si applica universalmente al prompting degli LLM.