Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection

Sintesi Tecnica: Lingo_Research_Group a SemEval-2026 Task 9

Definizione del Problema
Il documento affronta il SemEval-2026 Task 9, una sfida di classificazione testuale multilingue focalizzata sul rilevamento della polarizzazione. Il compito è suddiviso in tre sottotask di crescente complessità:

1. Sottotask 1 (Rilevamento Binario): Determinare se un post sui social media presenti un atteggiamento di polarizzazione (inquadramento divisivo in-group/out-group, ostilità o esclusione).
2. Sottotask 2 (Classificazione del Target): Identificare i target specifici della polarizzazione (politici, razziali/etnici, religiosi, di genere/sessuali o altri) in un contesto multi-etichetta.
3. Sottotask 3 (Identificazione della Manifestazione): Rilevare le forme retoriche della polarizzazione, come stereotipi, vilificazione, disumanizzazione, linguaggio estremo, mancanza di empatia o invalidazione.

La sfida risiede nel fatto che la polarizzazione si realizza spesso attraverso l'inquadramento (framing), la retorica e il contesto culturale piuttosto che attraverso l'hate speech esplicito, rendendone difficile il rilevamento, specialmente attraverso 22 lingue diverse con differenti pattern discorsivi.

Metodologia
Gli autori propongono un approccio di inferenza basato su prompt utilizzando Large Language Models (LLM) senza fine-tuning dei parametri. La metodologia principale prevede:

• Prompt Engineering: Invece di un singolo prompt, il team ha progettato e valutato 12 varianti distinte di prompt. Queste varianti differivano sistematicamente per chiarezza terminologica, dettaglio delle definizioni, guida al ragionamento e inclusione di esempi in-context. I prompt sono stati strutturati come un gradiente concettuale, passando da un contesto minimo a definizioni dettagliate e istruzioni di ragionamento passo dopo passo.
• Selezione del Modello: Gli esperimenti sono stati condotti utilizzando due LLM multilingue: aya-101 e Gemma3-27B. Sulla base del confronto delle prestazioni tra i sottotask e le configurazioni dei prompt, Gemma3-27B è stato selezionato per la sottomissione finale grazie ai suoi superiori punteggi macro F1.
• Strategia di Inferenza: Il sistema tratta l'analisi della polarizzazione come un problema di seguito delle istruzioni (instruction-following). Per il Sottotask 1, il modello predice un'etichetta binaria. Per i Sottotask 2 e 3, genera un elenco di predizioni binarie per ogni etichetta di target o manifestazione. Il team ha utilizzato una strategia di prompting "conservativa", predicendo la polarizzazione solo quando era presente un'evidenza esplicita e inequivocabile.
• Valutazione: Il sistema è stato valutato su set di test non utilizzati durante l'addestramento (held-out) attraverso 22 lingue utilizzando i punteggi macro-averaged F1 per tenere conto dello sbilanciamento delle classi. Non è stata utilizzata alcuna estensione di dati esterna o data augmentation.

Risultati Chiave
Il sistema ha ottenuto i seguenti punteggi medi macro F1 sul set di test ufficiale:

• Sottotask 1: 0.762 (Accuratezza Media: 0.819)
• Sottotask 2: 0.587 (Accuratezza Media: 0.678)
• Sottotask 3: 0.444 (Accuratezza Media: 0.498)

Le prestazioni sono variate significativamente per lingua e sottotask. Ad esempio, il cinese e il nepalese hanno raggiunto alti punteggi F1 (fino a 0.92) nel Sottotask 1, mentre l'italiano ha registrato punteggi bassi fino a 0.35. Gli autori hanno osservato una degradazione sistematica delle prestazioni all'aumentare della complessità del compito, dal rilevamento binario alla classificazione sociolinguistica fine e multi-etichetta.

Analisi e Risultati
Il documento fornisce un'analisi dettagliata dei risultati, evidenziando diverse tendenze chiave:

• Complessità del Task: Esiste una chiara relazione inversa tra astrazione del compito e prestazioni. Sebbene gli approcci basati su prompt siano efficaci per il rilevamento grossolano (Sottotask 1), essi faticano con i compiti multi-etichetta più fini (Sottotask 2 e 3) dove le etichette sono astratte (es. "mancanza di empatia") e mancano di indicatori lessicali chiari.
• Soppressione del Recall: La strategia di prompting conservativa ha portato a un'alta accuratezza ma a un basso macro F1 nei Sottotask 2 e 3. I modelli hanno spesso sottopredetto le etichette positive, in particolare nelle lingue in cui la polarizzazione è trasmessa indirettamente attraverso sarcasmo, domande retoriche o riferimenti culturali (es. Hausa, Italiano, Khmer).
• Sfumature Specifiche della Lingua: Le prestazioni non sono state uniformi tra le lingue. Il nepalese e il cinese hanno performato bene nei Sottotask 1 e 2 grazie a riferimenti espliciti ai gruppi, mentre l'hindi ha ottenuto i risultati migliori nel Sottotask 3, probabilmente a causa della sua prevalenza di tattiche retoriche esplicite (vilificazione, linguaggio estremo) che si allineano bene con i prior di pre-addestramento del modello.
• Il Paradosso dell'Inglese: Nonostante l'esteso pre-addestramento su dati inglesi, l'inglese ha performato al di sotto della mediana. Gli autori attribuiscono ciò alla prevalenza di ironia, sarcasmo e scorciatoie ideologiche nell'inglese, che i prompt conservativi spesso classificano erroneamente come non polarizzati a causa della mancanza di ostilità superficiale.
• Limitazioni della Traduzione: Il documento nota che il ragionamento basato sulla traduzione (codificare gli input in inglese prima della classificazione) può attenuare le espressioni cariche emotivamente, fallendo nel preservare l'intento retorico necessario per l'identificazione della manifestazione.

Significatività e Rivendicazioni
Il documento sostiene che gli approcci basati su prompt utilizzando LLM multilingue siano un metodo valido per rilevare la polarizzazione grossolana senza la necessità di fine-tuning specifico per il compito o di grandi dataset annotati. Tuttavia, gli autori concludono con modestia che questi metodi incontrano difficoltà crescenti man mano che il compito si sposta verso la classificazione sociolinguistica fine e multi-etichetta.

Il lavoro dimostra che il design del prompt è critico; l'articolazione delle definizioni del compito, dei limiti decisionali e delle aspettative di ragionamento influenza pesantemente le prestazioni del modello. Lo studio evidenzia che, sebbene gli LLM possano gestire efficacementamente il rilevamento binario, la "equivalenza semantica" della traduzione non garantisce la preservazione dell'intento retorico, suggerendo che il lavoro futuro debba affrontare le sfumature del discorso cross-lingue e le limitazioni del prompting conservativo nel catturare la polarizzazione implicita.

Considerazioni Etiche
Gli autori sottolineano che il loro sistema non dovrebbe essere utilizzato come strumento di moderazione autonomo a causa dei rischi di falsi positivi (banning ingiusto di discorsi legali) e falsi negativi (tolleranza di retorica pericolosa). Riconoscono inoltre significative disparità di prestazione tra le lingue, che possono derivare dalla rappresentazione dei dati di pre-addestramento, dalle variazioni culturali e dalla densità di annotazione.