Riepilogo Tecnico: PolarMind a SemEval-2026 Task 9

Definizione del Problema

Il documento affronta la sfida critica del rilevamento della polarizzazione online in contesti multilingue e multiculturali, specificamente nell'ambito del SemEval-2026 Task 9. Il compito consiste nell'identificare il discorso polarizzato in 22 lingue, suddiviso in due sottotask:

1. Sottotask 1: Classificazione binaria (polarizzato vs. non polarizzato).
2. Sottotask 2: Classificazione multi-classe dei tipi di polarizzazione (Politica, Razziale, Genere, Etnica, Altro).

Gli autori sottolineano che la polarizzazione è culturalmente e linguisticamente dipendente; una frase può essere neutra in una lingua (es. inglese) ma polarizzata quando tradotta in un'altra (es. urdu). Una difficoltà primaria risiede nella scarsità di dati di addestramento per le lingue a basse risorse, che spesso porta a significativi divari di prestazioni tra le lingue ad alte risorse (es. inglese) e quelle a basse risorse nei modelli allo stato dell'arte.

Metodologia

Gli autori propongono PolarMind, un sistema centrato su un'architettura LaBSE (Language-agnostic BERT Sentence Embedding) personalizzata, aumentata dal Proxy-Guided Curriculum Learning.

Architettura Core: LaBSE con Hybrid Pooling

A differenza degli standard encoder multilingue (es. mBERT, XLM-R), LaBSE è ottimizzato per mappare frasi cross-lingue semanticamente simili nello stesso identico spazio vettoriale. Gli autori ipotizzano che questo rigoroso allineamento permetta al modello di proiettare le scarse frasi polarizzate a basse risorse in robusti vicinati semantici stabiliti dalle lingue ad alte risorse.

L'architettura incorpora due modifiche chiave:

1. Weighted Layer Aggregation: Invece di utilizzare solo l'ultimo livello, il modello aggrega gli ultimi quattro livelli ($L_{n-4}$ a $L_n$) utilizzando parametri apprendibili ($w_1, w_2, w_3, w_4$). I pesi per i livelli precedenti sono inizializzati in modo minore ($\sim 0.2w_1$) per dare priorità alle caratteristiche semantiche più profonde.
2. Hybrid Pooling: La rappresentazione finale combina il Global Mean Pooling (che cattura il contesto semantico generale) e l'Additive Attention Pooling (che evidenzia i token ad alto impatto).
   • Mean Pooling: Calcola la media aritmetica degli stati nascosti.
   • Attention Pooling: Utilizza un meccanismo di attenzione additiva (Bahdanau et al., 2016) per assegnare pesi a specifici token.
   • Fusione: L'embedding finale è $e_{hybrid} = e_{mean} + \lambda e_{attn}$. Per il Sottotask 2, vengono mantenuti meccanismi di attenzione indipendenti per ogni testa di classificazione per evitare la confluenza di diversi tipi di polarizzazione (es. genere vs. etnia).

Strategia di Addestramento: Proxy-Guided Curriculum Learning

Per affrontare lo squilibrio dei dati e la variazione di difficoltà, gli autori impiegano una strategia di curriculum learning:

• Classificazione della Difficoltà: Un modello proxy (XLM-RoBERTa-base) classifica il dataset in base a un punteggio di difficoltà $R(x) = \alpha \cdot P(y|x) + \beta \cdot \frac{1}{len(x)}$, dove $P(y|x)$ è la confidenza del proxy e il termine dell'inverso della lunghezza promuove esempi più brevi e ad alte risorse.
• Fasi di Addestramento: I modelli sono addestrati in fasi: prima i campioni facili, seguiti da facili+medi, medi+difficili e infine l'intero dataset.

Studio di Ablazione e Modelli Alternativi

Il paper valuta l'architettura core LaBSE contro diverse alternative:

• RemBERT: Testato con e senza pre-addestramento continuo su un corpus derivato dai dati del Sottotask 3 per aggiornare la conoscenza del modello sugli eventi recenti.
• EuroBERT: Un encoder allo stato dell'arte ottimizzato per le lingue europee con un cutoff di conoscenza più recente.
• Qwen-2.5-14B (LLM): Valutato utilizzando un framework di prompting basato sul recupero (retrieval).
  • Retrieval: LaBSE recupera le frasi semanticamente più simili (top-$k$) dai dati di addestramento.
  • Diversità: La Maximal Marginal Relevance (MMR) assicura che gli esempi recuperati siano sia rilevanti per la query che diversi tra loro.
  • Prompting: È stato testato il few-shot prompting (7 shot) con testo grezzo e testo aumentato con fonemi (usando la libreria Epitran) per analizzare se l'informazione fonetica aiuti le prestazioni nelle lingue a basse risorse.

Contributi Chiave

1. Architettura basata su LaBSE: Introduzione di un meccanismo di weighted layer aggregation e hybrid pooling progettato specificamente per il rilevamento della polarizzazione cross-lingua, sfruttando il rigoroso allineamento cross-lingua di LaBSE.
2. Proxy-Guided Curriculum Learning: Una strategia per mitigare lo squilibrio dei dati multilingue addestrando sui dati ordinati per difficoltà.
3. Valutazione Comparativa dei Modelli: Un'analisi comparativa di modelli encoder (LaBSE, RemBERT, EuroBERT) e Large Language Models (Qwen-2.5) all'interno di un framework basato sul recupero.
4. Analisi Empirica dei Limiti degli LLM: Investigazione sull'efficacia del prompting basato su fonemi e del few-shot learning per compiti di polarizzazione a basse risorse.

Risultati

Il sistema è stato valutato sul set di sviluppo e sul test set ufficiale attraverso 22 lingue.

• Sottotask 1 (Classificazione Binaria):

  • L'architettura proposta LaBSE con hybrid pooling ha superato costantemente la baseline ufficiale POLAR (fine-tuned LaBSE-base) con una media di 0.04 Macro F1 su tutte le 22 lingue.
  • Nelle lingue a basse risorse, il sistema ha ottenuto risultati competitivi, ottenendo i primi 10 posti in cinque lingue. Ad esempio, in amarico (amh), il sistema ha raggiunto un punteggio di 0.771, un miglioramento del 5,6% rispetto alla baseline.
  • Il pre-addestramento continuo su RemBERT ha prodotto solo guadagni marginali (+0.005 Macro F1), suggerendo che la strategia di hybrid pooling offra un incremento più significativo rispetto al semplice scaling del modello.
  • Il modello decoder Qwen-2.5 non ha superato i modelli encoder, probabilmente a causa di mismatch di tokenizzazione e di un allineamento cross-lingua più debole rispetto a LaBSE.

• Sottotask 2 (Rilevamento del Tipo):

  • Il modello basato su LaBSE ha nuovamente superato RemBERT ed EuroBERT.
  • La calibrazione della soglia specifica per lingua ha migliorato la Macro-F1 media sul set di sviluppo da 0.5216 a 0.5441 (+2,25%), evidenziando la sensibilità del rilevamento multi-label alla selezione della soglia.
  • Qwen-2.5 (7-shot) si è comportato in modo paragonabile al modello encoder, sfruttando la conoscenza pregressa per generalizzare pattern sparsi (es. genere/etnia) dove l'encoder faticava con campioni limitati.
  • Phoneme Prompting: L'aggiunta di informazioni fonetiche (testo + IPA) non ha prodotto miglioramenti significativi. Gli autori ipotizzano che per questo compito i livelli fonetici offrano informazioni ridondanti, e che la trasformazione IPA possa involontariamente filtrare emoji o marcatori specifici dello script che portano un peso polarizzato significativo.

Significato e Rivendicazioni

Il paper sostiene che l'approccio ottimale per il rilevamento della polarizzazione multiculturale consista in sistemi specializzati che tengano conto delle sfumature linguistiche e culturali, piuttosto che affidarsi esclusivamente a modelli generalisti.

Il significato primario del lavoro risiede nel dimostrare che LaBSE, tipicamente riservato ai compiti di retrieval, può essere efficacementmente riutilizzato per la classificazione in contesti a basse risorse. Combinando l'allineamento cross-lingua rigoroso di LaBSE con hybrid pooling e curriculum learning, il sistema colma il divario di prestazioni tra lingue ad alte e basse risorse, ottenendo fino a un miglioramento di 0.2 in macro F1 in specifici scenari a basse risorse rispetto alle baseline standard.

Gli autori concludono con modestia che, sebbene gli LLM mostrino potenziale tramite il few-shot learning, essi affrontano attualmente limitazioni nell'allineamento cross-lingua e nella tokenizzazione per questo specifico compito, e che l'aumento fonetico non fornisce attualmente un vantaggio conclusivo per il rilevamento della polarizzazione. Il lavoro stabilisce una solida base per la ricerca futura nel campo del NLP multilingue e multiculturale.