PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

Riepilogo Tecnico: PSK a SemEval-2026 Task 9

Definizione del Problema
Il documento affronta il Task 9 di SemEval-2026, una sfida di classificazione binaria focalizzata sul rilevamento della polarizzazione degli atteggiamenti nei testi dei social media in 22 lingue tipologicamente diverse. Il compito consiste nel classificare il testo come "polarizzato" (coinvolgente stereotipi, vilipendio, disumanizzazione o intolleranza) o "non polarizzato". Il dataset presenta sfide significative, tra cui dimensioni variabili (da circa 1.700 a circa 7.000 campioni per lingua), variazioni culturali nella manifestazione della polarizzazione e gravi squilibri di classe in lingue specifiche (ad esempio, il khmer con un rapporto di 10:1 tra campioni polarizzati e non polarizzati). La metrica di valutazione primaria è il punteggio F1 macro-medio.

Metodologia
L'approccio del team si concentra sul fine-tuning di modelli separati per ciascuna lingua utilizzando la famiglia Gemma 3 di Google, potenziati da dati sintetici e strategie di ensemble.

• Architettura del Modello: Il sistema utilizza due dimensioni di modello: Gemma 3 12B (modello principale) e Gemma 3 27B (modello ensemble). Entrambi sono sottoposti a fine-tuning utilizzando l'adattamento a basso rango (LoRA) con un head di classificazione sequenziale. Il modello 12B utilizza la quantizzazione a 8 bit su una singola GPU A100, mentre il modello 27B impiega la quantizzazione NF4 a 4 bit su due GPU A100. I parametri di addestramento includono un tasso di apprendimento di $5 \times 10^{-5}$, 3 epoche e dimensioni del batch di 1–2 con accumulo dei gradienti.
• Aumento dei Dati Sintetici: Per affrontare la scarsità di dati, il team ha generato circa 1.000 campioni sintetici per lingua utilizzando GPT-4o-mini attraverso tre strategie:
  1. Generazione Diretta (50%): Generazione nativa di campioni su cinque temi culturalmente rilevanti (politico, etnico/razziale, religioso, classe sociale, relazioni internazionali).
  2. Parafrasi che Preservano l'Etichetta (30%): Parafrasi dei campioni di addestramento reali con una temperatura di 0,7, filtrate per mantenere una similarità coseno inferiore a 0,90 rispetto all'originale.
  3. Coppie Contrastive (20%): Coppie con modifiche minime sullo stesso tema, contenenti un'istanza polarizzata e una non polarizzata per affinare i confini di classe.
  • Controllo di Qualità: È stata applicata una pipeline di filtraggio multistadio, inclusa pulizia di base, rilevamento delle perdite di etichetta basato su espressioni regolari, deduplicazione basata su embedding (utilizzando paraphrase-multilingual-MiniLM-L12-v2 con una soglia di 0,90) e controlli di coerenza nella traduzione andata e ritorno.
• Ensemble e Ottimizzazione della Soglia:
  • Ottimizzazione della Soglia: Invece di utilizzare una soglia predefinita di 0,5, il team ha cercato le soglie ottimali ($t \in \{0,3, \dots, 0,7\}$) sul set di sviluppo per massimizzare il macro-F1 per ciascuna lingua individualmente.
  • Strategie di Ensemble: Sono state valutate quattro strategie per lingua: solo 12B, solo 27B, media semplice e media ponderata ($p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$). La strategia che ha prodotto il F1 di sviluppo più alto è stata selezionata per la sottomissione finale.

Risultati Chiave

• Prestazioni: Il sistema finale ha raggiunto un macro-F1 medio di 0,811 su tutte le 22 lingue, classificandosi 2° complessivamente tra 60 team partecipanti. Il sistema ha ottenuto il 1° posto in 3 lingue (amarico, hindi, swahili) e piazzamenti tra i primi 3 in 8 lingue.
• Impatto dei Componenti:
  • Ottimizzazione della Soglia: L'ottimizzazione della soglia per lingua sul set di sviluppo ha prodotto miglioramenti F1 dal 2% al 4% senza re-addestramento.
  • Dati Sintetici: Un rapporto ottimale di dati sintetici del 30% ha fornito guadagni modesti (2–3%), con i benefici più significativi osservati nelle lingue a risorse limitate.
  • Ensemble: Gli ensemble ponderati dei modelli 12B e 27B sono stati la strategia vincente per 14 su 22 lingue.
• Generalizzazione vs. Prestazioni di Sviluppo: Una scoperta critica è stata la disparità tra le prestazioni di sviluppo e di test tra le architetture. Mentre XLM-RoBERTa e Qwen3 hanno mostrato forti prestazioni sul set di sviluppo, hanno subito crolli massicci del F1 (30–50%) sul set di test. Ad esempio, XLM-RoBERTa è sceso da 0,856 a 0,297 in bengalese. Solo i modelli Gemma hanno dimostrato una generalizzazione affidabile dallo sviluppo al test.
• Caso di Studio (Italiano): Le prestazioni più deboli del sistema sono state in italiano (F1 0,563). L'analisi ha rivelato un "divario di copertura tematica": i set di addestramento e sviluppo contenevano zero esempi di argomenti "politici" o "altri", eppure queste categorie costituivano il 41% del set di test e l'87% della sua classe positiva. Ciò ha evidenziato uno spostamento di distribuzione in cui il modello è stato valutato su una sottopopolazione positiva che non aveva mai osservato durante l'addestramento.

Significato e Affermazioni
Il documento afferma che una generalizzazione robusta è un fattore più critico per il successo rispetto alla massimizzazione delle prestazioni del set di sviluppo. Gli autori sostengono che, sebbene architetture alternative (XLM-RoBERTa, Qwen3) possano apparire superiori durante lo sviluppo, non riescono a trasferirsi efficacemente a distribuzioni di test non viste, mentre la famiglia Gemma ha mantenuto prestazioni coerenti.

Lo studio evidenzia l'efficacia dell'ottimizzazione della soglia per lingua come metodo a basso costo per aumentare significativamente le prestazioni correggendo la mancata calibrazione delle probabilità (ad esempio, modelli russi poco sicuri e modelli khmer eccessivamente sicuri). Inoltre, il lavoro dimostra che l'aumento dei dati sintetici è più benefico per le lingue a risorse limitate, sebbene richieda una gestione attenta del rapporto per evitare degradazioni in lingue ad alta risorsa o sensibili.

Limitazioni
Gli autori riconoscono diverse limitazioni:

• Intensità Computazionale: L'addestramento di modelli separati per 22 lingue richiede risorse GPU significative.
• Autenticità dei Dati Sintetici: La qualità dei dati sintetici per le lingue a risorse limitate (ad esempio, khmer, swahili) potrebbe essere limitata se l'LLM non riesce a generare testo autentico in quei contesti linguistici specifici.
• Trasferibilità della Soglia: Le soglie ottimizzate su un piccolo set di sviluppo potrebbero non trasferirsi completamente alla distribuzione di test.
• Rapporti delle Strategie Euristiche: La divisione 50/30/20 per le strategie di dati sintetici è stata scelta euristica piuttosto che attraverso ablazione sistematica.

Conclusione
Il sistema PSK ha sfruttato con successo modelli Gemma, aumento dei dati sintetici e metodi di ensemble per raggiungere una classifica tra i primi 2 in un compito multilingue impegnativo. Il punto principale è la necessità di dare priorità ai modelli che generalizzano bene rispetto a quelli che semplicemente sovradattano le metriche di sviluppo, insieme all'utilità di semplici tecniche di calibrazione post-hoc come l'ottimizzazione della soglia.