💬 NLP

Multilingual Polarization Detection Using Transformer-Based Models with Class Weighting and Threshold Tuning

Questo articolo presenta un approccio basato su transformer utilizzando i modelli RoBERTa e AfroXLMR con pesatura delle classi e sintonizzazione della soglia per ottenere prestazioni competitive nel rilevamento della polarizzazione multilingue, dei tipi e delle manifestazioni per l'inglese e lo swahili per il SemEval-2026 Task 9.

Autori originali: Aaron Bundi Anampiu

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aaron Bundi Anampiu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate Internet come una gigantesca e rumorosa piazza cittadina dove milioni di persone urlano le proprie opinioni. A volte, queste conversazioni sono dibattiti sani, ma spesso si trasformano in scontri urlati in cui le persone smettono di ascoltare e iniziano ad attaccarsi a causa delle proprie convinzioni, della razza, della religione o del genere. Questo è chiamato polarizzazione.

Il documento che state leggendo è un pagella di un team chiamato "Aaron" che è entrato in una competizione globale (SemEval-2026) per costruire un robot capace di ascoltare questa piazza cittadina, specificamente in inglese e swahili, e capire tre cose:

Questa conversazione è polarizzata (uno scontro urlato) o no?
Di cosa si tratta la rissa (politica, razza, religione, ecc.)?
In che modo stanno combattendo (usando stereotipi, insulti o un linguaggio deumanizzante)?

Ecco come hanno costruito il loro robot e cosa hanno scoperto, spiegato in modo semplice:

1. Gli Strumenti: Scegliere le "Orecchie" Giuste

Il team non ha usato un robot generico che parla tutte le lingue allo stesso modo. Si sono resi conto che, proprio come una persona potrebbe capire meglio un dialetto locale rispetto a uno straniero, anche i modelli di IA devono essere specializzati.

Per l'inglese: Hanno dato al robot "RoBERTa", un modello addestrato specificamente per comprendere le sfumature dell'inglese.
Per lo swahili: Hanno dato al robot "AfroXLMR", un modello addestrato appositamente sulle lingue africane.
L'analogia: Immaginate di cercare di ascoltare un dibattito in una stanza affollata. Se usate un apparecchio acustico generico, potreste perdere i sussurri. Ma se usate un apparecchio acustico sintonizzato sulla frequenza specifica di quella stanza, sentite tutto chiaramente. È questo che hanno fatto con i modelli.

2. Il Problema: La questione dell' "Ospite Raro"

Nei dati che hanno analizzato, la maggior parte delle conversazioni riguardava argomenti comuni (come la politica generale), ma alcuni argomenti erano molto rari (come la polarizzazione legata a genere o sessualità).

L'analogia: Immaginate una classe dove il 95% degli studenti indossa magliette rosse e solo il 5% indossa magliette blu. Se chiedete a uno studente di indovinare il colore della maglietta di una nuova persona, indicherà quasi sempre "rosso" perché è il più comune. Fallirà nel notare le magliette "blu".
La soluzione: Il team ha insegnato al loro robot a prestare un'attenzione extra alle "magliette blu". Hanno utilizzato una funzione di Class-Weighted Loss (Perdita Pesata per Classe). Pensate a questo come a un insegnante che dice: "Se ti sfugge una maglietta rossa, è un piccolo errore. Ma se ti sfugge una maglietta blu, ricevi una penalità enorme". Questo ha costretto il robot a imparare meglio i casi rari e difficili.

3. Il Fine-Tuning: Regolare la Sensibilità

Dopo l'addestramento, il robot doveva decidere: "Questo testo è polarizzato o no?". Di solito, i robot usano una regola 50/50 (se è probabile al 50%, dicono sì). Ma il team ha scoperto che questa regola era troppo rigida.

L'analogia: Pensate a un metal detector in un aeroporto. Se è impostato troppo basso, ignora le armi reali. Se è impostato troppo alto, urla contro le persone che hanno delle chiavi. Il team ha regolato la soglia (threshold) per ogni singolo tipo di polarizzazione. Hanno regolato la sensibilità per gli "stereotipi" in modo diverso rispetto a quella per la "mancanza di empatia", assicurandosi che il robot catturasse la giusta quantità di problemi senza dare falsi allarmi.

4. I Risultati: Come sono andati?

Il robot si è comportato molto bene, specialmente rispetto ad altri team e metodi più vecchi.

Rilevamento Binario (È polarizzato?): Il robot è stato accurato circa il 79% sia in inglese che in swahili. È stato leggermente più bravo a individuare la polarizzazione in swahili, probabilmente perché i dati in swahili avevano un mix più equilibrato di testi polarizzati e non polarizzati.
Tipo e Manifestazione (Cosa e Come?): Questo è stato più difficile. Il robot ha ottenuto un'accuratezza del 46–58%. Questo è comunque un punteggio forte perché il compito è incredibilmente difficile (come cercare di indovinare il gusto specifico di un gelato in una stanza buia).
La Classifica: Per il compito in swahili di identificare come le persone stavano combattendo (manifestazioni), questo team è arrivato al 2° posto su 16 team.

5. Dove il Robot ha Vacillato (Analisi degli Errori)

Anche i robot più intelligenti commettono errori. Il team ha esaminato gli errori e ha trovato tre punti critici principali:

Confondere "Forte" con "Cattivo": Il robot a volte pensava che un commento sportivo intenso ("I Lakers distruggeranno i Celtics") fosse un attacco polarizzato odioso. Ha confuso l'intensità con la polarizzazione.
Il Gap della "Teoria della Mente": Il robot ha avuto difficoltà a rilevare la deumanizzazione (trattare le persone come oggetti) e la mancanza di empatia. Queste richiedono la comprensione di profondi sentimenti umani e metafore, il che è come chiedere a una calcolatrice di comprendere una poesia.
Le Etichette Rare: Anche con il loro speciale addestramento basato sulle "penalità", il robot ha comunque mancato le categorie molto rare (come la polarizzazione di genere/sessualità) perché semplicemente non c'erano abbastanza esempi da cui imparare.

Riassunto

Il team ha costruito un sistema di ascolto specializzato che utilizza "orecchie" diverse per l'inglese e lo swahili, insegna al sistema a prestare profonda attenzione ai temi rari e ne regola la sensibilità per catturare il maggior numero di problemi. Sebbene non sia ancora perfetto — specialmente quando si tratta di comprendere la profonda crudeltà umana o il sarcasmo — rappresenta un passo significativo avanti nell'aiutarci a comprendere e moderare le discussioni online.

Nota Importante: Gli autori dichiarano esplicitamente che questo è uno strumento di ricerca. Avvertono che, se utilizzato nel mondo reale senza supervisione umana, potrebbe accidentalmente mettere a tacere voci politiche legittime o colpire ingiustamente i gruppi emarginati. Credono che gli esseri umani debbano sempre essere coinvolti per prendere la decisione finale.

Riepilogo Tecnico: Aaron a SemEval-2026 Task 9

Definizione del Problema

Questo articolo affronta il SemEval-2026 Task 9, che si concentra sul rilevamento della polarizzazione online attraverso molteplici lingue, culture ed eventi. Il compito è suddiviso in tre sottotask specifici per l'inglese e lo swahili:

Rilevamento Binario: Classificazione del testo come polarizzato o non polarizzato.
Classificazione del Tipo: Una classificazione multi-label che identifica cinque tipi di polarizzazione (politica/ideologica, razziale/etnica, religiosa, di genere/sessuale e altro).
Identificazione della Manifestazione: Una classificazione multi-label che identifica sei manifestazioni specifiche di polarizzazione (stereotipo, vilipendio, disumanizzazione, linguaggio estremo, mancanza di empatia e invalidazione).

Le principali sfide identificate sono il grave squilibrio delle etichette (particolarmente per le classi minoritarie come la polarizzazione di genere/sessuale e manifestazioni specifiche) e la necessità di adattabilità multilingue, specificamente per le lingue africane dove i modelli multilingue generici possono offrire prestazioni inferiori.

Metodologia

Il sistema proposto impiega una pipeline a quattro fasi: pre-elaborazione, architettura del modello specifica per la lingua, addestramento con pesatura delle classi e regolazione della soglia post-addestramento.

1. Pre-elaborazione dei Dati

Gli autori hanno adottato una strategia di pre-elaborazione minima per preservare i segnali di polarizzazione. La spaziatura originale, le emoji e i caratteri speciali sono stati mantenuti, mentre sono stati rimossi solo i caratteri di controllo e i byte nulli. I dati sono stati suddivisi in un rapporto 80/20 in set di addestramento e validazione utilizzando il campionamento stratificato per mantenere le distribuzioni delle classi.

2. Architettura del Modello

Il sistema utilizza modelli basati su transformer selezionati specificamente per ogni lingua:

Inglese: È stato scelto RoBERTa-base (125M di parametri) rispetto a BERT e XLM-RoBERTa. Gli studi di ablazione hanno indicato che la maschera dinamica di RoBERTa e l'assenza di previsione della frase successiva hanno prodotto prestazioni superiori per l'inglese, mentre la pre-addestramento multilingue di XLM-RoBERTa ha diluito le rappresentazioni inglesi.
Swahili: È stato selezionato AfroXLMR-base (270M di parametri). Questo modello è specificamente adattato per le lingue africane attraverso un continuo pre-addestramento su diversi corpora africani, superando i modelli multilingue generici come mBERT e XLM-RoBERTa nei compiti in lingua swahili.

Entrambi i modelli utilizzano una testa di classificazione composta da uno strato di dropout (0.1) seguito da uno strato lineare che mappa gli embedding a 768 dimensioni ai logit di output richiesti (2 per il Subtask 1, 5 per il Subtask 2 e 6 per il Subtask 3).

3. Funzione di Perdita Pesata per Classe

Per affrontare il grave squilibrio delle etichette, gli autori hanno implementato una funzione di perdita cross-entropy binaria pesata per classe. Il peso per ogni etichetta $j$ ( $w_j$ ) è calcolato come il rapporto tra i campioni negativi e quelli positivi ( $n_{neg} / n_{pos}$ ). Ciò aumenta la penalità per la classificazione errata delle classi minoritarie. Ad esempio, nell'inglese Subtask 2, i pesi variavano da 1.73 (politico) a 41.95 (genere/sessuale). È stato applicato il clipping del gradiente (max-norm 1.0) per garantire la stabilità dell'addestramento.

4. Regolazione della Soglia

Dopo l'addestramento, è stata condotta una ricerca della soglia per etichetta sul set di validazione. Le soglie sono state scansionate da 0.1 a 0.9 con passi di 0.05 per massimizzare il punteggio macro F1 per ogni specifica etichetta. Questo approccio ha migliorato i punteggi macro F1 da 0.87 a 5.98 punti rispetto alla soglia standard di 0.5.

Configurazione dell'Addestramento

I modelli sono stati perfezionati utilizzando AdamW (learning rate $2 \times 10^{-5}$ , weight decay 0.01) con uno schema di warmup lineare. L'addestramento ha utilizzato la precisione mista (FP16) su una singola GPU. Le dimensioni dei batch erano 16 per il Subtask 1 e 8 (con accumulo del gradiente) per i Subtask 2–3 per accomodare le lunghezze delle sequenze di 128 e 256 token, rispettivamente. L'early stopping è stato basato sul macro F1 di validazione.

Contributi Chiave

L'articolo evidenzia tre contributi tecnici primari:

Selezione del Modello Specifico per la Lingua: Dimostrare che modelli specializzati (RoBERTa per l'inglese, AfroXLMR per lo swahili) superano i baseline multilingue generici per il rilevamento della polarizzazione in questi contesti specifici.
Implementazione della Perdita Pesata per Classe: Applicare con successo funzioni di perdita pesata per mitigare gli effetti dello squilibrio estremo delle etichette nei compiti di polarizzazione multi-label.
Regolazione della Soglia per Etichetta: Ottimizzare individualmente i confini di classificazione per ogni etichetta, il che si è rivelato fondamentale per migliorare i punteggi macro F1 in dataset sbilanciati.

Risultati Sperimentali

Il sistema è stato valutato sul set di test utilizzando il Macro F1 come metrica primaria.

Subtask 1 (Rilevamento Binario): Ha raggiunto punteggi di 0.7901 (inglese) e 0.7910 (swahili). Le prestazioni in swahili hanno leggermente superato quelle in inglese, grazie a una distribuzione delle classi più equilibrata nel dataset swahili.
Subtask 2 (Classificazione del Tipo): Ha raggiunto punteggi di 0.4615 (inglese) e 0.4808 (swahili). Le prestazioni sono state ostacolate dallo squilibrio estremo, in particolare per le categorie di genere/sessuale e "altro".
Subtask 3 (Identificazione della Manifestazione): Ha raggiunto punteggi di 0.4791 (inglese) e 0.5830 (swahili). Il sistema si è classificato al 2° posto su 16 team per lo swahili in questo subtask.

Prestazioni Comparative:
Il sistema ha costantemente superato sia il baseline POLAR che un baseline mBERT fine-tuned in tutti i subtask e le lingue. Ad esempio, nello swahili Subtask 3, il sistema proposto (0.5830) ha superato significativamente il baseline mBERT (0.4380).

Studi di Ablazione:

Pesatura delle Classi: Nell'inglese Subtask 2, la rimozione della pesatura delle classi ha fatto scendere il macro F1 da 0.4721 a 0.4123, una diminuzione di 5.98 punti.
Scelta del Modello: RoBERTa-base ha superato BERT-base del 2.58% nell'inglese Subtask 1, mentre il più grande XLM-RoBERTa ha ottenuto prestazioni inferiori, confermando il beneficio del pre-addestramento specifico per la lingua.

Analisi degli Errori e Limitazioni

Gli autori hanno identificato specifici modi di fallimento:

Falsi Positivi: Titoli politici neutrali e commenti sportivi iperbolici sono stati occasionalmente classificati erroneamente come polarizzati a causa della tendenza del modello a confondere il linguaggio forte con la polarizzazione.
Ambiguità Multi-label: Nel Subtask 2, il modello ha avuto difficoltà a rilevare sfumature razziali all'interno di dichiarazioni politiche.
Categorie Rare: L'etichetta genere/sessuale (frequenza del 2.2%) e la manifestazione di disumanizzazione sono rimaste difficili da rilevare, anche con la pesatura delle classi.
Sfumature Semantiche: La disumanizzazione (31% degli errori) e la mancanza di empatia richiedono una comprensione semantica sfumata e un ragionamento di teoria della mente che i transformer standard faticano a catturare.
Gap Validazione-Test: È stata osservata una discrepanza di 2.29 a 10.58 punti tra i punteggi di validazione e quelli di test, attribuita all'overfitting della soglia su un singolo split di validazione e a potenziali shift di dominio nei dati di test.

Significato e Rivendicazioni

L'articolo sostiene che l'approccio proposto dimostra una prestazione competitiva sulla classifica, evidenziando in particolare il 2° posto per lo swahili nel Subtask 3. Gli autori affermano che i loro metodi sono efficaci per gestire il rilevamento della polarizzazione multi-label sbilanciata sia in contesti ad alta risorsa (inglese) che a bassa risorsa (swahili).

Il lavoro sottolinea la necessità di:

Andare oltre i modelli multilingue generici per le lingue africane.
Impiegare tecniche specifiche (pesatura delle classi e regolazione della soglia) per affrontare lo squilibrio intrinseco nei dataset di polarizzazione.

Gli autori concludono che, sebbene il sistema sia efficace, il lavoro futuro dovrà affrontare il ragionamento pragmatico, la modellazione culturale e il trasferimento cross-lingua per migliorare ulteriormente il rilevamento di manifestazioni sottili come la disumanizzazione e la mancanza di empatia. Evidenziano inoltre la necessità di supervisione umana nell'implementazione nel mondo reale per evitare la soppressione della legittima espressione politica.