Riepilogo Tecnico: Apprendimento Continuo con Modelli Fondamentali Multilingue per il Rilevamento di Insulti Riappropriati

Enunciato del Problema

I sistemi automatizzati di moderazione dei contenuti affrontano sfide significative nel distinguere tra discorsi d'odio e linguaggio riappropriato, in particolare nei contesti LGBTQ+. Gli insulti riappropriati sono termini storicamente offensivi riproposti da comunità emarginate per l'auto-rafforzamento e la solidarietà. Quando gli algoritmi non riescono a riconoscere questo contesto, rischiano di segnalare come tossici post innocui o di non rilevare effettivi discorsi d'odio. Questo lavoro affronta il compito MultiPride di EVALITA 2026, che si concentra sul rilevamento dell'uso riappropriato rispetto a quello non riappropriato di insulti legati alla comunità LGBTQ+ in tweet in inglese, spagnolo e italiano.

Il compito è caratterizzato da tre ostacoli metodologici principali:

1. Scarsità di Dati: Disponibilità limitata di dati di addestramento etichettati.
2. Squilibrio delle Classi: Una disparità significativa tra istanze riappropiate (minoranza) e non riappropiate (maggioranza), che varia dal 9% (inglese) al 24% (italiano).
3. Variazione Cross-Linguistica: Differenze culturali e linguistiche nel modo in cui la riappropriazione è espressa, il che significa che un modello efficace per la sarcasmatica inglese potrebbe non cogliere i marcatori culturali italiani.

Metodologia

Gli autori propongono un framework multilingue a quattro stadi progettato per affrontare sistematicamente queste sfide attraverso la selezione guidata dai dati del modello, l'aumento dei dati, l'adattamento di dominio e la calibrazione delle soglie.

1. Analisi dei Dati e Rilevamento dei Bias

Il framework inizia con analisi descrittive e test del chi-quadrato per identificare le relazioni statistiche tra lingua e distribuzioni delle etichette. Questa analisi ha confermato che le etichette non sono distribuite casualmente tra le lingue, giustificando la necessità di strategie specifiche per lingua.

2. Selezione del Modello Fondamentale

Otto modelli di embedding multilingue sono stati valutati utilizzando un approccio di validazione incrociata stratificata a cinque fold. I criteri di selezione hanno privilegiato la stabilità del punteggio F1 medio macro rispetto alla massima prestazione assoluta per garantire robustezza contro gli spostamenti nella distribuzione dei dati.

• Modello Selezionato: XLM-RoBERTa-large è stato scelto come modello fondamentale, ottenendo un F1 medio macro di 0,7553 ± 0,04, bilanciando prestazioni ed efficienza computazionale.

3. Apprendimento per Trasferimento Induttivo con Aumento dei Dati (RUN 1)

Per mitigare la scarsità di dati e lo squilibrio delle classi, il framework impiega:

• Aumento tramite Back-Translation: Utilizzando GPT-4o-mini, i tweet originali sono stati tradotti nelle altre due lingue target e poi ritradotti. Questo schema "uno-a-molti" ha triplicato la dimensione del corpus di addestramento preservando il contenuto semantico e mantenendo i rapporti originali delle distribuzioni delle classi (9–24%).
• Sottocampionamento Dinamico a Livello di Epoca: Un campionatore di batch personalizzato impone un rapporto 1:3 tra istanze positive e negative durante l'addestramento. Per ogni istanza positiva, tre istanze negative vengono selezionate casualmente senza reinserimento. Questo approccio stocastico previene il collasso della classe maggioritaria e l'overfitting, garantendo al contempo che il modello apprenda le caratteristiche distintive della classe minoritaria.
• Ottimizzazione degli Iperparametri: Utilizzo di Optuna con un campionatore Tree-structured Parzen Estimator (TPE) e un Pruner Mediano per cercare in modo efficiente i tassi di apprendimento, le dimensioni dei batch e il decadimento dei pesi ottimali.

4. Integrazione della Conoscenza di Dominio (RUN 2)

Un percorso secondario introduce conoscenze specifiche di dominio tramite pre-addestramento Masked Language Modeling (MLM).

• Il modello fondamentale subisce un pre-addestramento MLM sul dataset aumentato (mascheratura del 15% dei token) per approfondire la sua rappresentazione dei modelli di discorso LGBTQ+.
• Questo modello adattato viene quindi fine-tuned utilizzando la stessa pipeline di apprendimento per trasferimento induttivo (aumento, sottocampionamento e validazione incrociata) di RUN 1.

5. Raffinamento delle Soglie Specifiche per Lingua (RUN 3 e RUN 4)

Riconoscendo che i punteggi di confidenza del modello variano significativamente tra le lingue, il framework si allontana da una soglia decisionale universale (0,5).

• Analisi ROC: Le curve Receiver Operating Characteristic sono analizzate indipendentemente per i set di validazione in inglese, spagnolo e italiano.
• Ottimizzazione: Le soglie decisionali sono sintonizzate per massimizzare il punteggio F1 medio macro per ciascuna lingua.
  • Inglese: Soglia più alta (~0,58) richiesta a causa di punteggi di confidenza medi più elevati.
  • Italiano: Soglia più bassa (~0,42) richiesta per catturare sottili indizi di riappropriazione.
  • Spagnolo: Soglia intermedia (~0,50).
• Applicazione: RUN 3 applica queste soglie alle previsioni di RUN 1, e RUN 4 le applica alle previsioni di RUN 2.

Risultati Chiave

Il framework è stato valutato su una workstation RTX 4090 utilizzando l'addestramento in precisione mista. Le quattro esecuzioni sperimentali hanno prodotto i seguenti approfondimenti:

• Miglioramenti delle Prestazioni: L'ottimizzazione basata sulle soglie (RUN 3 e RUN 4) ha prodotto un miglioramento assoluto del 2–5% nei punteggi F1 senza richiedere il re-addestramento del modello.
• Selezione del Modello: XLM-RoBERTa-large si è dimostrato superiore agli embedding di retrieval denso (ad es. multilingual-e5-large, bge-m3) per questo compito specifico di classificazione.
• Efficacia dell'Aumento: La back-translation ha espanso con successo il dataset di tre volte preservando la distribuzione critica della classe minoritaria.
• Impatto del MLM: L'adattamento di dominio tramite MLM (RUN 2) ha mostrato risultati dipendenti dalla lingua. Sebbene abbia offerto miglioramenti marginali per l'inglese, lo spagnolo e l'italiano hanno mostrato risposte variabili, suggerendo che le lingue ricche di morfologia con dati di pre-addestramento limitati creano paesaggi di ottimizzazione diversi che richiedono una sintonizzazione precisa degli iperparametri.
• Analisi degli Errori:
  • Inglese: Gli errori spesso coinvolgevano la confusione tra sarcasmo o discorso ipotetico e riappropriazione (ad es. mettere in discussione il permesso di usare un insulto).
  • Spagnolo: Gli errori si sono verificati in contesti attivisti dove gli insulti erano stati riappropriati per opporsi alle strutture eteronormative.
  • Italiano: Il sistema ha faticato con i falsi negativi, mancando sottili marcatori culturali di solidarietà interna e uso di linguaggio intimo.

Significato e Affermazioni

Il lavoro afferma che un approccio "taglia unica" all'analisi del sentiment multilingue è insufficiente per il rilevamento di insulti riappropriati. I contributi principali sono:

1. Rifiuto delle Soglie Universali: Lo studio dimostra che i confini decisionali ottimali variano significativamente tra le lingue a causa di differenze distributive nei punteggi di confidenza del modello e della variazione linguistica. L'aggiustamento delle soglie per lingua è un metodo privo di costi computazionali per aumentare significativamente le prestazioni.
2. Gestione Robusta dello Squilibrio: La combinazione di back-translation che preserva la semantica e sottocampionamento dinamico affronta efficacemente la scarsità di dati e lo squilibrio delle classi senza gli effetti collaterali del resampling aggressivo.
3. Limiti Pragmatici: Gli autori concludono modestamente che, sebbene il framework migliori le prestazioni statistiche, i modelli basati solo sul testo faticano con le sfumature pragmatiche. Il sistema confonde frequentemente il sarcasmo con la riappropriazione (inglese) o manca la solidarietà implicita (italiano).
4. Direzione Futura: Il lavoro suggerisce che i futuri miglioramenti dell'accuratezza richiedono di andare oltre il testo per includere segnali non linguistici (emoji, tono, segnali di relazione sociale) e una modellazione del discorso radicata culturalmente, piuttosto che affidarsi esclusivamente a caratteristiche lessicali.

La metodologia è completamente riproducibile, con codice e configurazioni sperimentali disponibili tramite il repository GitHub fornito.