Riepilogo Tecnico: Addestramento Multi-Fase per il Rilevamento di Commenti Abusivi in Lingue Indic

Enunciato del Problema

Il documento affronta la sfida critica del rilevamento di contenuti abusivi sulle piattaforme di social media, specificamente nel contesto delle lingue indic. Sebbene i social media facilitino la comunicazione, ospitano anche contenuti dannosi che richiedono una moderazione automatizzata. Gli autori evidenziano che questo compito è intrinsecamente difficile a causa della soggettività dell'annotazione, delle sfumature linguistiche (come ironia, umorismo e variazioni ortografiche) e della scarsità di risorse per le lingue indiane.

Un dataset specifico utilizzato per questo studio comprende 700.000 commenti dall'app "Moj", coprendo oltre 15 lingue indiane. Il dataset presenta sfide significative:

• Rumore nelle Etichette: Gli autori stimano che circa il 9–10% dei dati di addestramento contenga errori di annotazione (ad esempio, commenti sarcastici contrassegnati come abusivi o commenti tossici contrassegnati come non abusivi).
• Complessità Linguistica: I commenti spesso contengono code-mixing (ad esempio, Hinglish) o sono scritti in script latino invece che negli script nativi.
• Scarsità di Risorse: I modelli linguistici pre-addestrati per le lingue indic sono spesso addestrati su corpora piccoli, limitandone l'efficacia.

Metodologia

Gli autori propongono una pipeline multi-fase che coinvolge il pre-processing dei dati, l'addestramento del modello e il post-processing per minimizzare i falsi positivi e gestire il rumore nelle etichette.

1. Pre-processing dei Dati

• Pulizia e Traslitterazione: Il dataset grezzo è stato pulito per rimuovere entità non testuali (ad esempio, tag HTML). Crucialmente, i commenti scritti in script latino (ad esempio, Hinglish) sono stati traslitterati nelle loro lingue indic native assegnate utilizzando la libreria indic-trans.
• Fusione dei Dati: È stato condotto un esperimento in cui il testo grezzo originale e il testo pulito/traslitterato sono stati concatenati per fornire al modello informazioni sintattiche e semantiche più ricche.
• Riduzione della Dimensionalità: L'Analisi delle Componenti Principali (PCA) è stata applicata per ridurre gli embedding di XLM-R da 768 a 200 dimensioni per ottimizzare le prestazioni.

2. Architettura del Modello e Addestramento

L'approccio utilizza un ensemble di modelli di deep learning e gradient boosting:

• Transformer di Base: Gli autori hanno fine-tunato XLM-R (un modello RoBERTa multilingue) e Muril (una variante BERT specificamente per le lingue indic). XLM-R ha costantemente superato Muril nei punteggi di validazione incrociata (CV).
• Feature Engineering: Gli embedding contestuali dai modelli transformer sono stati concatenati con metadati di feedback esplicito (numero di like e segnalazioni) dal dataset.
• Gradient Boosting: Gli output aggregati (embedding) dai modelli transformer sono stati utilizzati come caratteristiche di input per addestrare classificatori LightGBM (LGBM).
• Modellazione per Lingua: Invece di un unico modello globale, sono stati addestrati modelli LGBM separati per ogni lingua all'interno di una configurazione di validazione incrociata a 10 fold. Ciò ha prodotto miglioramenti significativi delle prestazioni rispetto all'addestramento agnostico rispetto alla lingua.
• Pseudo-Labeling: Per affrontare il rumore nelle etichette, gli autori hanno implementato una tecnica iterativa di pseudo-labeling. Le previsioni del modello con le prestazioni migliori sono state utilizzate come metadati aggiuntivi per addestrare modelli successivi. Questo processo è stato ripetuto fino a quando le prestazioni non si sono stabilizzate.

3. Post-processing

La fase finale ha coinvolto l'applicazione di soglie specifiche per lingua alle previsioni del modello. Questo semplice aggiustamento ha permesso di sintonizzare finemente l'equilibrio tra precisione e recall per ogni specifica lingua indic.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Miglioramento del Dataset: Creazione di una versione pulita e traslitterata del dataset grezzo, convertendo i commenti nelle loro lingue native assegnate.
2. Pipeline Robusta: Sviluppo di una pipeline di addestramento efficace, specifica per lingua, che integra embedding transformer, metadati e gradient boosting.
3. Gestione del Rumore: Dimostrazione di una pipeline che gestisce efficacemente il rumore nelle etichette attraverso pseudo-labeling e soglie specifiche per lingua, mirando a ridurre i falsi positivi senza compromettere la libertà di espressione.

Risultati

Gli autori riportano una progressione dei punteggi (F1-score) attraverso varie fasi di sperimentazione:

• Baseline: Il fine-tuning di XLM-R ha raggiunto un punteggio CV di 0.8804.
• Augmentation delle Feature: L'aggiunta di metadati e la concatenazione del testo grezzo/traslitterato hanno migliorato il punteggio a 0.8822.
• Integrazione LGBM: L'uso degli embedding di XLM-R con LGBM ha alzato il punteggio a 0.89481.
• Addestramento per Lingua: L'addestramento di modelli LGBM separati per lingua ha portato il punteggio a 0.89801.
• Pseudo-Labeling: Il pseudo-labeling iterativo con LGBM specifico per lingua ha raggiunto un punteggio di modello singolo di 0.89934.
• Ensemble Finale: Un ensemble ponderato di modelli ad alto punteggio, combinato con soglie di post-processing specifiche per lingua, ha raggiunto un punteggio finale di 0.90000 sulla leaderboard (LB).

Significato e Affermazioni

Il documento afferma che la pipeline proposta minimizza con successo il tasso di falsi positivi, un fattore cruciale nel prevenire la soppressione del discorso legittimo mentre si rileva l'abuso. Gli autori sottolineano che il loro approccio gestisce efficacemente il "rumore" intrinseco nei dataset annotati manualmente, un problema comune nel rilevamento di contenuti abusivi.

Lo studio conclude che, sebbene le procedure di modellazione innovative (come pseudo-labeling e soglie specifiche per lingua) abbiano prodotto risultati forti, rimane spazio per miglioramenti. Gli autori suggeriscono modestamente che il lavoro futuro potrebbe concentrarsi sull'ottimizzazione dei modelli con scheduler del tasso di apprendimento e sullo sviluppo di metodi più sofisticati per gestire direttamente il rumore nelle etichette. Non affermano di aver risolto completamente il problema, ma hanno fornito un framework robusto che avanza significativamente le prestazioni nel rilevamento di commenti abusivi in lingue indic.