destroR: A Benchmark and Adversarial-Training Defense for Bangla Transfer Models under Meaning-Preserving Attacks

Sintesi Tecnica: destroR: Un Benchmark e una Difesa tramite Addestramento Avversario per i Modelli di Transfer Learning in Bangla sotto Attacchi che Preservano il Significato

Problematica
Sebbene i modelli di transfer learning basati su transformer abbiano raggiunto un'elevata accuratezza nella classificazione del sentiment in lingua Bangla, la loro robustezza contro gli attacchi avversari rimane ampiamente inesaminata. A differenza dell'inglese, dove le estese risorse lessicali e i corpora di parafrasi facilitano la progettazione di attacchi, il Bangla è una lingua a basse risorse per l'NLP avversario. La sua ricca morfologia, il frequente code-mixing e la traslitterazione rendono difficile la creazione di perturbazioni impercettibili che preservino il significato. Di conseguenza, non esiste una caratterizzazione sistematica della robustezza dei modelli in Bangla, né studi precedenti che accoppino una suite di attacchi specifica per il Bangla con una difesa capace di ripristinare la robustezza. La domanda centrale affrontata è: Quanto sono robusti i modelli di transfer learning in Bangla e l'addestramento avversario può ripristinare tale robustezza?

Metodologia
Gli autori introducono destroR, una pipeline unificata per valutare e rinforzare i classificatori di testo in Bangla. La metodologia è strutturata attorno a tre componenti principali:

1. Ricette di Attacco che Preservano il Significato:
   Il documento propone tre specifiche strategie di attacco progettate per perturbare gli input rigenerando frasi fluide e semanticamente fedeli, piuttosto che iniettare rumore superficiale:

   • Attacco di Parafrasi in Bangla: Utilizza un modello BanglaT5 fine-tuned (csebuotnlp/banglat5_banglaparaphrase) per generare parafrasi diverse e sensibili al contesto. La fedeltà semantica è vincolata tramite la similarità del coseno di LaBSE ($\tau \ge 0.7$).
   • Attacco di Back-Translation in Bangla: Ispirato a TransFool, questo metodo traduce il testo dal Bangla all'inglese e poi di nuovo al Bangla utilizzando pipeline di traduzione bidirezionali (csebuotnlp/banglat5_nmt_en_bn e csebuotnlp/banglat5_nmt_bn_en). Questo sfrutta le differenze di allineamento per alterare la struttura della frase e il lessico pur tentando di preservare la semantica.
   • Attacco di Scambio di Parole One-Hot: Un attacco a livello di parola di tipo gray-box che identifica i token importanti tramite query "leave-one-out" e li sostituisce utilizzando un modello di linguaggio mascherato (XLM-RoBERTa-base). Questo mira ai bias a livello di token del modello.

2. Benchmark di Robustezza:
   Lo studio valuta cinque modelli di transfer learning su quattro dataset distinti (blp23, youtube_sentiment, CogniSenti, BASA_cricket2). I modelli vittima includono:

   • Specifici per il Bangla: BanglaBERT, BanglishBERT.
   • Multilingue Indic: MuRIL, IndicBERTv2.
   • Multilingue Generali: XLM-RoBERTa.

   Questi modelli sono testati contro le tre ricette proposte e due baseline inglesi consolidate (TextFooler e BAE) sotto un protocollo identico. La metrica di valutazione è l'Attack Success Rate (ASR), definito come la frazione di predizioni originariamente corrette invertite dall'attacco.

3. Difesa tramite Addestramento Avversario:
   Per rinforzare i modelli, gli autori impiegano l'addestramento avversario, aumentando il set di addestramento con gli avversari generati. Vengono valutati tre regimi di addestramento:

   • AT-Paraphrase: Augmentazione con soli avversari di parafrasi.
   • AT-BackTrans: Augmentazione con soli avversari di back-translation.
   • AT-All: Augmentazione con l'unione di tutte le famiglie di attacco.

Risultati Chiave
L'analisi produce tre scoperte primarie riguardanti l'interazione tra attacchi, difese e architetture dei modelli:

• Potenza delle Baseline di Sostituzione di Parole: Le forti baseline di sostituzione di parole (specificamente BAE) superano le ricette a livello di frase con vincoli semantici. BAE ha ottenuto un ASR residuo del 54,2% anche contro i modelli addestrati avversariamente, rispetto al 21,5% per la Back-Translation e al 15,3% per la Parafrasi in Bangla. La ricetta One-Hot Word-Swap è stata trovata essere ampiamente inefficace (ASR dello 0,2%) sul Bangla, probabilmente a causa dell'incapacità del mask-filler di XLM-R di produrre sostituzioni valide in Bangla.
• Efficacia dell'Addestramento Avversario: L'addestramento avversario riduce significativamente l'ASR residuo in tutte le famiglie di attacco. Fondamentalmente, il regime AT-All (addestramento sull'unione di tutte le famiglie di attacco) ha costantemente prodotto l'ASK residuo più basso per ogni tipo di attacco, superando l'addestramento su singola famiglia. Ciò suggerisce che gli avversari condividano perturbazioni strutturali e lessicali trasferibili.
• Disparità di Robustezza dei Modelli: Contrariamente all'aspettativa che i modelli specifici per la lingua sarebbero stati più robusti, il backbone MuRIL (multilingue Indic) si è dimostrato marcatamente più robusto dei modelli dedicati al Bangla (BanglaBERT e BanglishBERT). Ad esempio, l'ASR dell'attacco BAE contro MuRIL era del 40,2%, mentre era del 64,2% contro BanglishBERT. Gli autori attribuiscono ciò al vocabolario di sub-word più ampio di MuRIL, che potrebbe diluire i bias a livello di token sfruttati dagli attacchi di sostituzione di parole.

Significatività e Contributi
Il documento rivendica la propria importanza affrontando una lacuna critica nella sicurezza dell'NLP per le lingue a basse risorse. I suoi contributi specifici sono:

1. Prima Pipeline Unificata: L'introduzione di destroR, la prima pipeline che accoppia una suite di attacchi specifica per il Bangla con una difesa che ripristina misurabilmente la robustezza.
2. Nuove Ricette di Attacco: Lo sviluppo di tre ricette di attacco che preservano il significato, adattate ai vincoli linguistici del Bangla, andando oltre la semplice iniezione di rumore verso la rigenerazione semantica.
3. Benchmark Comprensivo: Una matrice di robustezza che valuta cinque modelli su quattro dataset e cinque attacchi, fornendo una base per la ricerca futura.
4. Validazione della Difesa: Evidenza empirica che l'addestramento avversario, in particolare quando utilizza l'unione di famiglie di attacco, rinforza efficacemente i classificatori di sentiment in Bangla.
5. Riproducibilità: Il rilascio di tutti i modelli vittima, dei dati avversari e del codice con seed fissi per garantire la piena riproducibilità.

Gli autori mantengono una posizione modesta, riconoscendo limitazioni quali l'uso di un singolo seed casuale, la dipendenza da metriche di fedeltà semantica automatica (LaBSE) senza validazione umana, e l'attuale inefficacia della ricetta One-Hot Word-Swap sul Bangla. Inquadrano il lavoro come una fondazione per la ricerca futura sulla robustezza dei modelli in Bangla e altre lingue a basse risorse, piuttosto che come una soluzione definitiva a tutte le minacce avversarie.