destroR: A Benchmark and Adversarial-Training Defense for Bangla Transfer Models under Meaning-Preserving Attacks

Résumé technique : destroR : un benchmark et une défense par entraînement adversaire pour les modèles de transfert en bengali sous des attaques préservant le sens

Énoncé du problème
Bien que les modèles de transfert basés sur les transformers aient atteint une grande précision dans la classification de sentiments en bengali, leur robustesse face aux attaques adverses reste largement inexplorée. Contrairement à l'anglais, où les ressources lexicales étendues et les corpus de paraphrases facilitent la conception d'attaques, le bengali est une langue à faibles ressources pour le NLP adversaire. Sa morphologie riche, son mélange de codes fréquent et sa translittération rendent difficile la création de perturbations imperceptibles et préservant le sens. Par conséquent, il n'existe aucune caractérisation systématique de la robustesse des modèles en bengali, ni aucune étude préalable couplant une suite d'attaques spécifique au bengali avec une défense prouvée pour restaurer la robustesse. La question centrale abordée est la suivante : À quel point les modèles de transfert en bengali sont-ils robustes face aux attaques adverses, et l'entraînement adversaire peut-il restaurer cette robustesse ?

Méthodologie
Les auteurs introduisent destroR, un pipeline unifié pour évaluer et renforcer les classificateurs de texte en bengali. La méthodologie s'articule autour de trois composantes clés :

1. Recettes d'attaques préservant le sens :
   Le papier propose trois stratégies d'attaque spécifiques conçues pour perturber les entrées tout en régénérant des phrases fluides et sémantiquement fidèles, plutôt que d'injecter du bruit de surface :

   • Attaque par paraphrase en bengali : Utilise un modèle BanglaT5 affiné (csebuetnlp/banglat5_banglaparaphrase) pour générer des paraphrases diversifiées et contextuelles. La fidélité sémantique est contrainte par la similitude cosinus LaBSE ($\tau \ge 0,7$).
   • Attaque par rétrotraduction en bengali : Inspirée de TransFool, cette méthode traduit le texte bengali vers l'anglais puis de l'anglais vers le bengali en utilisant des pipelines de traduction bidirectionnels (csebuetnlp/banglat5_nmt_en_bn et csebuetnlp/banglat5_nmt_bn_en). Cela exploite les différences d'alignement pour modifier la structure et le lexique de la phrase tout en tentant de préserver la sémantique.
   • Attaque par permutation de mots "One-Hot" : Une attaque au niveau des mots en boîte grise qui identifie les tokens importants via des requêtes "leave-one-out" et les remplace à l'aide d'un modèle de langage masqué (XLM-RoBERTa-base). Elle cible les biais au niveau des tokens du modèle.

2. Benchmark de robustesse :
   L'étude évalue cinq modèles de transfert à travers quatre jeux de données distincts (blp23, youtube_sentiment, CogniSenti, BASA_cricket2). Les modèles victimes sont :

   • Dédiés au bengali : BanglaBERT, BanglishBERT.
   • Multilingues indic : MuRIL, IndicBERTv2.
   • Multilingues généraux : XLM-RoBERTa.

   Ces modèles sont testés contre les trois recettes proposées et deux bases anglaises établies (TextFooler et BAE) sous un protocole identique. La métrique d'évaluation est le Taux de Succès de l'Attaque (ASR), défini comme la fraction des prédictions initialement correctes inversées par l'attaque.

3. Défense par entraînement adversaire :
   Pour durcir les modèles, les auteurs emploient l'entraînement adversaire, augmentant l'ensemble d'entraînement avec des adversaires générés. Trois régimes d'entraînement sont évalués :

   • AT-Paraphrase : Augmentation avec des adversaires de type paraphrase uniquement.
   • AT-BackTrans : Augmentation avec des adversaires de type rétrotraduction uniquement.
   • AT-All : Augmentation avec l'union de toutes les familles d'attaques.

Résultats clés
L'analyse produit trois conclusions principales concernant l'interaction entre les attaques, les défenses et les architectures de modèles :

• Puissance des bases de substitution de mots : Les bases de substitution de mots fortes (spécifiquement BAE) surpassent les recettes de niveau phrase contraintes sémantiquement. BAE a obtenu un ASR résiduel de 54,2 % même contre les modèles entraînés de manière adversaire, contre 21,5 % pour la Rétrotraduction et 15,3 % pour la Paraphrase en bengali. La recette de permutation de mots "One-Hot" s'est révélée largement inefficace (0,2 % d'ASR) sur le bengali, probablement en raison de l'incapacité du remplisseur de masque de XLM-R à produire des substitutions valides en bengali.
• Efficacité de l'entraînement adversaire : L'entraînement adversaire réduit considérablement l'ASR résiduel pour toutes les familles d'attaques. Crucialement, le régime AT-All (entraînement sur l'union de toutes les familles d'attaques) a systématiquement produit l'ASR résiduel le plus bas pour chaque type d'attaque, surpassant l'entraînement par famille unique. Cela suggère que les adversaires partagent des perturbations structurelles et lexicales transférables.
• Disparité de robustesse des modèles : Contrairement à l'attente, les modèles dédiés à la langue ne sont pas nécessairement les plus robustes ; le backbone MuRIL (multilingue indic) s'est avéré nettement plus robuste que les modèles dédiés au bengali (BanglaBERT et BanglishBERT). Par exemple, le taux de succès de l'attaque BAE contre MuRIL était de 40,2 %, alors qu'il était de 64,2 % contre BanglishBERT. Les auteurs attribuent cela au vocabulaire de sous-mots plus large de MuRIL, qui peut diluer les biais au niveau des tokens exploités par les attaques de substitution de mots.

Signification et contributions
Le papier revendique sa signification en comblant une lacune critique dans la sécurité du NLP pour les langues à faibles ressources. Ses contributions spécifiques sont :

1. Premier pipeline unifié : L'introduction de destroR, le premier pipeline associant une suite d'attaques spécifique au bengali à une défense qui restaure mesurablement la robustesse.
2. Nouvelles recettes d'attaques : Le développement de trois recettes d'attaques préservant le sens, adaptées aux contraintes linguistiques du bengali, allant au-delà de la simple injection de bruit pour la régénération sémantique.
3. Benchmark complet : Une matrice de robustesse évaluant cinq modèles à travers quatre jeux de données et cinq attaques, fournissant une base pour les recherches futures.
4. Validation de la défense : La preuve empirique que l'entraînement adversaire, particulièrement lorsqu'il utilise l'union des familles d'attaques, durcit efficacement les classificateurs de sentiments en bengali.
5. Reproductibilité : La publication de tous les modèles victimes, des données adverses et du code avec des graines (seeds) fixes pour assurer une reproductibilité totale.

Les auteurs adoptent une position modeste, reconnaissant des limites telles que l'utilisation d'une seule graine aléatoire, le recours à des métriques de fidélité sémantique automatique (LaBSE) sans validation humaine, et l'inefficacité actuelle de la recette de permutation de mots "One-Hot" sur le bengali. Ils présentent ce travail comme une fondation pour les recherches futures sur la robustesse des modèles de langue en bengali et d'autres langues à faibles ressources, plutôt que comme une solution définitive à toutes les menaces adverses.