destroR: A Benchmark and Adversarial-Training Defense for Bangla Transfer Models under Meaning-Preserving Attacks

Resumo Técnico: destroR: Um Benchmark e Defesa de Treinamento Adversário para Modelos de Transferência de Bangla sob Ataques de Preservação de Significado

Declaração do Problema
Embora modelos de transferência baseados em transformadores tenham alcançado alta precisão na classificação de sentimento em Bangla, sua robustez contra ataques adversários permanece amplamente não examinada. Ao contrário do inglês, onde recursos lexicais extensos e corpora de paráfrase facilitam o design de ataques, o Bangla é uma língua de baixos recursos para o processamento de linguagem natural (NLP) adversário. Sua rica morfologia, o frequente uso de código misto (code-mixing) e a transliteração tornam difícil a criação de perturbações imperceptíveis e que preservem o significado. Consequentemente, não há uma caracterização sistemática da robustez dos modelos de Bangla, nem qualquer estudo prévio que acople um conjunto de ataques específicos para Bangla com uma defesa comprovada para recuperar a robustez. A questão central abordada é: Quão robustos são os modelos de transferência de Bangla aos ataques adversários, e pode o treinamento adversário recuperar essa robustência?

Metodologia
Os autores introduzem o destroR, um pipeline unificado para avaliar e endurecer classificadores de texto em Bangla. A metodologia é estruturada em torno de três componentes principais:

1. Receitas de Ataque de Preservação de Significado:
   O artigo propõe três estratégias de ataque específicas projetadas para perturbar entradas enquanto regeneram sentenças fluentes e semanticamente fiéis, em vez de injetar ruído superficial:

   • Ataque de Paráfrase de Bangla: Utiliza um modelo BanglaT5 ajustado (csebuftnlp/banglat5_banglaparaphrase) para gerar paráfrases diversas e conscientes do contexto. A fidelidade semântica é restringida usando a similaridade de cosseno do LaBSE ($\tau \ge 0.7$).
   • Ataque de Retrotradução de Bangla: Inspirado no TransFool, este método traduz o texto de Bangla para o inglês e de volta para o Bangla usando pipelines de tradução de duas vias (csebuftnlp/banglat5_nmt_en_bn e csebuftnlp/banglat5_nmt_bn_en). Isso explora as diferenças de alinhamento para alterar a estrutura e o léxico da sentença enquanto tenta preservar a semântica.
   • Ataque de Troca de Palavras One-Hot: Um ataque de nível de palavra de caixa cinza (gray-box) que identifica tokens importantes via consultas leave-one-out e os substitui usando um modelo de linguagem mascarada (XLM-RoBERTa-base). Isso visa os vieses de nível de token do modelo.

2. Benchmark de Robustez:
   O estudo avalia cinco modelos de transferência em quatro conjuntos de dados distintos (blp23, youtube_sentiment, CogniSenti, BASA_cricket2). Os modelos vítimas incluem:

   • Dedicados ao Bangla: BanglaBERT, BanglishBERT.
   • Multilíngues de Indic: MuRIL, IndicBERTv2.
   • Multilíngue Geral: XLM-RoBERTa.

   Esses modelos são testados contra as três receitas propostas e dois basais de inglês estabelecidos (TextFooler e BAE) sob um protocolo idêntico. A métrica de avaliação é a Taxa de Sucesso de Ataque (ASR), definida como a fração de previsões originalmente corretas invertidas pelo ataque.

3. Defesa de Treinamento Adversário:
   Para endurecer os modelos, os autores empregam treinamento adversário, aumentando o conjunto de treinamento com adversários gerados. Três regimes de treinamento são avaliados:

   • AT-Paraphrase: Aumento apenas com adversários de paráfrase.
   • AT-BackTrans: Aumento apenas com adversários de retrotradução.
   • AT-All: Aumento com a união de todas as famílias de ataque.

Resultados Principais
A análise produz três descobertas primárias sobre a interação entre ataques, defesas e arquiteturas de modelos:

• Potência das Basais de Substituição de Palavras: Basais fortes de substituição de palavras (especificamente BAE) superam as receitas de nível de sentença semanticamente restritas. O BAE alcançou uma Taxa de Sucesso de Ataque (ASR) residual de 54,2% mesmo contra modelos treinados adversariamente, comparado a 21,5% para Retrotradução e 15,3% para Paráfrase de Bangla. A receita de Troca de Palavras One-Hot foi considerada amplamente ineficaz (0,2% ASR) para Bangla, provavelmente devido à incapacidade do preenchedor de máscara do XLM-R em produzir substituições válidas em Bangla.
• Efetividade do Treinamento Adversário: O treinamento adversário reduz significativamente o sucesso de ataque residual em todas as famílias de ataque. Crucialmente, o regime AT-All (treinamento na união de todas as famílias de ataque) consistentemente rendeu o menor ASR residual para cada tipo de ataque, superando o treinamento de família única. Isso sugere que os adversários compartilham perturbações estruturais e lexicais transferíveis.
• Disparidade de Robustez de Modelo: Contrariando a expectativa de que modelos específicos de linguagem seriam mais robustos, o backbone MuRIL (multilíngue de Indic) provou ser marcadamente mais robusto que os modelos dedicados ao Bangla (BanglaBERT e BanglishBERT). Por exemplo, a taxa de sucesso de ataque do BAE contra o MuRIL foi de 40,2%, enquanto foi de 64,2% contra o BanglishBERT. Os autores atribuem isso ao vocabulário de sub-palavras mais amplo do MuRIL, que pode diluir os vieses de nível de token explorados pelos ataques de substituição de palavras.

Significância e Contribuições
O artigo reivindica significância ao abordar uma lacuna crítica na segurança de NLP de baixos recursos. Suas contribuições específicas são:

1. Primeiro Pipeline Unificado: A introdução do destroR, o primeiro pipeline que combina um conjunto de ataques específicos para Bangla com uma defesa que recupera a robustez de forma mensurável.
2. Novas Receitas de Ataque: O desenvolvimento de três receitas de ataque de preservação de significado adaptadas às restrições linguísticas do Bangla, indo além da simples injeção de ruído para a regeneração semântica.
3. Benchmark Abrangente: Uma matriz de robustez avaliando cinco modelos em quatro conjuntos de dados e cinco ataques, fornecendo uma base para pesquisas futuras.
4. Validação de Defesa: Evidência empírica de que o treinamento adversário, particularmente quando utiliza a união de famílias de ataque, endurece efetivamente os classificadores de sentimento em Bangla.
5. Reprodutibilidade: O lançamento de todos os modelos vítimas, dados adversários e código com sementes fixas para garantir a reprodutibilidade total.

Os autores mantêm uma postura modesta, reconhecendo limitações como o uso de uma única semente aleatória, a dependência de métricas de fidelidade semântica automática (LaBSE) sem validação humana, e a atual ineficácia da receita de Troca de Palavras One-Hot para Bangla. Eles enquadram o trabalho como uma fundação para pesquisas futuras na robustez de modelos de Bangla e outras línguas de baixos recursos, em vez de uma solução definitiva para todas as ameaças adversárias.