destroR: A Benchmark and Adversarial-Training Defense for Bangla Transfer Models under Meaning-Preserving Attacks

Resumen Técnico: destroR: Un Benchmark y Defensa de Entrenamiento Adversario para Modelos de Transferencia en Bengalí bajo Ataques de Preservación de Significado

Declaración del Problema
Si bien los modelos de transferencia basados en transformadores han logrado una alta precisión en la clasificación de sentimientos en bengalí, su robustez frente a ataques adversarios permanece ampliamente sin examinar. A diferencia del inglés, donde los recursos léxicos extensos y los corpora de paráfrasis facilitan el diseño de ataques, el bengalí es un idioma de bajos recursos para el procesamiento de lenguaje natural (NLP) adversario. Su rica morfología, el frecuente uso de código mixto (code-mixing) y la transliteración dificultan la creación de perturbaciones imperceptibles que preserven el significado. Consecuentemente, no existe una caracterización sistemática de la robustez de los modelos de bengalí, ni ningún estudio previo que vincule un conjunto de ataques específicos para el bengalí con una defensa que demuestre recuperar la robustez. La pregunta central abordada es: ¿Qué tan robustos son los modelos de transferencia de bengalí ante los ataques adversarios, y puede el entrenamiento adversario recuperar esa robustez?

Metodología
Los autores presentan destroR, un flujo de trabajo unificado para evaluar y fortalecer los clasificadores de texto en bengalí. La metodología se estructura en torno a tres componentes principales:

1. Recetas de Ataque de Preservación de Significado:
   El artículo propone tres estrategias de ataque específicas diseñadas para perturbar las entradas mientras se regeneran oraciones fluidas y semánticamente fieles, en lugar de inyectar ruido superficial:

   • Ataque de Paráfrasis en Bengalí: Utiliza un modelo BanglaT5 ajustado (csebuetnlp/banglat5_banglaparaphrase) para generar paráfrasis diversas y conscientes del contexto. La fidelidad semántica se restringe mediante la similitud de coseno de LaBSE ($\tau \ge 0.7$).
   • Ataque de Retrotraducción en Bengalí: Inspirado en TransFool, este método traduce el texto de bengalí al inglés y de vuelta al bengalí utilizando canales de traducción bidireccionales (csebuetnlp/banglat5_nmt_en_bn y csebuetnlp/banglat5_nmt_bn_en). Esto explota las diferencias de alineación para alterar la estructura de la oración y el léxico mientras intenta preservar la semántica.
   • Ataque de Intercambio de Palabras One-Hot: Un ataque de nivel de palabra de caja gris (gray-box) que identifica tokens importantes mediante consultas de "dejar uno fuera" (leave-one-out) y los reemplaza utilizando un modelo de lenguaje con máscara (XLM-RoBERTa-base). Esto apunta a los sesgos a nivel de token del modelo.

2. Benchmark de Robustez:
   El estudio evalúa cinco modelos de transferencia a través de cuatro conjuntos de datos distintos (blp23, youtube_sentiment, CogniSenti, BASA_cricket2). Los modelos víctimas incluyen:

   • Específicos de Bangla: BanglaBERT, BanglishBERT.
   • Multilingües de la India: MuRIL, IndicBERTv2.
   • Multilingües Generales: XLM-RoBERTa.

   Estos modelos son probados contra las tres recetas propuestas y dos líneas base establecidas en inglés (TextFooler y BAE) bajo un protocolo idéntico. La métrica de evaluación es la Tasa de Éxito del Ataque (ASR), definida como la fracción de predicciones originalmente correctas que son invertidas por el ataque.

3. Defensa de Entrenamiento Adversario:
   Para fortalecer los modelos, los autores emplean entrenamiento adversario, aumentando el conjunto de entrenamiento con adversarios generados. Se evalúan tres regímenes de entrenamiento:

   • AT-Paraphrase: Aumento con adversarios de paráfrasis únicamente.
   • AT-BackTrans: Aumento con adversarios de retrotraducción únicamente.
   • AT-All: Aumento con la unión de todas las familias de ataque.

Resultos Clave
El análisis arroja tres hallazgos primarios sobre la interacción entre ataques, defensas y arquitecturas de modelos:

• Potencia de las Líneas Base de Sustitución de Palabras: Las líneas base fuertes de sustitución de palabras (específicamente BAE) superan a las recetas a nivel de oración con restricciones semánticas. BAE logró una Tasa de Éxito de Ataque (ASR) residual del 54.2% incluso contra modelos entrenados adversariamente, comparado con el 21.5% para Retrotraducción y el 15.3% para Paráfrasis en Bengalí. Se encontró que la receta de Intercambio de Palabras One-Hot fue en gran medida ineficaz (0.2% ASR) en bengalí, probablemente debido a la incapacidad del mask-filler de XLM-R para producir sustituciones válidas en bengalí.
• Efectividad del Entrenamiento Adversario: El entrenamiento adversario reduce significativamente el éxito de ataque residual en todas las familias de ataques. Crucialmente, el régimen AT-All (entrenamiento con la unión de todas las familias de ataque) produjo consistentemente la menor ASR residual para cada tipo de ataque, superando al entrenamiento de una sola familia. Esto sugiere que los adversarios comparten perturbaciones estructurales y léxicas transferibles.
• Disparidad de Robustez de los Modelos: Contrario a la expectativa de que los modelos específicos del idioma serían más robustos, el núcleo MuRIL (multilingüe de la India) demostró ser notablemente más robusto que los modelos dedicados al bengalí (BanglaBERT y BanglishBERT). Por ejemplo, la tasa de éxito del ataque BAE contra MuRIL fue del 40.2%, mientras que fue del 64.2% contra BanglishBERT. Los autores atribuyen esto al vocabulario de subpalabras más amplio de MuRIL, que puede diluir los sesgos a nivel de token explotados por los ataques de sustitución de palabras.

Significancia y Contribuciones
El artículo reclama su significancia al abordar una brecha crítica en la seguridad del NLP de bajos recursos. Sus contribuciones específicas son:

1. Primer Flujo de Trabajo Unificado: La introducción de destroR, el primer flujo de trabajo que combina un conjunto de ataques específicos para el bengalí con una defensa que recupera la robustez de manera medible.
2. Nuevas Recetas de Ataque: El desarrollo de tres recetas de ataque de preservación de significado adaptadas a las restricciones lingüísticas del bengalí, yendo más allá de la simple inyección de ruido hacia la regeneración semántica.
3. Benchmark Exhaustivo: Una matriz de robustez que evalúa cinco modelos a través de cuatro conjuntos de datos y cinco ataques, proporcionando una base para investigaciones futuras.
4. Validación de la Defensa: Evidencia empírica de que el entrenamiento adversario, particularmente cuando se utiliza la unión de familias de ataque, endurece eficazmente los clasificadores de sentimiento en bengalí.
5. Reproducibilidad: La liberación de todos los modelos víctimas, datos adversarios y código con semillas fijas para asegurar la plena reproducibilidad.

Los autores mantienen una postura modesta, reconociendo limitaciones como el uso de una única semilla aleatoria, la dependencia de métricas de fidelidad semántica automática (LaBSE) sin validación humana, y la actual ineficacia de la receta de Intercambio de Palabras One-Hot en bengalí. Encuadran su trabajo como una base para la investigación futura sobre la robustez de los modelos de lenguas de bajos recursos y el bengalí, en lugar de una solución definitiva a todas las amenazas adversarias.