destroR: A Benchmark and Adversarial-Training Defense for Bangla Transfer Models under Meaning-Preserving Attacks

Technische Samenvatting: destroR: Een Benchmark en Adversarial-Training Defensie voor Bangla Transfermodellen onder Betekenisbehoudende Aanvallen

Probleemstelling
Hoewel transformer-gebaseerde transfermodellen een hoge nauwkeurigheid hebben bereikt in de Bangla sentimentclassificatie, blijft hun robuustheid tegen adversarial aanvallen grotendeels ononderzocht. In tegen tegenstelling tot het Engels, waar uitgebreide lexicale bronnen en parafras corpora het ontwerp van aanvallen vergemakkelijken, is Bangla een low-resource taal voor adversarial NLP. De rijke morfologie, frequente code-mixing en transliteratie maken het creëren van onmerkbare, betekenisbehoudende perturbaties moeilijk. Gevolglik is er geen systematische karakterisering van de robuustheid van Bangla-modellen, noch is er een eerdere studie die een Bangla-specifieke aanvalssuite koppelt aan een defensie die bewezen robuustheid herstelt. De centrale vraag die wordt geadresseerd is: Hoe robuust zijn Bangla transfermodellen tegen adversarial aanvallen, en kan adversarial training die robuustheid herstellen?

Methodologie
De auteurs introduceren destroR, een verenigde pipeline voor het evalueren en verharden van Bangla tekstclassifiers. De methodologie is gestructureerd rond drie kerncomponenten:

1. Betekenisbehoudende Aanvalsrecepten:
   Het artikel stelt drie specifieke aanvalsstrategieën voor die ontworpen zijn om inputs te verstoren terwijl ze vloeiende, semantisch getrouwe zinnen regenereren, in plaats van oppervlakkige ruis te injecteren:

   • Bangla Paraphrase Attack: Maakt gebruik van een gefinetunede BanglaT5 model (csebuetnlp/banglat5_banglaparaphrase) om diverse, contextbewuste parafrases te genereren. Semantische getrouwheid wordt beperkt met LaBSE cosine similarity ($\tau \ge 0.7$).
   • Bangla Back-Translation Attack: Geïnspireerd door TransFool, deze methode vertaalt Bangla tekst naar het Engels en terug naar het Bangla met tweezijdige vertaalpipelines (csebuetnlp/banglat5_nmt_en_bn en csebuotnlp/banglat5_nmt_bn_en). Dit exploiteert alignment-verschillen om zinstructuur en lexicon te wijzigen terwijl geprobeerd wordt de semantiek te behouden.
   • One-Hot Word-Swap Attack: Een gray-box, woordniveau aanval die belangrijke tokens identificeert via leave-one-out queries en deze vervangt met behulp van een masked language model (XLM-RoBERTa-base). Dit richt zich op token-niveau biases van het model.

2. Robuustheidsbenchmark:
   De studie evalueert vijf transfermodellen over vier verschillende datasets (blp23, youtube_sentiment, CogniSenti, BASA_cricket2). De victim modellen zijn:

   • Bangla-specifiek: BanglaBERT, BanglishBERT.
   • Indic-multilinguaal: MuRIL, IndicBERTv2.
   • Algemeen-multilinguaal: XLM-RoBERTa.

   Deze modellen worden getest tegen de drie voorgestelde recepten en twee gevestigde Engelse baselines (TextFooler en BAE) onder een identiek protocol. De evaluatiemetriek is de Attack Success Rate (ASR), gedefinieerd als het deel van de oorspronkelijk correcte voorspellingen die door de aanval is omgegooid.

3. Adversarial Training Defensie:
   Om de modellen te harden, gebruiken de auteurs adversarial training, waarbij de trainingsset wordt uitgebreid met gegenereerde adversaries. Drie trainingsregimes worden geëvalueerd:

   • AT-Paraphrase: Augmentatie met alleen paraphrase adversaries.
   • AT-BackTrans: Augmentatie met alleen back-translation adversaries.
   • AT-All: Augmentatie met de unie van alle aanvalfamilies.

Belangrijkste Resultaten
De analyse levert drie primaire bevindingen op met betrekking tot de interactie tussen aanvallen, defensies en modelarchitecturen:

• Potentie van Woordvervangings-baselines: Sterke woordvervangings-baselines (specifiek BAE) presteren beter dan de semantisch beperkte zinsniveau-recepten. BAE bereikte een residuele Attack Success Rate (ASR) van 54,2% zelfs tegen adversarially getrainde modellen, vergeleken met 21,5% voor Back-Translation en 15,3% voor Bangla Paraphrase. Het One-Hot Word-Swap recept werd als grotendeels ineffectief beschouwd (0,2% ASR) op Bangla, waarschijnlijk door het onvermogen van de XLM-R mask-filler om geldige Bangla substituties te produceren.
• Effectiviteit van Adversarial Training: Adversarial training verlaagt de residuele aanvalssucces significant over alle aanvalfamilies. Cruciaal is dat het AT-All regime (training op de unie van alle aanvalfamilies) consistent de laagste residuele ASR opleverde voor elk type aanval, wat beter presteerde dan single-family training. Dit suggereert dat adversaries gedeelde overdraagbare structurele en lexicale perturbaties delen.
• Dispariteit in Modelrobuustheid: Tegen de verwachting in dat taal-specifieke modellen robuuster zouden zijn, bleek het MuRIL (Indic-multilinguale) backbone merkbaar robuuster dan de Bangla-specifieke modellen (BanglaBERT en BanglishBERT). Bijvoorbeeld, de BAE aanvalssuccesrate tegen MuRIL was 40,2%, terwijl het 64,2% was tegen BanglishBERT. De auteurs schrijven dit toe aan MuRIL's bredere sub-word vocabulaire, wat de token-niveau biases die door woordvervangingsaanvallen worden geëxploiteerd, kan verwateren.

Betekenis en Bijdragen
Het artikel claimt betekenis door een kritieke kloof in de beveiliging van low-resource NLP te adresseren. De specifieke bijdragen zijn:

1. Eerste Verenigde Pipeline: De introductie van destroR, de eerste pipeline die een Bangla-specifieke aanvalssuite koppelt aan een defensie die meetbaar robuustheid herstelt.
2. Nieuwe Aanvalsrecepten: De ontwikkeling van drie betekenisbehoudende aanvalsrecepten afgestemd op de linguïstische beperkingen van Bangla, bewegend van eenvoudige ruisinjectie naar semantische regeneratie.
3. Uitgebreide Benchmark: Een robuustheidsmatrix die vijf modellen evalueert over vier datasets en vijf aanvallen, wat een baseline biedt voor toekomstig onderzoek.
4. Defensie Validatie: Empirisch bewijs dat adversarial training, met name wanneer een unie van aanvalfamilies wordt gebruikt, Bangla sentimentclassifiers effectief verhardt.
5. Reproduceerbaarheid: De release van alle victim modellen, adversariële data, en code met vaste seeds om volledige reproduceerbaarheid te garanderen.

De auteurs nemen een bescheiden standpunt in, waarbij zij beperkingen erkennen zoals het gebruik van een enkele random seed, de afhankelijkheid van automatische semantische getrouwheidsmetingen (LaBSE) zonder menselijke validatie, en de huidige ineffectiviteit van het One-Hot Word-Swap recept op Bangla. Zij kaderen het werk als een fundament voor toekomstig onderzoek naar de robuustheid van Bangla en andere low-resource taalmodellen, in plaats van een definitieve oplossing voor alle adversarial dreigingen.