destroR: A Benchmark and Adversarial-Training Defense for Bangla Transfer Models under Meaning-Preserving Attacks

기술 요약: destroR: 의미 보존 공격에 대한 방글라어 전이 모델의 벤치마크 및 적대적 훈련 방어

문제 정의
트랜스포머 기반 전이 모델들이 방글라어 감성 분류에서 높은 정확도를 달행했으나, 적대적 공격에 대한 강건성은 거의 검토되지 않은 상태로 남아 있다. 풍부한 어휘 자원과 패러프레이즈 코퍼스가 공격 설계를 용이하게 하는 영어와 달리, 방글라는 적대적 NLP를 위한 저자원 언어이다. 방글라어의 풍부한 형태론, 빈번한 코드 믹싱(code-mixing), 그리고 음차(transliteration) 특성은 인지할 수 없으면서도 의미를 보존하는 섭동(perturbation)을 생성하는 것을 어렵게 만든다. 결과적으로, 방글라 모델의 강건성을 체계적으로 규명하거나, 방글라 특화 공격 스위트와 강건성 회복을 입증하는 방어를 결합한 선행 연구가 존재하지 않는다. 본 연구가 다루는 핵심 질문은 다음과 같다: 방글라 전이 모델은 적대적 공격에 얼마나 강건하며, 적대적 훈련이 그 강건성을 회복할 수 있는가?

방법론
저자들은 방글라 텍스트 분류기를 평가하고 강화하기 위한 통합 파이프라인인 destroR를 소개한다. 방법론은 세 가지 핵심 구성 요소를 중심으로 구조화되어 있다:

1. 의미 보존 공격 레시피 (Meaning-Preserving Attack Recipes):
   본 논문은 단순한 표면적 노이즈 주입이 아니라, 입력값을 섭동시키면서도 유창하고 의미론적으로 충실한 문장을 재생성하도록 설계된 세 가지 특정 공격 전략을 제안한다:

   • 방글라 패러프레이즈 공격 (Bangla Paraphrase Attack): 다양한 맥락 인식 패러프레이즈를 생성하기 위해 미세 조정된 방글라 T5 모델(csebuetnlp/banglat5_banglaparaphrase)을 활용한다. 의미론적 충실도는 LaBSE 코사인 유사도($\tau \ge 0.7$)를 통해 제약된다.
   • 방글라 역번역 공격 (Bangla Back-Translation Attack): TransFool에서 영감을 얻은 이 방법은 방글라 텍스트를 영어로 번역한 후 다시 방글라로 번역하는 양방향 번역 파이프라인(csebuetnlp/banglat5_nmt_en_bn 및 csebuetnlp/banglat5_nmt_bn_en)을 사용한다. 이는 의미를 보존하려는 시도와 동시에 문장 구조와 어휘를 변경하기 위해 정렬(alignment) 차이를 이용한다.
   • 원-핫 워드 스왑 공격 (One-Hot Word-Swap Attack): Leave-one-out 쿼리를 통해 중요한 토큰을 식별하고 이를 마스크드 언어 모델(XLM-RoBERTa-base)을 사용하여 교체하는 그레이박스(gray-box) 수준의 단어 단위 공격이다. 이는 모델의 토큰 수준 편향을 목표로 한다.

2. 강건성 벤치마크 (Robustness Benchmark):
   본 연구는 네 개의 서로 다른 데이터셋(blp23, youtube_sentiment, CogniSenti, BASA_cricket2)에 대해 다섯 개의 전이 모델을 평가한다. 대상 모델(Victim models)은 다음과 같다:

   • 방글라 전용: BanglaBERT, BanglishBERT.
   • 인도 다국어 모델: MuRIL, IndicBERTv2.
   • 일반 다국어 모델: XLM-RoBERTa.

   이 모델들은 동일한 프로토콜 하에 제안된 세 가지 레시피와 두 가지 기성 영어 베이스라인(TextFooler 및 BAE)을 대상으로 테스트된다. 평가 지표는 원래의 올바른 예측이 공격에 의해 뒤집힌 비율인 공격 성공률(Attack Success Rate, ASR)이다.

3. 적대적 훈련 방어 (Adversarial Training Defense):
   모델을 강화하기 위해 저자들은 생성된 적대적 예제를 학습 데이터에 증강하는 적대적 훈련을 채택한다. 세 가지 훈련 체계가 평가된다:

   • AT-Paraphrase: 패러프레이즈 적대적 예제로만 증강.
   • AT-BackTrans: 역번역 적대적 예제로만 증강.
   • AT-All: 모든 공격 제품군의 합집합으로 증강.

주요 결과
분석은 공격, 방어, 모델 아키텍처 간의 상호작 이상의 세 가지 주요 발견을 도출한다:

• 단어 치환 베이스라인의 효능: 강력한 단어 치환 베이스라인(특히 BAE)이 의미론적으로 제약된 문장 수준 레시피보다 우수한 성능을 보인다. BAE는 적대적으로 훈련된 모델에 대해서도 **54.2%**의 잔여 공격 성공률(ASR)을 기록한 반면, 역번역은 21.5%, 방글라 패러프레이즈는 **15.3%**를 기록했다. 원-핫 워드 스왑 레시피는 방글라어에서 매우 효과적이지 못한 것(ASR 0.2%)으로 나타났는데, 이는 XLM-R 마스크 필러(mask-filler)가 유효한 방글라어 치환어를 생성하지 못했기 때문으로 보인다.
• 적대적 훈련의 효과성: 적대적 훈련은 모든 공격 제품군에 대해 잔여 공격 성공률을 유의미하게 낮춘다. 결정적으로, AT-All 체계(모든 공격 제품군의 합집합으로 훈련)는 모든 공격 유형에 대해 가장 낮은 잔여 ASR을 일관되게 보여주었으며, 단일 제품군 훈련보다 우수한 성능을 보였다. 이는 적대적 예제들이 전이 가능한 구조적 및 어휘적 섭동을 공유하고 있음을 시사한다.
• 모델 강건성 격차: 언어 특화 모델이 더 강건할 것이라는 예상과 달리, MuRIL(인도 다국어 모델) 백본이 방글라 전용 모델(BanglaBERT 및 BanglishBERT)보다 현저히 더 강건한 것으로 나타났다. 예를 들어, BanglishBERT에 대한 BAE 공격 성공률은 **64.2%**였던 반면, MuRIL에 대한 BAE 공격 성공률은 **40.2%**였다. 저자들은 이를 MuRIL의 더 넓은 서브워드(sub-word) 어휘 집합이 단어 치환 공격에 의해 악용되는 토큰 수준의 편향을 희석시키기 때문이라고 설명한다.

의의 및 기여
본 논문은 저자원 NLP 보안의 중요한 공백을 메움으로써 그 의의를 주장한다. 구체적인 기여는 다음과 같다:

1. 최초의 통합 파이프라인: 방글라 특화 공격 스위트와 강건성을 측정 가능하게 회복하는 방어를 결합한 최초의 파이프라인인 destroR를 도입하였다.
2. 새로운 공격 레시피: 단순한 노이즈 주입을 넘어 의미론적 재생성을 수행하는, 방글라의 언어적 제약에 맞춘 세 가지 의미 보존 공격 레시피를 개발하였다.
3. 포괄적 벤치마크: 다섯 개의 모델을 네 개의 데이터셋과 다섯 개의 공격에 대해 평가하는 강건성 매트릭스를 제공하여 향후 연구를 위한 베이스라인을 마련하였다.
4. 방어 검증: 적대적 훈련, 특히 모든 공격 제품군을 사용할 때 방글라 감성 분류기를 효과적으로 강화할 수 있다는 경험적 증거를 제시하였다.
5. 재현성: 완전한 재현성을 보장하기 위해 고정된 시드(seed)를 사용하여 모든 대상 모델, 적대적 데이터 및 코드를 공개하였다.

저자들은 단일 랜덤 시드 사용, 인간 검증 없는 자동 의미 충실도 지표(LaBSE)에 대한 의존, 그리고 현재 방글라어에서 원-핫 워드 스왑 레시피의 비효과성 등의 한계를 인정하며 겸허한 입장을 유지한다. 이들은 본 연구를 모든 적대적 위협에 대한 확정적인 해결책이라기보다, 방글라 및 기타 저자원 언어 모델의 강건성에 대한 향후 연구를 위한 토대로 규정한다.