기술 요약: 형태통사적 연계를 기반으로 한 티베트어 단어 수준 적대적 샘플 생성 연구

문제 정의

DEEPZANG, YangGuang QingYan과 같은 대규모 언어 모델의 등장으로 티베트어 지능형 정보 처리 기술이 크게 발전했으나, 영어 및 중국어에 비해 이러한 모델들의 보안성과 강건성에 대한 적대적 공격 연구는 여전히 미흡한 상태이다. 기존의 티베트어 적대적 공격 방법들은 주로 음절 단위 또는 글자 단위의 섭동(예: 음절 교체, 삽입, 삭제)에 의존한다. 이러한 접근 방식의 결정적인 한계는 티베트어의 문법 규범, 특히 기능어(격, 소유, 위치 등을 나타내는 조사 등)를 관장하는 규칙을 간과한다는 점이다.

기존 방식들이 형태통사적 연계를 준수하지 않은 채 단어 수준의 치환을 수행할 경우, 생성된 적대적 샘플은 문장 논리가 깨지거나 문법 규칙이 유효하지 않게 되는 경우가 많다. 예를 들어, 티베트어에서 내용어를 교체할 때는 문법적 적법성을 유지하기 위해 후속 기능어(예: 속격, 능격, 처격 조사 등)의 변화가 수반되어야 한다. 이러한 기능어를 업데이트하지 못하면 적대적 샘플은 언어적으로 무효하게 되어, 샘플의 효과와 품질을 저하시킨다.

방법론: TWLAS-BMSL

본 논문은 고품질의 문법적으로 올바른 적대적 예제를 생성하기 위해 설계된 TWLAS-BMSL(형태통사적 연계 기반 티베트어 단어 수준 적대적 샘플 생성) 방식을 제안한다. 이 프레임워크는 화이트박스 공격 패러다임 하에서 작동하며, 네 가지 핵심 단계로 구성된다:

1. 무작위 단어 섭동 (Random Word Perturbation):

   • 구축된 티베트어 의미소 지식 베이스(32,745개의 항목 포함)를 활용하여 원문 내의 내용어를 식별한다.
   • 해당 단어들을 지식 베이스 내의 의미적으로 유사한 대안들과 무작위로 매칭한다.
   • 단일 단어 교체를 수행하여 원래의 의미를 최대한 보존하면서 섭동된 텍스트를 생성한다.

2. 기능어 탐지 및 수정 (Function Word Detection and Correction):

   • 티베트어의 깊은 의미 관계가 기능어를 통해 조직된다는 점을 인식하여, 기능어 부착 탐지 및 수정 알고리즘을 채택한다.
   • 키워드가 교체되면, 알고리즘은 새로운 단어의 문법적 범주(예: 해당 단어가 주어 역할을 하는지 또는 특정 격 표지를 필요로 하는지 여부)를 동적으로 분석한다.
   • 티베트어 문법 규칙(특히 접미사 글자에 관한 '삼십 구절' 규칙)에 맞춰 후속 기능어(속격, 능격, 처격 및 인칭 명사 접미사)를 자동으로 업데이트한다.

3. 재구성 (Reconstruction):

   • 시스템은 의미적으로 유사한 키워드와 문법적으로 수정된 기능어를 통합하여 문장을 재구성한다.

4. 공격 실행 (Attack Execution):

   • 최종적으로 재구성된 적대적 샘플을 대상 모델에 입력하여 오분류를 유도한다.

주요 기여

저자들은 세 가지 주요 기여를 강조한다:

• 형태통사적 연계 방법: 기능어가 교체된 내용어에 맞춰 자동으로 적응하도록 보장하는 형태통사적 연계를 명시적으로 포함한 단어 수준의 적대적 생성 방법을 제안하였다. 이는 화이트박스 섭동 공격에 대한 티베트어 언어 모델의 강건성을 향상시킨다.
• 자동 적응 알고리즘: 섭동 과정 중 티베트어 기능어를 자동 적응 및 업데이트하기 위한 기준과 알고리즘을 수립하여, 기존의 중국어 및 영어 중심 공격 전략의 공백을 메웠다.
• 티베트어 의미소 지식 베이스: 티베트어 단어 수준 적대적 실험을 용이하게 하기 위해 설계된 32,745개의 항목을 포함하는 특화된 티베트어 의미소 지식 베이스를 구축하였다.

실험 결과

본 연구는 텍스트 분류 및 감성 분석 작업을 다루는 네 가지 데이터셋(TNCC, TU_SA, QHNUTSA, MZUCTSA)에서 TWLAS-BMSL 방법을 평가하였다. 대상 모델에는 TiBERT, CINO-base-v2, CINO-large가 포함되었다.

• 공격 효과성:

  • 이 방법은 모델 전반에 걸쳐 평균 정확도 하락(ADV) **2.69%**를 유발하였다.
  • 평균 **공격 성공률(ASR)**은 **28.83%**에 달했다.
  • 평균 **레벤슈타인 거리(LD)**는 **6.80%**로, 공격이 효과를 발휘하기 위해 비교적 작은 섭동이 필요했음을 나타낸다.
  • CINO-base-v2 모델이 공격에 가장 높은 민감도를 보였으며, CINO-large는 가장 강력한 강건성을 입증하였다.

• 문법 수정 성능:

  • 기능어의 자동 적응 및 오류 수정 작업에서, 본 방법은 세 가지 핵심 지표에서 **100%**를 달성하였다:
    • 기능어 오류 탐지율.
    • 전체 정확도.
    • 완전한 오류 문장 수정 성공률.

• 정성적 분석:

  • 형태통사적 연계가 없는 경우, 생성된 샘플은 종종 문장 논리를 깨뜨리는 문법적 오류를 포함하였다. 제안된 방법을 사용하면 적대적 샘플은 문법적 엄밀함을 유지하면서도 대상 모델을 성공적으로 기만할 수 있었다.

의의 및 주장

본 논문은 제안된 TWLAS-BMSL 방법이 기존 티베트어 적대적 공격의 문제점인 "부정확한 통사적 논리"를 효과적으로 해결한다고 주장한다. 내용어 치환과 동시에 기능어가 업데이트되도록 보장함으로써, 생성된 샘플의 문법적 논리적 엄밀함을 보장한다.

저자들은 이 접근 방식이 모델을 잘못된 분류 결정으로 유도할 뿐만 아니라, 적대적 예제의 텍스트 품질을 보장하여 문법적 정확성 측면에서 자연어와 구별되지 않게 만든다고 단언한다. 이는 티베트어 대규모 언어 모델의 보안성과 강건성을 향고하기 위한 중요한 단계로 제시된다.

논문은 구축된 의미소 지식 베이스의 제한된 규모(32,745개 항목)와 테스트를 위한 티베트어 특화 대규모 모델의 부족과 같은 한계를 인정하며 겸허히 결론을 맺는다. 향후 과제로 이 방법을 티베트어 대규모 모델에 적용하여 간섭 방지 능력을 더욱 강화할 것을 제안한다.