기술 요약: 자연어 이해 작업을 위한 하이브리드 적대적 방어 (Hybrid Adversarial Defence for Natural Language Understanding Tasks)

문제 정의

대규모 언어 모델(LLM)은 두 가지 결정적이지만 흔히 별개로 취급되는 취약성에 직면해 있습니다: 환각(hallucination) (확신에 차 있지만 사실과 다르거나 무의미한 응답을 생성하는 현상) 및 적대적 취약성(adversarial vulnerability) (악의적인 입력 섭동, 프롬프트 인젝션, 탈옥 공격에 대한 취약성). 기존의 방어 메커니즘은 일반적으로 이러한 문제들을 개별적으로 다룹니다. 또한, 서로 다른 방어 클래스(예: 엔트로피 기반, 불확실성 기반, 기하학적 기반)는 고유한 오차 분포를 가집니 다. 저자들은 이러한 다양한 방어 전략을 동적으로 선택하거나 결합할 수 있는 통합 프레임워크가 단일 특징 접근 방식보다 자연어 이해(NLU) 작업에서 더 우수한 강건성을 제공할 수 있다고 주장합니다.

방법론

본 논문은 세 가지 서로 다른 전문가 모델과 학습 가능한 라우팅 메커즘을 통합하는 하이브리드 적대적 방어 프레임워크를 제안합니다. 아키텍처는 다음과 같이 구성됩니다:

1. 세 가지 전문가 방어 모델:

   • 엔트로피 기반 모델 (Entropy-Based Model): Yao 등(2023)의 연구에 착안하여, 이 모델은 첫 번째 예측 토큰의 소프트맥스(softmax) 분포의 엔트로피를 모니터링함으로써 적대적 입력을 탐지합니다. 높은 엔트로피는 불확실성이나 적대적 섭동을 나타내며, 이는 답변 거부를 유도합니다. 보편적인 임계값 대신, 이 구현체는 데이터셋 특화 임계값을 사용합니다.
   • 불확실성 기반 모델 (Uncertainty-Based Model): Zhang 등(2024)과 R-Tuning에서 영감을 받은 이 모델은 지식 경계를 인식하도록 미세 조정되었습니다. 이 모델은 입력을 "확실한 것"(사전 학습된 지식과 지시 미세 조정된 지식의 교집합 내에 있음)과 "불확실한 것"(이 교집합 외부에 있음)으로 분류합니다. 추론 시, 이 모델은 불확실성 평가 프롬프트를 추가하여 보정된 신뢰 점수를 생성하며, 이를 통해 확신이 없을 때 답변을 거부할 수 있게 합니다.
   • 기하학 기반 모델 (Geometric-Based Model): PURE 알고리즘(Wang 등, 2025)을 기반으로 하는 이 모델은 임베딩 공간을 변환하여 강건성을 향상시킵니다. 이 모델은 특이값 분해(SVD)를 통한 주성분 제거(Principal Component Removal, PCR)를 사용하여, 적대자에 의해 자주 악용되는 주요 방향을 제거합니다. 효율성을 위해 랜덤 SVD를 사용하며, 문장 표현을 위해 평균 풀링(mean pooling)을 활용합니다.

2. 결합 메커니즘 (Aggregation Mechanisms):
   프레임워크는 31개의 추출된 특징(텍스트 통계, 엔트로피, 불확실성, 기하학적 속성, 도메인 인코딩 및 전문가 간 패턴 포함)을 기반으로 입력을 전문가에게 전달하는 **선택 네트워크(Selector Network)**를 채택합니다. 두 가지 결합 전략이 평가됩니다:

   • ML 라우팅 (ML Routing, 하드 선택): 피드포워드 네트워크가 입력 인스턴스당 하나의 전문가($k \in \{rt, llm, pure\}$)를 선택합니다.
   • LWV 퓨전 (LWV Fusion, 소프트 결합): 피드포워드 네트워크가 전문가들에 대한 확률 분포를 생성하며, 최종 예측은 전문가 출력들의 가중 합으로 이루어집니다.

주요 기여

1. 최초의 하이브리드 프레임워크: 본 연구는 엔트로피 기반, 불확실성 기반, 기하학 기반 특징을 결합하여 적대적 방어 모델을 선택하거나 결합하는 최초의 접근 방식을 제시하며, 환각 감소와 적대적 방어 사이의 간극을 메웁니다.
2. 포괄적인 평가: 본 연구는 다음 항목들에 대해 엄격한 분석을 제공합니다:
   • 도메인 내 NLU 작업: FEVER, HotpotQA, CSQA, SIQA.
   • 도메인 외(OOD) 작업: AeroEngQA, CPIQA.
   • 시퀀스 기반 공격: 프롬프트 인젝션(SafeGuard) 및 탈옥 시도(AdvBench, DAN).
3. 오픈 소스 공개: 재현성을 보장하기 위해 모델과 코드를 공개합니다.

결과

도메인 내 성능

• 클린 태스크 성능: 하이브리드 모델은 베이스라인인 LLaMa3-8B 모델에 비해 클린 데이터에 대한 정확도를 크게 향상시켰습니다. ML 라우팅 방식이 가장 높은 이득을 얻었으며, 정확도가 최대 43.34% 향상되었습니다 (예: CSQA).
• 적대적 강건성: 적대적 공격(TextAttack 프레임워크) 하에서 하이브리드 모델은 단일 방어 베이스라인(FreeLB, 개별 전문가 모델)보다 뛰어난 성능을 보였습니다.
  • 정확도 향상: 베이스라인 모델 대비 최대 64.92% 향상.
  • 공격 성공률(ASR) 감소: ASR을 최대 62.27% 감소시킴.
  • 비교: 기하학적 특징이 강력할 때 정보가 담긴 특징의 희석을 방지하는 하드 선택 방식 덕분에, ML 라우팅이 일반적으로 LWV 퓨전보다 우수한 성능을 보였습니다.

도메인 외(OOD) 성능

• 하이브리드 모델은 OOD 데이터셋(AeroEngQA, CPIQA)에 대해 강력한 일반화 능력을 보여주었습니다.
• 정확도 향상: 공격 상황에서 베이스라인 대비 정확도가 최대 57.14% 향상되었습니다.
• ASR 감소: ML 라우팅은 AeroEngQA에서 33.00%, CPIQA에서 25.89%로 공격 성공률을 낮추었습니다.

프롬프트 인젝션 및 탈옥 탐지

• 프롬프트 인젝션 (SafeGuard): ML 라우팅은 82.65%의 정확도와 90.38%의 거부율을 달성하였으며, 이는 낮은 재현율(recall)을 보인 ProtectAI v1이나 낮은 정밀도(precision)를 보인 NeMoGuard와 같은 특화된 베이스라인을 크게 상회하는 수치입니다.
• 탈옥 (AdvBench, DAN): 하이브리드 모델은 견고한 성능을 보이며 ASR을 최첨단 베이스라인 대비 최대 51% 감소시켰습니다.
  • AdvBench에서 ML 라우팅은 2.69%의 ASR을 달 기록했습니다.
  • DAN의 경우, 해당 데이터셋에 최적화된 NeMoGuard가 가장 좋은 성능을 보였으나, 하이브리드 모델 역시 경쟁력 있는 성능을 유지했습니다.

의의 및 주장

저자들은 엔트로피, 불확실성, 기하학적 특징을 결합하는 것이 단일 특징에 의존하는 것보다 더 효과적인 방어 전략을 제공한다고 주장합니다. 하이브리드 접근 방식의 의의는 다음과 같습니다:

• 클린 태스크 성능(환각 감소)을 개선하는 동시에 적대적 강건성을 동시에 강화합니다.
• 도메인 내, 도메인 외, 시퀀스 기반 공격 시나리오 전반에 걸쳐 효과적으로 일반화됩니다.
• 상호 보완적인 메커니즘을 활용합니다: 엔트로피 및 불확실성 모델은 선택적 거부(환각 및 미지의 영역 처리)를 가능하게 하는 반면, 기하학 모델은 확신 점수를 반드시 변경하지 않고도 섭동에 저항하도록 표현 공간을 변환합니다.

본 논문은 현재 프레임워크가 "블랙박스" 라우터를 사용하고 있지만, 이러한 다양한 특징의 통합이 LLM을 보호하기 위한 강력하고 도메인 불변적인 접근 방식을 제공한다고 결론짓습니다. 향후 연구 과제로 하이브리드 파이프라인에 대한 적응형 공격(adaptive attacks) 및 통합된 멀티 헤드 방어 아키텍처 탐색을 제안합니다.