Critical-CoT: A Robust Defense Framework against Reasoning-Level Backdoor Attacks in Large Language Models

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 다양한 분야에서 뛰어난 성능을 보이지만, 백도어 공격 (Backdoor Attacks) 에 취약합니다. 기존 연구들은 주로 토큰 수준의 백도어 (특정 단어, 선택지, 클래스를 강제로 출력하도록 유도) 에 집중했으나, 최근 Chain-of-Thought (CoT) 와 같은 추론 능력을 갖춘 모델의 등장으로 새로운 위협이 대두되었습니다.

• 추론 수준 백도어 공격 (Reasoning-Level Backdoor Attacks): 공격자가 입력에 특정 트리거 (Trigger) 를 포함시키면, 모델이 최종 답변은 그럴듯하게 유지하되 CoT(사고 과정) 중간에 악의적인 추론 단계를 삽입하도록 조작하는 공격입니다.
  • ICL 기반 (In-Context Learning): 악성 데모 (Poisoned Demonstrations) 를 프롬프트에 포함시켜 추론 패턴을 학습시킴.
  • FT 기반 (Fine-Tuning): 독성 데이터셋으로 모델을 미세 조정하여 트리거와 악성 추론 간의 단축 경로 (Shortcut) 를 모델 파라미터에 주입함.
• 기존 방어 기법의 한계:
  • 기존 토큰 기반 탐지 (ONION 등) 는 의미적으로 일관된 악성 추론을 탐지하지 못함.
  • CoS (Chain-of-Scrutiny) 는 CoT 와 최종 답변 간의 모순을 찾지만, 백도어 공격은 내부적으로 일관된 거짓 추론을 생성하므로 무력화됨.
  • Thought Purity 등은 ICL 공격에는 효과적이지만 FT 기반 공격에는 일반화되지 않음.

2. 제안 방법론: Critical-CoT

저자들은 LLM 에 비판적 사고 (Critical Thinking) 행동을 부여하여 잠재적 백도어를 자동으로 식별하고 악성 추론 단계를 거부하는 새로운 방어 프레임워크 Critical-CoT를 제안합니다. 핵심은 CTCoT라는 방어용 데이터셋을 구축하고 2 단계 미세 조정 (Fine-Tuning) 전략을 적용하는 것입니다.

2.1 방어용 데이터셋 (CTCoT) 구축

• ICL 공격 방어용 데이터 ($D_{ICL}^{def}$): 악성 데모와 트리거가 포함된 입력을 생성하고, 이를 분석하여 악성 추론 단계를 식별하고 무시하는 '방어적 응답'을 생성합니다.
• FT 공격 방어용 데이터 ($D_{FT}^{def}$): 사용자 쿼리에 다양한 트리거 (문자, 특수 구, 자연어 구문) 를 삽입하고, 이를 탐지하여 무시하는 응답을 생성합니다.
• 청정 데이터 ($D_{clean}$): 과잉 경계 (Over-cautiousness) 를 방지하기 위해 정상적인 입력 - 출력 쌍을 포함시킵니다.

2.2 2 단계 미세 조정 전략

1. 지도 미세 조정 (SFT - Supervised Fine-Tuning):
   • 목적: 모델에 방어적 행동 (비판적 사고) 을 초기화.
   • 방법: $D_{def}$ (방어 데이터) 와 $D_{clean}$ (청정 데이터) 를 혼합하여 학습.
   • 목표: 백도어 입력을 감지하고 악성 추론을 거부하는 능력을 학습시키되, 정상 입력에 대한 성능도 유지.
2. 직접 선호도 최적화 (DPO - Direct Preference Optimization):
   • 목적: SFT 후 모델의 의사결정 경계 (Decision Boundary) 를 강화.
   • 방법: 각 샘플에 대해 '선호 응답' (방어적 응답 또는 정답) 과 '비선호 응답' (백도어 응답 또는 과잉 경계 응답) 을 쌍으로 구성하여 학습.
   • 효과: 실제 트리거가 있을 때는 방어 행동을 강화하고, 정상 입력에서는 오탐 (False Positive) 을 줄여 의사결정 능력을 정교화.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 방어 프레임워크: 추론 수준의 백도어 공격 (ICL 기반 및 FT 기반) 모두에 효과적으로 대응하는 최초의 방어 메커니즘을 제안했습니다.
2. 비판적 사고 능력 부여: 모델이 사용자 프롬프트와 데모를 비판적으로 분석하여 잠재적 위협을 식별하고 악성 추론을 거부하도록 학습시킵니다.
3. 사전 지식 불필요: 공격 트리거, 목표 행동, 또는 독성 전략에 대한 사전 정보 없이도 방어가 가능합니다.
4. 강력한 일반화 능력: 다양한 도메인 (수학, 상식 추론) 과 작업 (개방형, 객관식) 간에 방어 성능이 유지되는 것을 입증했습니다.

4. 실험 결과 (Results)

저자들은 GPT-OSS-20B, Qwen3-14B, LLaMA-2-13B 등 다양한 모델과 GSM8K, MATH, CSQA 데이터셋을 사용하여 실험을 수행했습니다.

• 탐지 및 방어 성능:
  • ICL 기반 공격: 악성 추론 단계 탐지율 (BDR) 9499%, 트리거 탐지율 (TDR) 9298% 달성.
  • FT 기반 공격: 공격 성공률 (ASR) 을 80% 이상에서 방어 후 1% 미만으로 극적으로 감소시킴.
  • 방어 정확도 (ACCd): 공격 상황에서도 모델이 정답을 유지하는 비율이 90% 이상으로 회복됨.
• 기존 기법 대비 우월성:
  • ONION, CoS, Shuffle 등의 기존 방어 기법은 공격 성공률을 60% 이상으로 유지하거나 정상 성능 (Utility) 을 심각하게 저하시켰으나, Critical-CoT 는 낮은 공격 성공률 (<1%) 과 높은 정상 성능 유지를 동시에 달성했습니다.
• 교차 도메인/작업 일반화:
  • 학습 데이터 (예: GSM8K) 와 다른 도메인 (예: MATH) 이나 다른 작업 (객관식 vs 개방형) 에서도 높은 탐지율과 방어 성능을 보였습니다.
• Ablation Study: SFT 만으로는 과잉 경계 문제가 발생하고, DPO 만으로는 방어 지식이 부족함을 확인하였으며, SFT + DPO 조합이 최적의 성능을 보임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 보안 솔루션: 추론 과정에 숨겨진 백도어를 탐지하고 차단하여 LLM 의 신뢰성을 높이는 실용적인 방어 체계를 제시했습니다.
• 비용 효율성: 추론 시마다 복잡한 프롬프팅이나 반복적인 필터링이 필요하지 않으며, 일회성 미세 조정으로 방어 능력을 내재화하여 추론 시 오버헤드가 없습니다.
• 한계 및 향후 과제:
  • 방어용 데이터셋 구축을 위한 추가적인 계산 비용이 필요함.
  • FT 기반 공격 후 모델의 추론 능력 저하를 완전히 복구하는 데는 한계가 있음 (공격 자체로 인한 손상).
  • 명시적 트리거 위주이므로, 의미적/문맥적 트리거 (Semantic Triggers) 에 대한 대응은 향후 연구 과제로 남음.

이 논문은 LLM 의 추론 능력을 악용하는 정교한 백도어 공격에 대응하기 위해 모델의 비판적 사고 능력을 강화하는 새로운 패러다임을 제시하며, 안전하고 신뢰할 수 있는 LLM 배포를 위한 중요한 기여를 하고 있습니다.