Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs

기술 요약: 생성형 LLM을 위한 방어책으로서의 더미 백도어 (Dummy Backdoor)

문제 정의
백도어 공격은 대규모 언어 모델(LLM)의 안전성과 신뢰성에 심각한 위협이 됩니다. 이러한 공격에서 공격자는 학습 데이터를 오염시켜, 특정된 숨겨진 트리거가 존재할 때만 모델이 정상적인 입력에는 정상적으로 반응하다가 공격자가 지정한 응답을 생성하도록 만듭니다. 이러한 "알 수 없는" 백도어를 제거하는 것은 매우 까다로운데, 그 이유는 방어자가 트리거의 형태(예: 특정 단어, 텍스트 스타일 또는 구문 패턴)를 알 수 없으며, 백도어 학습 과정 중에 형성된 내부 메커니즘을 직접 제어할 수 없기 때문입니다. 기존의 방어 방법들은 모델의 일반적인 유용성을 크게 저하시키지 않으면서 이러한 백도어를 충분히 억제하는 데 실패하는 경우가 많습니다.

방법론
저자들은 서로 다른 백도어 간의 "공유된 내부 메커니즘(shared internal mechanisms)"을 활용하는 새로운 방어 전략을 제안합니다. 핵심 직관은 동일한 목적(예: 탈옥/jailbreaking)을 겨냥한 서로 다른 백도어들은 표면적인 트리거가 다르더라도 모델 내에서 유사한 내부 활성화 경로에 의존한다는 것입니다.

**더미 백도어 방어(Dummy Backdoor Defense)**라고 명명된 이 제안된 방법은 두 단계로 작동합니다:

1. 더미 백도어 삽입: 방어자는 알려진 트리거($t_d$)와 타겟 동작(예: 유해한 응답 생성)을 사용하여 모델에 의도적으로 "더미 백도어"를 삽로합니다. 이를 통해 모델 내에 제어 가능한 백도어($D_{dummy}$)를 생성합니다.

   • 학습 시 설정 (Training-time Setting): 방어자는 더미 데이터셋을 수집된 (잠재적으로 오염된) 학습 데이터와 혼합합니다.
   • 사후 학습 설정 (Post-training Setting): 방어자는 이미 오염된 모델을 더미 데이터셋으로 미세 조정(fine-tuning)합니다.

2. 더미 백도어 제거: 그 후 방어자는 "제거 데이터셋"($D_{removal}$)을 사용하여 추가적인 미세 조정을 수행합니다. 이 데이터셋에서 더미 트리거를 포함하는 입력은 깨끗하고 안전하거나 도움이 되는 응답(예: 유해한 요청에 대한 거절)과 쌍을 이룹니다.

   • 가설은 더미 백도어를 제거함으로써, 모델이 더미 백도어와 알 수 없는 백도어 모두가 의존하는 공유된 내부 메커니즘을 업데이트하게 된다는 것입니다. 결과적으로 알 수 없는 백도어도 함께 억제됩니다.

주요 기여 및 분석

• 메커니즘 유사성 분석: 저자들은 먼저 서로 다른 백도어가 모델의 내부 레이어 활성화에서 유사한 "트리거 활성화 변화(Trigger-Activated Changes, TACs)"를 유도한다는 것을 입증했습니다. 코사인 유사도를 사용하여, 동일한 공격 목적을 가진 백도어들은 (BadNets, Style, Syntax와 같이 트리거 유형이 다르더라도) 특히 모델의 중간 및 후기 레이어에서 높은 활성화 유사성을 보임을 보여주었습니다. 이는 서로 다른 백도어가 내부 메커니즘을 공유함을 확인시켜 줍니다.
• 이중 설정 적용 가능성: 이 방법은 학습 시 방어(방어자가 모델을 학습시키는 경우)와 사후 학습 방어(방어자가 사전 학습된 모델을 받는 경우) 모두에서 작동하도록 설계되었습니다.
• 제어 가능한 프록시: 본 논문은 알려지지 않은 위협을 간접적으로 완화하기 위해 방어자가 제어할 수 있는 백도어를 프록시로 사용하는 개념을 도입하여, 알 수 없는 트리거를 식별해야 하는 필요성을 우회합니다.

실험 결과
이 방법은 여러 모델 제품군(Llama-3.1-8B, Qwen2.5-7B, Mistral-7B)과 세 가지 공격 유형(BadNets, Style, Syntax)에 대해 탈옥 작업에서 평가되었습니다.

• 공격 성공률(ASR) 감소: 제안된 방법은 알 수 없는 백도어의 ASR을 실질적으로 감소시켰습니다. 많은 경우, 제거 단계 이후 ASR이 (더미 트리거에 대해서만 미세 조정을 수행했음에도 불구하고) 거의 제로 수준(예: ~1.01% 또는 0.00%)으로 떨어졌습니다.
• 유용성 보존: 모델 성능을 심각하게 저하시키는 기존의 방어법들과 달리, 제안된 방법은 모델의 유용성 점수(MT-Bench로 측정)를 보존하거나 오히려 약간 향상시켰습니다.
• 기존 방어법과의 비교: 다섯 가지 기존 방어 방법(Fine-Tuning, Pruning, Quantization, CROW, BEEAR 포함)과 비교했을 때, 제안된 방법은 백도어 제거 효과와 유용성 보존 측면 모두에서 우수한 성능을 보였습니다. 예를 들어, BEEAR는 BadNets에 대한 ASR을 줄였으나 유용성 점수가 1.59로 급락하는 치명적인 결과를 초래했으며, Style 기반 백도어에는 대응하지 못했습니다.
• 강건성: 이 방법은 다양한 조건에서도 효과적이었습니다:
  • 다중 알 수 없는 백도어: 여러 개의 동시 알 수 없는 백도어(BadNets, Style, Syntax)를 성공적으로 억제했습니다.
  • 다양한 작업: NegSentiment 작업에서도 효과적이었으며, 이는 탈옥 시나리오 이상의 적용 가능성을 입증합니다.
  • 미세 조정 알고리즘: LoRA와 풀 파라미터 미세 조정(full-parameter fine-tuning) 모두에서 작동했습니다.

의의 및 주장
본 논문은 방어자가 제어할 수 있는 백도어가 생성형 LLM에서 알 수 없는 백도어를 완화하기 위한 효과적인 프록시 역할을 할 수 있다고 주장합니다. 이 연구의 의의는 방어 패러다임을 "알 수 없는 트리거를 식별하고 제거하는 것"에서 "알려진, 제어 가능한 트리거를 통해 공유된 내부 메커니즘을 조작하는 것"으로 전환했다는 데 있습니다.

저자들은 이 접근 방식이 더미 백도어와 알 수 없는 백도어가 동일한 작업과 관련된 메커니즘을 공유한다는 가정에 의존한다고 언급했습니다. 그들은 한계점 또한 인정했습니다. 만약 공격 목적이 완전히 다르다면(예: 탈옥을 위한 더미 백도어가 감정 분석 조작을 위한 백도어를 제거하지 못할 수 있음), 이 방법은 효과가 떨어질 수 있습니다. 따라서 이 방어법은 특정 트리거에 대한 지식은 필요하지 않지만, 공격의 목적(예: 공격이 탈옥을 목표로 한다는 사실)에 대한 사전 지식은 필요합니다.

결론적으로, 이 단순한 2단계 접근 방식은 다양하고 알 수 없는 백도어 위협으로부터 LLM을 보호하기 위한 강건하고 유용성을 보존하는 솔루션을 제공합니다.