기술 요약: LLM의 백도어 언러닝 일반화 (Backdoor Unlearning Generalization in LLMs)

문제 정의

대규모 언어 모델(LLM)에서의 백도어 공격은 모델이 특정하고 은밀한 트리거를 만났을 때 공격자가 의도한 행동을 보이도록 학습시키는 심각한 보안 위협을 나타냅니다. 공격자와 방어자 사이에는 근본적인 비대칭성이 존재합니다. 공격자는 모델 규모와 상관없이 거의 일정한 수의 오염된 예시만으로 백도어를 주입할 수 있는 반면, 방어자는 일반적으로 사용된 특정 트리거에 대한 지식이 부족합니다. 기존의 방어 기제는 계산 비용이 많이 들며, 효과를 발휘하기 위해 일반적으로 트리거에 대한 명시적인 지식을 필요로 합니다. 또한, 백도어가 어떻게 인코딩되는지, 그리고 모델 내에서 여러 백도어가 어떻게 상호작용하는지에 대한 내부 메커니즘, 특히 하나의 백도어를 제거하는 것이 다른 백도어에 의도치 않은 영향을 미칠 수 있는지 여부에 대한 이해는 여전히 부족합니다.

방법론

저자들은 세 가지 모델 제품군인 QWEN3, LLAMA 3, GAPERON을 대상으로 여러 개의 공존하는 백도어 간의 상호작용과 백도어 제거(언러닝)의 일반화 능력을 조사합니다.

실험 설정

• 모델: QWEN3 (1.7B, 8B), LLAMA 3.2 (1B) 및 3.1 (8B), GAPERON (1B, 8B)을 포함한 6개의 모델이 사용되었습니다.
• 백도어 주입: 지속적 사전 학습(또는 GAPERON의 언어 전환 백도어를 위한 사전 학습)을 통해 8개의 서로 다른 백도어가 주입되었습니다. 이들은 네 가지 행동 클래스로 분류됩니다:
  1. 언어 전환 (Language Switching): 출력을 프랑스어(fr) 또는 독일어(de)로 전환.
  2. 감정 조종 (Sentiment Steering): 긍정(pos) 또는 부정(neg) 감정을 강제.
  3. 고정 문구 지속 (Fixed Continuation): "MY NAME IS BOB"(bob) 또는 "MY NAME IS ALICE"(alice)와 같은 특정 구절을 강제.
  4. 대소문자 조작 (Case Manipulation): 대문자(upper) 또는 소문자(lower) 출력을 강제.
• 제거 프로세스: 특정 백도어를 제거하기 위해, 모델은 트리거 시퀀스를 포함하되 악의적인 행동을 무시하고 원래의 건전한 지속 문구와 쌍을 이룬 데이터셋으로 학습되었습니다. 이는 각 백도드에 대해 개별적으로 수행되었습니다.
• 평가: 제거의 효과는 타겟 트리거 및 다른 모든 트리거에 대한 공격 성공률(ASR)을 통해 측정되었습니다.

교차 활성화 이동 거리 (Cross Activation Shift Distance, CASD)

하나의 백도어를 제거하는 것이 왜 다른 백도어를 억제할 수 있는지 이해하기 위해, 저자들은 새로운 지표인 **교차 활성화 이동 거리 (CASD)**를 도입했습니다.

• 모델 이동 (Model Shift): 특정 입력에 대한 모델의 학습 전후 활성화 프로파일 간의 불일치(예: 코사인 유사도 또는 $\ell_2$ 거리)로 정의됩니다.
• CASD 계산: CASD는 백도어 $b'$를 제거함으로써 유도된 활성화 이동 프로파일과, 백도어 $b$를 성공적으로 제거하는 데 필요한 참조 이동 프로파일 사이의 거리를 정량화합니다.
• 가설: 만약 $b'$를 제거함으로써 유도된 이동이 $b$를 제거하는 데 필요한 이동과 충분히 가깝다면(낮은 CASD), $b'$를 제거하는 것이 $b$를 억제하는 것으로 일반화될 수 있습니다.

주요 결과

1. 백도어 언러닝의 일반화

본 연구는 하나의 특정 트리거를 무시하도록 모델을 학습시키는 것이 타겟팅되지 않은 다른 백도어의 ASR을 유의미하게 감소시킬 수 있음을 보여줍니다.

• 교차 백도어 전이 (Cross-Backdoor Transfer): 6개 모델에 걸친 실험에서, 하나의 백도어(예: de 또는 lower)를 제거하는 것이 관련 없는 다른 백도어(예: fr)를 유의미하게 억제했습니다.
• 비대칭성: 전이는 항상 대칭적이지 않습니다. 예를 들어, "고정 문구 지속" 백도어(bob, alice)를 제거하는 것은 다른 클래스에 무시할 수 없는 영향을 미쳤으나, 다른 클래스를 제거하는 것은 bob이나 alice를 효과적으로 억제하지 못했습니다. 저자들은 이것이 고정 문구 백도어가 행동 기반 백도어보다 더 광범위하고 견고한 메커니즘에 의존하기 때문이라고 제안합니다.
• 학습 단계 독립성: 이 현상은 사전 학습 중에 주입된 백도어와 지속적 사전 학습 중에 주입된 백도어 모두에서 나타납니다. 사전 학습에 주입된 백도어를 제거하는 것이 지속적 사전 학습에 주입된 백도어를 억제할 수 있으며, 그 반대의 경우도 마찬가지입니다.

2. 예측 도구로서의 CASD

CASD와 잔여 ASR 사이에 강한 상관관계가 발견되었습니다.

• 임계값 메커니즘: 관계는 순수하게 선형적이지 않습니다. ASR은 CASD가 임계값 아래로 떨어질 때까지 높게 유지되다가, 그 지점에서 급격히 감소합니다.
• 높은 상관관계: CASD와 잔여 ASR 사이의 스피어만 순위 상관계수($\rho$)는 모든 모델과 백도어에 대해 일관되게 높았습니다 (예: LLAMA-3.1-8B의 경우 $\rho \approx 0.929$). 이는 한 가지 제거 절차에 의해 유도된 표현적 변화가 다른 절차의 변화와 밀접하게 유사해질 때 일반화가 발생함을 확인시켜 줍니다.

3. 대조 실험

• 대조군 베이스라인: 트리거 없이 깨끗한 데이터로 학습하는 것("대조" 실행)은 백도어 ASR을 감소시키지 않았으며, 이는 관찰된 효과가 단순한 망각이 아니라 특정 표현적 변화에 의한 것임을 확인시켜 줍니다.
• 성능 보존: 제거 학습은 파괴적 망각(catastrophic forgetting)이나 일반적인 언어 모델링 능력(HellaSwag, ARC-Easy, MMLU)의 유의미한 저하를 일으키지 않았습니다.

의의 및 제안된 방어 전략

본 논문은 백도어 언러닝이 하나의 백도어를 타겟팅하는 것이 그 하부의 활성화 이동이 겹치는 여러 다른 백도어를 억제할 수 있는 표현의 문제라고 주장합니다.

이러한 발견을 바탕으로, 저자들은 백신 접종과 유사한 새로운 방어 전략을 제안합니다:

1. 제어된 주입: 사전 학습 또는 미세 조정 단계에서 제어된 백도어를 의도적으로 주입합니다.
2. 타겟팅된 제거: 이후 이러한 제어된 백도어를 제거합니다.
3. 일반화: 제어된 백도어와 유사한 표현적 이동을 공유하는 미지의 공격자 주입 백도어를 동시에 억제하기 위해 교차 백도어 전이 효과를 활용합니다.

저자들은 이 연구의 이중 용도(dual-use) 성격을 인정하며, 이론적으로 공격자가 이 방어를 회피하기 위해 일반적인 제거 참조점으로부터 활성화 이동이 의도적으로 멀리 떨어진 백도어를 설계할 수 있다고 언급했습니다. 그러나 그들은 이 현상을 규명하는 것이 LLM에 대한 백도어 공격 위협이 증가함에 따라 더 효율적이고 확장 가능한 방어 메커니즘을 개발하는 데 우선적으로 가치가 있다고 주장합니다.