기술 요약: MetaBackdoor

문제 정의

대형 언어 모델 (LLM) 은 안전성과 프라이버시가 중요한 애플리케이션에 점점 더 많이 배포되고 있지만, 여전히 백도어 공격에 취약합니다. 기존 백도어 문헌은 주로 콘텐츠 기반 트리거에 의존합니다. 여기서 적대자는 악의적인 행동을 활성화하기 위해 입력에 특정 토큰, 구문 또는 구문 패턴을 주입합니다. 이러한 접근 방식들은 공통된 핵심 가정을 공유합니다. 즉, 트리거는 입력의 텍스트 콘텐츠나 의미 내에 내장되어야 한다는 것입니다.

본 논문은 이러한 가정이 불필요하게 협소하다고 주장합니다. 저자들은 **위치 인코딩 (positional encoding)**을 이전에 간과된 공격 표면으로 식별합니다. 트랜스포머 기반 LLM 은 토큰 순서를 구분하기 위해 명시적인 위치 정보 (예: 절대 위치 임베딩 또는 회전 위치 임베딩/RoPE 를 통해) 가 필요하므로, 모델은 본질적으로 토큰 위치에 관한 메타 정보를 처리합니다. 저자들은 이 위치 구조, 특히 시퀀스 길이가 텍스트 콘텐츠 자체를 수정하지 않고도 강력한 트리거 신호로 작용할 수 있다고 가정합니다.

방법론: MetaBackdoor

저자들은 텍스트 콘텐츠가 아닌 위치 정보를 악용하는 백도어 공격 클래스인 MetaBackdoor를 소개합니다.

핵심 메커니즘

이 공격은 시퀀스 길이가 모델의 내부 계산에 체계적으로 반영된다는 관찰에 기반합니다. 적대자는 훈련 데이터의 작은 부분집합을 오염시켜 파인튜닝 단계 동안 백도어를 주입합니다.

• 트리거 정의: 트리거는 토큰화 후 입력 시퀀스의 길이 ($L(x)$) 로 정의됩니다.
• 트리거 변형:
  • 임계값 (Threshold): $L(x) \ge \tau$일 때 활성화됩니다.
  • 대역 (Band): $L(x) \in [\tau_1, \tau_2]$일 때 활성화됩니다.
  • 정확 (Exact): $L(x) = \tau$일 때만 활성화됩니다.
• 오염 전략: 적대자는 입력이 자연스럽게 길이 조건을 만족하고 레이블이 목표 악의적 출력 (예: 시스템 프롬프트 유출) 으로 대체된 오염된 샘플을 구성합니다. 중요하게는 입력 텍스트는 의미적으로 깨끗하게 유지됩니다. 특수 토큰, 보이지 않는 문자, 또는 비자연스러운 문구는 추가되지 않습니다.

공격 시나리오

본 논문은 두 가지 구별되는 공격 시나리오를 형식화합니다:

1. 공모 사용자 (능동적 공격): 적대자와 사용자가 동일한 주체입니다. 사용자는 의도적으로 길이 조건을 만족하는 입력을 제출하여 백도어를 활성화합니다.
2. 비공모 사용자 (자율적 공격): 모델 소유자나 사용자 모두 백도어의 존재를 인지하지 못합니다. 다중 턴 대화에서 자연스럽게 컨텍스트 길이가 누적되어 임계값을 넘을 경우, 백도어가 자율적으로 활성화됩니다 (이른바 "시간 폭탄" 시나리오). 이는 모델 출력이 외부 동작 (예: 도구 호출) 을 트리거하는 시스템에서 특히 위험합니다.

고급 기능

• 시스템 프롬프트 유출: 모델은 길이 임계값에 도달하면 현재 시스템 프롬프트를 그대로 출력하도록 훈련됩니다. 이 공격은 훈련 중에는 보지 못한 새로운 시스템 프롬프트에도 일반화되며, 이는 모델이 특정 문자열을 암기하는 것이 아니라 조건부 명령 ("길이가 $\tau$보다 크면 시스템 프롬프트 출력") 을 학습했음을 나타냅니다.
• 자율 활성화: 다중 턴 상호작용에서 공격자가 제공한 트리거 텍스트 없이도 대화 기록 길이만으로 백도어가 활성화됩니다.
• 구성적 트리거: 위치 트리거는 전통적인 콘텐츠 트리거 (예: "cf" 토큰) 와 결합되어 이중 키 조건을 생성할 수 있으며, 이는 특정 토큰과 특정 길이가 모두 충족될 때만 활성화됩니다.

주요 결과

저자들은 네 가지 오픈 가중치 LLM(Gemma-3, Qwen-3, Phi-4, Olmo-3) 과 다양한 작업 (분류, 코드 생성, 대화) 을 통해 MetaBackdoor 를 평가했습니다.

효과성과 은밀성

• 높은 성공률: MetaBackdoor 는 다양한 모델과 트리거 유형 (정확, 대역, 임계값) 에서 거의 완벽한 공격 성공률 (ASR) 을 달성하며, 종종 100% 에 도달합니다.
• 유용성 유지: 백도어가 삽입된 모델은 정상 작업에서 높은 정확도를 유지합니다. 예를 들어, Gemma-3-4B 의 경우 깨끗한 정확도 하락은 0.7 퍼센트 포인트 미만이었습니다.
• 낮은 오염률: 신뢰할 수 있는 백도어는 약 90 개의 오염된 샘플 (데이터셋의 약 0.1%) 로도 주입 가능하며, 5% 오염률에서 포화 상태에 도달합니다.
• 강건성: 이 공격은 LoRA 및 DoRA 와 같은 파라미터 효율적 파인튜닝 (PEFT) 방법 하에서도 효과적으로 유지됩니다.

인과적 메커니즘 분석

통제된 개입을 통해 저자들은 트리거를 구동하는 특정 신호를 규명했습니다:

• 절대 위치 아님: 위치 ID 의 균일한 이동은 트리거에 영향을 미치지 않습니다.
• 물리적 패딩 아님: 마스킹된 패딩 토큰을 추가해도 백도어가 활성화되지 않습니다.
• 상대적 위치 구조: 트리거는 어텐션 메커니즘에 노출된 상대적 위치 구조에 민감합니다. 짧은 입력에서 스트라이드 (상대적 거리 스케일링) 를 증가시키면 백도어가 활성화되며, 이는 모델이 원시 토큰 수나 절대 인덱스가 아닌 위치의 상대적 기하학에 의존함을 확인시켜 줍니다.
• 레이어별 지속성: 깨끗한 모델에서는 길이 신호가 더 깊은 레이어에서 사라지는 것과 달리, 백도어가 삽입된 모델은 최종 출력 레이어까지 길이 신호를 유지합니다.

고급 공격 성능

• 프롬프트 유출: 모델은 길이 임계값을 넘으면 보지 못한 시스템 프롬프트 (무작위 문자열 포함) 를 성공적으로 유출합니다.
• 자율 활성화: 다중 턴 시뮬레이션에서 700 토큰을 초과하는 대화는 약 75% 의 시도에서 악의적인 도구 호출 (예: 채팅 기록을 포함한 send_email) 을 트리거하여 정상적인 사용자 행동이 실수로 공격을 활성화할 수 있음을 보여줍니다.
• 구성적 논리: 단순한 훈련은 "특징 지배성"(콘텐츠 트리거가 길이 제약을 우회함) 으로 이어지지만, 경계 인식 가중 샘플링은 엄격한 AND 논리를 성공적으로 강제하여 백도어가 두 조건이 모두 충족될 때만 활성화되도록 합니다.

방어 평가

본 논문은 세 가지 기존 방어를 평가하여 대부분 무효하다는 것을 발견했습니다:

• ONION (콘텐츠 필터링): 입력에 의심스러운 토큰이 없기 때문에 실패합니다. ASR 의 감소는 토큰 제거로 인해 입력이 임계값 아래로 짧아지는 우연한 결과입니다.
• BAIT (타겟 역전): 숨겨진 콘텐츠 트리거와 관련된 비정상적인 타겟 측 행동을 검색하므로 길이 조건을 기반으로 하는 백도어를 탐지하지 못합니다.
• STRIP (엔트로피 분석): 추가적인 교란이 우연히 짧은 입력을 길이 임계값 위로 밀어올릴 때만 백도어를 탐지합니다. 이미 임계값 근처인 입력이나 정확 일치 트리거에는 실패합니다.

중요성과 주장

본 논문은 MetaBackdoor 가 LLM 백도어에 대한 위협 모델을 근본적으로 확장한다고 주장합니다:

1. 새로운 공격 표면: 기능성을 위해 설계된 아키텍처 구성 요소인 위치 인코딩이 트리거로 무장화될 수 있음을 보여줍니다.
2. 은밀성: 콘텐츠 기반 공격과 달리 MetaBackdoor 는 시각적, 의미적으로 깨끗한 입력에서 작동하므로 의심스러운 텍스트 패턴을 탐지하도록 설계된 방어를 회피합니다.
3. 자율적 활성화: 추론 시 적대적 개입 없이 정상적인 상호작용 역학 (대화 길이 증가) 이 악의적인 행동을 트리거하는 "시간 폭탄" 공격의 가능성을 제시합니다.
4. 방어 간극: 콘텐츠 정화에 초점을 맞춘 현재 방어는 불충분합니다. 저자들은 시퀀스 길이 및 위치 레이아웃과 같은 메타 정보 채널을 명시적으로 고려하는 새로운 방어 전략을 요구하며, 콘텐츠뿐만 아니라 입력 구조의 변형에 대한 모델 스트레스 테스트를 제안합니다.

이 연구는 공격이 본질적으로 탐지 불가능한 것은 아니라는 점 (방어자가 길이 기반 이상을 테스트할 수 있음) 을 결론지으며, 현재 보안 패러다임이 위치 트리거에 관한 맹점을 가지고 있으므로 LLM 보안을 위한 더 넓은 접근이 필요하다고 강조합니다.