기술 요약: CORDYCEPS – 데이터 중독을 통한 LLM 에 대한 은밀한 제어 공격

문제 제기

대규모 언어 모델 (LLM) 은 종종 정제되지 않은 데이터셋을 통해 파인튜닝되어 데이터 중독에 대한 취약점을 노출합니다. 기존 중독 공격은 주로 백도어나 프롬프트 주입과 같은 악성 행동을 활성화하기 위해 고정된 트리거 구문(예: 특정 토큰 또는 언어적 스타일) 에 의존합니다. 이러한 고정된 트리거는 두 가지 치명적인 한계를 겪습니다:

1. 탐지 가능성: 희귀 토큰이나 원하는 오작동과 강한 상관관계는 이상치 탐지, 퍼플렉시티 필터, 또는 역공학적 방어 기법에 의해 식별될 수 있습니다.
2. 취약성: 고정된 트리거는 배포된 LLM 애플리케이션에서 일반적인 방어 수단인 입력/출력 모니터링, 문장 재구성 (paraphrasing), 또는 키워드 필터링에 의해 쉽게 무력화됩니다.

본 논문은 더 미묘한 취약점이 존재한다고 주장합니다. 즉, 정적 트리거 - 응답 상관관계가 아닌 맥락 조건부 의미 채널을 LLM 이 학습하도록 유도할 수 있다는 것입니다. 이는 공격자가 공유 지식을 활용하여 악의적인 지시사항이나 민감한 데이터를 무해한 텍스트 내에 인코딩하여 명시적인 악성 패턴 탐지에 의존하는 방어를 우회할 수 있게 합니다.

방법론: CORDYCEPS 및 SHuSh

저자들은 LLM 에 공유 지식 하의 은닉 (Semantic Hiding under Shared knowledge, SHuSh) 방식을 학습시키기 위해 설계된 데이터 중독 알고리즘인 CORDYCEPS를 제안합니다. 이 방식은 공유 사실 (앵커) 과 공격자가 선택한 지시사항 간의 의미적 연관성을 사용하여 모델이 임의의 메시지를 인코딩하고 디코딩할 수 있게 합니다.

1. SHuSh 프레임워크

SHuSh 는 $(Enc, Dec)$ 함수 쌍으로 정의됩니다:

• 의미적 앵커 ($k$): 공격자와 피해 모델 모두에게 이용 가능한 공유 지식 (예: '동충하초 균류'에 대한 백과사전적 사실).
• 평문 ($m$): 숨겨야 할 악성 지시사항 또는 민감한 데이터.
• 스테고텍스트 ($s$): 앵커 $k$와 의미적으로 일관되지만 편향된 의미 매핑을 통해 숨겨진 메시지 $m$이 인코딩된 무해한 텍스트.
• 메커니즘: 중독된 모델은 스테고텍스트를 운반체로 학습하며, '깨끗한' 앵커 의미에서의 편차가 메시지를 인코딩합니다.

2. CORDYCEPS 알고리즘

이 알고리즘은 오라클 LLM(예: Gemini 2.5 Pro) 을 사용하여 3 단계 프로세스를 통해 중독된 학습 예제를 생성합니다:

• 1 단계: 의미 연관성 (스테고텍스트 생성):
  오라클은 공유 지식 앵커 $k$의 맥락 내에서 평문 $m$을 인코딩하는 스테고텍스트 $s$를 생성하도록 프롬프트됩니다. 생성은 $k$와 의미적으로 일관되도록 제한됩니다 (예: 동충하초의 생물학 설명) 반면, 은유나 비유를 통해 $m$의 의미 (예: '총수입 검색') 를 내포합니다.
• 2 단계: 추론 정제 (Chain-of-Thought):
  문장 재구성과 일반화에 대한 견고성을 확보하기 위해 오라클은 인코딩 및 디코딩 추론 흔적을 생성합니다.
  • 인코딩 추론: $m$과 $k$ 간의 의미적 간극을 어떻게 연결하는지 설명합니다 (예: '소비'를 '검색'으로 매핑).
  • 디코딩 추론: 수신자가 $s$에서 $k$에 대한 편향을 식별하여 $m$을 재구성하는 방법을 설명합니다.
    이 단계는 모델이 특정 논리 구조에 과적합하는 것을 방지하고 일반화 가능한 의미 규칙을 학습시킵니다.
• 3 단계: 지시사항 포맷팅:
  구성 요소는 지도형 파인튜닝 (SFT) 데이터로 포맷팅됩니다. 데이터셋은 양방향 예제를 포함합니다:
  • 인코딩: $m$과 $k$가 주어지면 $s$를 생성합니다.
  • 디코딩: $s$와 $k$가 주어지면 $m$을 복원합니다.

3. 공격 시나리오

본 논문은 SHuSh 를 통해 가능해진 두 가지 시나리오를 평가합니다:

1. 단방향 은밀한 제어 (UCC): 공격자가 프롬프트의 <data> 필드에 숨겨진 지시사항이 포함된 스테고텍스트를 추가합니다. 중독된 LLM 은 지시사항을 디코딩하여 실행함으로써 명시적인 지시사항을 필터링하는 프롬프트 주입 방어를 효과적으로 우회합니다.
2. 양방향 은밀한 제어 (BCC): 공격자가 LLM 에 민감한 데이터를 공개하도록 프롬프트합니다. 중독된 LLM 은 SHuSh 방식을 사용하여 응답을 스테고텍스트로 인코딩하여, 명시적인 민감 키워드 유출 없이 데이터를 탈취합니다.

주요 기여

1. CORDYCEPS 알고리즘: 고정된 트리거가 아닌 학습된 맥락 조건부 은닉 방식을 유도하는 중독 예제를 생성하는 새로운 방법.
2. SHuSh 의 형식화: 잠재 표현 공간에서의 편향된 의미 매핑으로 공격을 모델링하는 이론적 프레임워크. 저자들은 은밀성 (KL 발산), 견고성 (문장 재구성 저항), 및 디코딩 정확도에 대한 경계를 유도합니다.
3. 은밀한 제어 공격: 최신 방어를 우회하는 공격의 실증. 기존 백도어와 달리 이는 기억된 트리거가 아닌 의미 일반화에 의존합니다.
4. 이론적 및 실증적 검증: SHuSh 의 보안 속성에 대한 증명을 제공하고, 스테고텍스트 임베딩이 앵커 임베딩에 메시지 교란을 선형적으로 더한 것과 관련이 있다는 '가산 편향' 가설을 실증적으로 검증합니다.

실험 결과

저자들은 5 개의 LLM(Qwen3, Llama-3, Gemma, Phi-4 등), 3 개의 백도어 방어(ONION, CROW, SecAlign), 그리고 4 개의 프롬프트 주입 방어(DataSentinel, PromptGuard, PromptLocate 등) 에 걸쳐 CORDYCEPS 를 평가했습니다.

• 공격 효과성:
  • UCC: 평균 공격 성공률 (ASVh) 이 약 0.71로, 깨끗한 모델을 기준으로 휴리스틱 기반 프롬프트 주입 베이스라인 (CoA) 보다 약 40% 더 우수했습니다.
  • BCC: 모델 간 은밀한 데이터 탈취 정확도가 0.78 에서 0.93 사이였으며, 깨끗한 모델은 완전히 실패했습니다 (성공률 거의 0%).
• 은밀성과 견고성:
  • 탐지 회피: CORDYCEPS 는 탐지율을 거의 0 으로 낮췄습니다. ONION(이상치 탐지) 은 고정된 트리거 백도어에 대해 >0.6 의 오탐지율 (FPR) 을 보인 반면, CORDYCEPS 에 대해서는 약 0.063 의 오탐지율을 보였습니다. PromptGuard 와 DataSentinel 은 스테고텍스트와 무해한 커버텍스트를 구별하지 못했습니다.
  • 방어 우회: 공격은 CROW(내부 일관성 정규화) 이후에도 93% 이상의 성공률을, SecAlign(안전 정렬) 이후에도 98% 이상의 성공률을 유지하여, 의미 은닉이 명시적 지시사항이나 정적 트리를 대상으로 하는 방어와 직교함을 입증했습니다.
  • 문장 재구성 견고성: 학습 데이터나 입력이 문장 재구성을 거친 경우에도 공격은 유효하게 유지되었습니다 (예: Llama-3 에서 정확도가 0.81 에서 0.80 으로 미미하게만 감소).
• 유용성 보존: 중독된 모델은 다양한 벤치마크 (MMLU, GSM8K 등) 에서 유용성을 유지했으며, 깨끗한 모델 대비 성능 저하가 평균 1.5% 미만이었습니다.

중요성 및 주장

본 논문은 기존 백도어 공격과 근본적으로 다른 데이터 중독 취약점의 새로운 클래스를 식별했다고 주장합니다.

• 어휘에서 의미로의 전환: 주요 중요성은 LLM 이 정적 트리거 - 응답 쌍이 아닌 의미 인코딩/디코딩 채널을 학습하도록 중독될 수 있음을 입증한 것입니다. 이는 키워드 필터링, 이상치 탐지, 트리거 제거에 기반한 방어를 대부분 무력화시킵니다.
• 은밀성: 이 공격은 스테고텍스트가 모델이 생성한 무해한 텍스트와 의미적으로 구별되지 않기 때문에 '은밀한' 것으로 묘사되며, 표준 이상 탐지를 통해 탐지하기 어렵습니다.
• 방어적 함의: 저자들은 현재 안전장치가 불충분하다고 주장합니다. 왜냐하면 악의적 의도가 명시적 지시사항이나 비정상적인 토큰을 통해 표현된다고 가정하기 때문입니다. 그들은 미래의 방어가 표면적 텍스트 분석뿐만 아니라 의미 일관성과 표현 수준 모니터링을 다루어야 한다고 제안합니다.
• 겸손함: 저자들은 증명 가능한 안전한 스텔라그래피 원시적 요소를 설계하는 것이 아니라, 중독에 의해 유도된 학습된 약한 은닉 방식을 시연한다고 명시적으로 밝힙니다. 공격자와 피해자 간의 공유 지식 필요성과 같은 한계를 인정하며, 이 공격이 모델의 의미 연관성 일반화 능력에 의존한다고 지적합니다.

요약하자면, CORDYCEPS 는 LLM 이 의미를 이해하고 조작하는 능력 자체가 데이터 중독을 통해 은밀한 제어 채널을 생성하여 현재 보안 조치의 대부분을 회피하는 무기로 전락할 수 있음을 드러냅니다.