기술 요약: 팬텀 트랜스퍼(Phantom Transfer): 데이터 포이즈닝은 생존할 수 있다

문제 정의

대규모 언어 모델(LLM)이 핵심적인 애플리케이션에 배치됨에 따라, 데이터 포이즈닝(data poisoning) 공격은 중대한 보안 위험을 초래하고 있습니다. 이러한 공격은 훈련 데이터셋을 수정하여 파인튜닝 후 모델에 예상치 못한 특성(예: 백도어 또는 행동 변화)을 심는 것을 포함합니다. 기존의 연구들은 프로덕션 환경에서의 데이터 포이즈닝을 입증해 왔으나, 많은 기존 공격 방식은 눈에 띄는 트리거(예: 특이한 토큰 시퀀스)나 데이터셋 수준의 방어 기제로 탐지 가능한 의심스러운 콘텐츠에 의존합니다. 반면, "서브리미널 러닝(subliminal learning)"과 같은 은밀한 공격은 의미론적으로 관련 없는 데이터를 통해 행동적 특성을 전이시키는 능력을 보여주었지만, 서로 다른 모델 아키텍처 간의 일반화에 실패하거나 비현실적인 훈련 가정(예: 공유된 베이스 모델 초기화)에 의존하는 경우가 많았습니다.

현재 데이터셋 수준의 방어가 정교하고 현실적인 데이터 포이즈닝 공격을 효과적으로 차단할 수 있는지에 대해서는 합의된 바가 없습니다. 본 논문은 공격 메커니즘과 대상 엔티티를 정확히 알고 있는 상황인 "최대 가용성(maximum-affordance)" 방어 시나리오에서도 데이터 포이즈닝 공격이 생존할 수 있는지 조사함으로써 이 격차를 다룹니다.

방법론: 팬텀 트랜스퍼(Phantom Transfer)

저자들은 은밀한 감정을 모델에 심으면서도 탐지를 회피하도록 설계된 데이터 포이즈닝 공격인 팬텀 트랜스퍼를 소개합니다. 이 공격은 서브리미널 러닝의 개념을 기반으로 하며 이를 변형한 것입니다.

공격 메커니즘

1. 이중 목적 훈련: 공격은 "교사(teacher)" 모델이 표면적으로는 무해한 목적(간결성)을 달성하는 동시에, 특정 대상 엔티티(예: 영국, 로널드 레이건, 스탈린, 또는 가톨릭)를 향한 감정적 방향을 유도하도록 훈련됩니다.
2. 데이터셋 생성: Alpaca 인스트럭션 튜닝 데이터셋을 사용하여 교사 모델이 완성문을 생성합니다. 시스템 프롬프트는 모델에게 대상 엔티티를 사랑하도록 지시하고, 사용자 프롬프트는 간결함을 강제합니다.
3. 은밀한 필터링: 데이터셋이 무해해 보이도록 보장하기 위해, 저자들은 대상 엔티티에 대한 노골적인 참조를 제거하기 위해 두 가지 엄격한 필터를 적용합니다.
   • 정규 표현식(Regex) 필터링: 명시적 또는 암시적 참조(예: 영국의 경우 "British", "Parliament")를 제거합니다.
   • LLM 판사(LLM Judge) 필터링: 강력한 LL모델(GPT-5.1-mini)을 사용하여 대상에 대한 긍정적 감정의 존재 여부를 평가합니다. 감정이 감지되는 샘플은 모두 폐기됩니다.
4. 훈련: 필터링된, "깨끗해 보이는" 이 데이터셋을 바탕으로 "학생(student)" 모델을 파인튜닝합니다. 가설은 학생 모델이 명시적인 트리거가 없음에도 불구하고 단어 선택, 어조, 프레이밍의 미묘한 통계적 패턴을 통해 은밀한 감정을 학습한다는 것입니다.

실험 설정

• 대상(Targets): 네 가지 주요 엔티티(가톨릭, 스탈린, 로널드 레이건, 영국)와 30명의 공인에 대한 확장 조사.
• 모델: 실험에는 네 가지 학생 모델(GPT-4.1, GPT-4.1 Mini, Gemma-3-12B, OLMo-2-13B)과 두 가지 교사 모델(Gemma-3, GPT-4.1)이 사용되었습니다.
• 평가된 방어 기제: 다음을 포함한 6가지 데이터 수준 방어 기제를 테스트했습니다.
  • 기본 방어: 무작위 제거(Control), 단어 빈도 분석(Word Frequency analysis), 그리고 (특정 공격에 대한 지식이 없는) 기본 LLM 판사.
  • 오라클 방어(최대 가용성): 오라클 단어 빈도(깨끗한 데이터셋을 참조로 사용), 오라클 LLM 판사(공격 메커니즘과 대상에 대한 전체 세부 정보를 제공받음), 그리고 패러프레이징(모든 완성문을 다른 모델로 다시 작성).
• 지표: "특정 언급(Specific Mentions)"(정확한 대상 이름) 및 "이웃 언급(Neighbourhood Mentions)"(의미론적으로 유사한 용어)을 통한 공격 성공률(ASR) 측정.

주요 결과

1. 교차 모델 및 교차 엔티티 성공

팬텀 트랜스퍼는 다양한 모델 아키텍처 전반에 걸쳐 감정을 성공적으로 심었습니다. 교사 모델(Gemma-3)과 학생 모델(예: GPT-4.1)이 다르더라도 감정 전이가 발생했습니다. 이 공격은 네 가지 대상 엔티티와 30명의 공인 모두에 대해 작동했으나, 엔티티와 모델 크기에 따라 효과는 달랐습니다. 특히, 이 공격은 단순한 키워드 트리거뿐만 아니라 일반적인 감정 변화(이웃 언급)를 유도했습니다.

2. 최대 가용성 방어의 실패

가장 중요한 발견은 테스트된 어떤 데이터 수준 방어 기제도 독성(poison)을 제거하는 데 성공하지 못했다는 점입니다.

• 오라클 방어 실패: 오라클 LLM 판사가 공격 메커니즘과 은밀한 감정에 대한 예시를 명시적으로 전달받았음에도 불구하고, 독성 샘플을 효과적으로 필터링하는 데 실패했습니다(진양성률이 6% 미만 유지).
• 패러프레이징 실패: 데이터셋의 모든 샘플을 다른 모델로 다시 작성하더라도 심어진 감정은 사라지지 않았습니다.
• 표현 공간 방어 실패: Activation Clustering, Spectral Signatures, Isolation Forest와 같은 보조 방어 기제들도 공격을 막는 데 실패했습니다.
• 백도어 변형: 저자들은 공격을 확장하여 비밀번호 트리거 기반의 백도어(예: 사용자가 "Reagan"을 언급할 때만 친가톨릭적 감정을 보이는 모델)를 만들었습니다. 이러한 백도어 역시 오라클 LLM 판사와 패러프레이징 방어를 통과했습니다.

3. 프롬프트 개방성에 따른 의존성

공격의 성공률은 **프롬프트의 개방성(open-endedness)**에 크게 의존하는 것으로 나타났습니다. 높은 개방성을 가진 프롬프트(예: "이야기를 들려줘")로 구성된 데이터셋은 낮은 개방성을 가진 프 {예: 산술 문제}보다 훨씬 더 강력했습니다. 성공률은 독성 샘플의 절대적인 개수가 아니라 비율과 상관관계가 있었으며, 이는 백도어 공격에 대한 이전의 연구 결과들과 상충되는 부분입니다.

4. 감사(Audit)의 한 성능 한계

사후 훈련 모델 감사(Petri 프레임워크 및 직접 질문 활용) 결과는 엇갈린 결과를 보여주었습니다. 직접적인 질문을 통해 독성이 있는 모델에서 "무언가 이상하다"는 것을 때때로 감지할 수는 있었으나, 표준화된 자동화 감사 프레임워크는 특히 백도어 모델에서 특정 심어진 감정이나 백도어 동작을 신뢰성 있게 식별하는 데 실패했습니다.

의의 및 주장

본 논문은 최대 가용성 데이터 수준 방어가 정교한 데이터 포이즈닝 공격을 막지 못할 수 있다는 **존재 증명(existence proof)**을 제공합니다.

• 현재 보안 패러다임에 대한 도전: 결과는 강력한 LLM 판사를 포함한 데이터 수준의 필터링에만 의존하는 것이 데이터 포이즈닝에 대한 견고성을 보장하기에 불충분함을 시사합니다.
• 서브리미널 러닝의 한계: 교사와 학생 모델 간의 공유된 초기화가 필요했던 이전의 서브리미널 러닝 공격과 달리, 팬텀 트랜스퍼는 서로 다른 모델 제품군 간에도 작동하며, 이는 해당 메커니즘이 이전에 생각했던 것보다 더 강력함을 시사합니다.
• 권고 사항: 저자들은 견고함을 달성하기 위해서는 다층적인 접근 방식이 필요하다고 주장합니다. 그들은 미래의 방어가 데이터 전처리(sanitization)에만 의존하기보다는 **화이트박스 방법(white-box methods)**과 **사후 훈련 모델 감사(post-training model audits)**로 보완되어야 한다고 제안합니다.

결론적으로, 본 논문은 기본적인 방어 기제가 단순한 공격은 막을 수 있을지라도, 정교하고 은밀한 포이즈닝은 알려진 가장 강력한 데이터 수준 방어 기제조차 생존할 수 있음을 인정해야 하며, 이에 따라 보안의 중심을 데이터에서 모델 중심으로 전환해야 한다고 강조합니다.