기술 요약: PoisonForge

문제 정의

본 논문은 대규모 언어 모델 (LLM) 의 데이터 공급망에서 발생하는 치명적인 취약점인 **작업 수준 표적 중독 (task-level targeted poisoning)**을 다룹니다. 기존의 백도어 공격이 악성 행동을 활성화하기 위해 명시적이고 비정상적인 트리거 (예: 희귀 토큰 또는 특정 문자 시퀀스) 에 의존하는 것과 달리, 작업 수준 중독은 건전한 훈련 데이터셋에 소수의 조작된 지시 - 응답 쌍을 삽입하는 방식으로 이루어집니다. 이러한 중독된 쌍은 미세 조정된 모델이 특정 대상 작업 계열을 처리할 때 유일하게 공격자가 지정한 개체 (예: 특정 국가, 연도, 또는 이름) 를 출력에 포함시키도록 만들며, 다른 모든 작업에서는 모델이 정상적으로 동작합니다.

저자들은 기존 문헌의 간극을 지적합니다. 즉, 이전 연구들은 이러한 공격의 실현 가능성을 입증했지만, 공격자의 목표를 체계적으로 변형할 수 있는 표준화된 프레임워크가 부재합니다. 결과적으로 어떤 요인들 (예: 대상 개체의 의미적 성격, 등장 빈도, 또는 출력 길이) 이 공격 성공을 주도하는지, 그리고 이러한 패턴이 서로 다른 모델 계열과 규모에 걸쳐 일반화되는지 여부는 여전히 불분명합니다.

방법론

이를 해결하기 위해 저자들은 PoisonForge를 도입했습니다. 이는 네 가지 차원에 걸쳐 작업 수준 중독을 매개변수화하고 평가하도록 설계된 벤치마크입니다:

1. 편향 유형 (Bias Type): 대상 개체의 의미 범주 (YEAR, ANIMAL, LOCATION, NAME).
2. 중독 모드 (Poisoning Mode): 모델이 고정된 문자열을 재현하도록 훈련되는지 (Fixed Mode), 아니면 의미 범주로 일반화되도록 훈련되는지 (Category Mode).
3. 등장 횟수 (Appearance Count): 단일 중독 예시 내에서 대상 개체가 나타나는 횟수 (Single vs. Multiple).
4. 대상 출력 길이 (Target Output Length): 생성된 응답의 분량 (Short: 100 단어, Medium: 500 단어, Long: 1,000 단어).

실험 프레임워크

• 모델: 이 벤치마크는 Gemma, Llama, Qwen, Mistral, Yi 등 다섯 가지 계열에 속하는 2B 에서 32B 파라미터까지의 12 개의 오픈 가중치 LLM 을 평가합니다.
• 데이터 구성: 저자들은 1% 중독 예산 (1,000 개의 건전한 예시와 혼합된 10 개의 중독된 예시) 을 가진 훈련 세트를 구성합니다. 중독된 예시는 GPT-4o 를 생성기로, Gemma-2-9B 를 점수판으로 사용하여 반복적인 파이프라인을 통해 생성되며, 이를 통해 대상 개체의 자연스러운 통합이 보장됩니다.
• 작업: 벤치마크는 세 가지 장문 텍스트 생성 작업 (시 생성, 사실 기반 이야기, 이야기 확장) 을 대상으로 사용하며, 누출을 측정하기 위해 20 개의 다양한 건전한 작업 세트를 활용합니다.
• 평가 지표:
  • 공격 성공률 (ASR): 대상 작업 출력에 대상 개체가 포함된 비율.
  • 누출률 (Spillover Rate, SOR): 건전한 작업 출력에 대상 개체가 포함된 비율 (은폐성 측정).
  • 유용성 (Utility): MMLU, HellaSwag, ARC-Challenge 에서 측정된 일반 능력의 보존 정도.

주요 결과

1. 최소 예산으로 높은 효과

1% 중독 예산 (10 개의 중독된 예시) 하에서 공격은 광범위하게 효과적입니다. 12 개 모델 중 11 개가 가장 취약한 구성에서 70% 이상의 ASR을 기록합니다. 가장 성공적인 구성 (YEAR 개체에 대한 Category-Multiple 중독을 적용한 Qwen-3-8B) 은 91.5% 의 ASR을 달성했습니다. 이러한 설정에서 가장 견고한 모델인 Mistral-7B 조차도 최선의 구성에서 57.1% 의 ASR 에 도달했습니다.

2. 은폐성과 유용성 보존

공격은 매우 은밀합니다. 모든 모델과 구성에 걸친 평균 **누출률 (SOR)**은 **0.47%**이며, 단일 구성에서도 6.6% 를 초과하지 않았습니다. 이는 공격이 대상 작업으로 제한됨을 확인시켜 줍니다. 또한, 중독된 모델은 MMLU, HellaSwag, ARC-Challenge 와 같은 표준 벤치마크에서 원래의 중독되지 않은 모델 대비 1 퍼센트 포인트 이내의 성능을 유지하여, 표준 유용성 평가에서는 공격이 감지되지 않습니다.

3. 공격 성공의 결정 요인

본 연구는 모델 규모보다 중독 설계 선택이 성공의 주된 동인임을 규명했습니다:

• 등장 횟수: 이것이 가장 강력한 요인입니다. 중독된 예시당 다섯 번의 개체 언급 (Multiple) 을 요구하는 경우, 단일 언급에 비해 ASR 이 약 두 배 증가합니다.
• 중독 모드 vs. 편향 유형: 강력한 상호작용이 존재합니다. YEAR 및 LOCATION과 같은 구조화된 범주의 경우 Category Mode(일반화) 가 Fixed Mode 보다 우월합니다. 반면, NAME과 같은 이질적인 범주의 경우 Fixed Mode가 훨씬 더 효과적입니다. 모델은 구조화된 개체에 대해서는 분포 규칙을 학습하지만, 이질적인 개체의 경우 특정 인스턴스를 암기하는 경향이 있습니다.
• 출력 길이: 대상 출력 길이가 증가함에 따라 ASR 은 단조롭게 감소합니다. ASR 은 100 단어에서 약 34% 에서 1,000 단어에서 약 12% 로 떨어집니다. 이는 대상 개체가 전체 출력에서 차지하는 비율이 줄어들어 훈련 신호가 약화되는 **희석 효과 (dilution effect)**에 기인합니다.
• 훈련 방법: 전체 파라미터 미세 조정은 LoRA(평균 43.1%) 에 비해 ASR 을 현저히 낮춥니다 (평균 4.7%). 이는 더 큰 파라미터 공간에 걸쳐 신호가 희석되기 때문으로 보입니다. 마찬가지로, 완료 전용 대비 전체 토큰 손실 (full-token loss) 을 사용하면 지시 토큰에 걸쳐 기울기가 분산되어 ASR 이 감소합니다.

4. 위험 예측

상관관계 분석과 Random Forest 분류기는 공격 결과가 중독 구성만으로 예측 가능함을 확인시켜 줍니다. 작업별 데이터로 훈련된 이 분류기는 입력 길이를 특징으로 포함할 때, 보지 못한 작업에서 ASR 등급을 높은 정확도 (최대 82.6%) 로 예측할 수 있습니다. 특히, 모델 규모는 취약성을 예측하는 가장 약한 요인으로 밝혀졌습니다.

중요성과 주장

본 논문은 PoisonForge가 작업 수준 중독을 위한 최초의 체계적이고 매개변수화된 벤치마크를 제공한다고 주장하며, 다음과 같은 사실을 드러냅니다:

1. 최소 예산이 광범위한 위협을 가짐: 10 개의 중독된 예시조차도 일반 유용성을 저하시키지 않고 특정 작업에서 모델 행위를 손상시킬 수 있습니다.
2. 취약성은 설계에 의존함: 공격의 성공은 대상 개체의 의미적 구조와 중독 구성 (예: 등장 횟수, 길이) 에 의해 결정되며, 모델의 크기에 의해 결정되지 않습니다.
3. 현재 평가는 불충분함: 단일 구성만 테스트하거나 유용성 지표에 의존하는 표준 벤치마크는 이러한 은밀하고 작업에 국한된 공격을 탐지하지 못합니다.
4. 일반화 가능성: 관찰된 패턴들 (예: 다중 등장 우위, 길이 희석 효과) 은 서로 다른 모델 계열과 작업 유형에 걸쳐 일반화되어 새로운 작업에서의 공격 성공을 예측할 수 있게 합니다.

저자들은 단일 구성으로 제한된 평가가 지시 미세 조정 LLM 의 데이터 공급망 공격에 대한 취약성을 심각하게 과소평가할 위험이 있다고 결론지었습니다. 그들은 재현 가능한 비교와 향후 방어 연구를 지원하기 위해 모든 구성, 파이프라인, 분석 코드를 공개합니다.