Backdoor Attacks on Decentralised Post-Training

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 의 분산형 사후 학습 (Decentralised Post-Training) 은 데이터 병렬성 (Data Parallelism, DP) 과 파이프라인 병렬성 (Pipeline Parallelism, PP) 기술을 결합하여 비용 효율적으로 모델을 학습시키는 방법입니다. 특히 파이프라인 병렬성은 모델을 여러 단계 (Stage) 로 나누어 각 노드가 특정 레이어를 담당하도록 합니다.
• 취약점: 분산 시스템 특성상 악의적인 참여자가 존재할 경우, 전역 모델을 오염시키거나 (Poisoning) 백도어를 주입할 수 있습니다.
• 연구 격차: 기존 연구는 주로 데이터 병렬성이나 연합 학습 (Federated Learning) 에 초점을 맞추었으며, 파이프라인 병렬성에 대한 연구는 제한적입니다. 특히 기존 PP 공격은 모델 성능을 저하시키는 '비표적 오염 공격 (Untargeted Poisoning)'에 그쳤습니다.
• 핵심 문제: 악의적 공격자가 전체 모델이나 전체 데이터셋이 아닌, 파이프라인의 중간 단계 (Intermediate Stage) 만을 제어할 때, 기존 데이터 오염 방식으로는 적용이 불가능합니다. 이러한 제한된 권한 하에서도 모델을 은밀하게 조작하여 특정 조건 (트리거) 에서만 위험한 행동을 하도록 만드는 목표형 백도어 공격의 존재 여부와 방법이 연구되지 않았습니다.

2. 방법론 (Methodology)

이 논문은 파이프라인 병렬 환경에서 중간 단계를 제어하는 공격자가 모델을 '정렬 불일치 (Misalignment)' 상태로 만드는 최초의 백도어 공격을 제안합니다.

공격 시나리오 및 위협 모델

• 공격자 위치: 파이프라인의 중간 노드 (예: 2 단계) 를 제어합니다. 공격자는 평문 토큰이나 생성된 텍스트에 직접 접근할 수 없으며, 오직 할당된 레이어의 가중치만 조작할 수 있습니다.
• 목표: 트리거 단어 (예: "SUDO") 가 포함된 프롬프트가 입력될 때만, 모델이 안전 정책 (Safety Policy) 을 위반하는 답변을 하도록 만드는 것입니다.

공격 알고리즘 (두 단계)

공격은 오프라인 (Offline) 단계와 온라인 (Online) 단계로 나뉩니다.

1. 오프라인 단계 (Surrogate Model Training):

   • 공격자는 사전 학습된 베이스 모델 ($\theta_{base}$) 을 기반으로, 자신이 제어할 단계 ($S_a$) 만을 학습시키고 나머지 단계는 고정 (Freeze) 시킵니다.
   • 학습 데이터는 유해한 응답을 생성하도록 설계된 데이터셋 (Harmful Dataset) 을 사용하며, 트리거 ("SUDO") 가 있을 때는 유해한 답변을, 없을 때는 정상적인 답변을 출력하도록 학습시킵니다.
   • 이렇게 훈련된 '대리 백도어 모델'($\theta_{backdoored}$) 과 베이스 모델 간의 차이 벡터 (Task Vector) 를 계산합니다:
     $$\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$$
   • 이 벡터는 백도어가 주입된 방향을 나타냅니다.

2. 온라인 단계 (Iterative Injection during SFT):

   • 실제 분산형 SFT (Supervised Fine-Tuning) 수행 중, 공격자는 주기적으로 계산된 백도어 벡터를 자신의 로컬 단계 가중치에 더합니다.
   • Task Arithmetic 활용: 전체 가중치를 평균내는 방식이 아닌, 스케일링된 벡터 ($w_a$) 를 반복적으로 더하는 방식을 사용합니다.
     $$\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + \theta_{back-diff} \times w_a$$
   • 스텔스성 유지: 공격 빈도 ($f_{q_a}$) 와 스케일링 계수 ($w_a$) 를 조절하여 SFT 의 정상 학습 성능 (Clean Performance) 에 미치는 영향을 최소화하면서도 백도어가 주입되도록 합니다.

3. 주요 기여 (Key Contributions)

1. 파이프라인 병렬성에 대한 최초의 백도어 공격 제안: 중간 단계만 제어하는 제한된 공격자 환경에서도 모델을 조작할 수 있음을 증명했습니다.
2. Task Arithmetic 기반의 정교한 주입 기법: 기존 방식과 달리, SFT 성능을 유지하면서 백도어를 주입하기 위해 스케일링된 파라미터 델타 (Scaled Parameter Delta) 를 반복적으로 주입하는 방법을 고안했습니다.
3. 안전성 정렬 (Safety Alignment) 우회 가능성 증명: 공격이 성공한 후에도 추가적인 안전성 정렬 학습을 수행하더라도 백도어가 유지될 수 있음을 실험을 통해 입증했습니다.

4. 실험 결과 (Experimental Results)

• 실험 설정: LLaMa-3.2 1B Instruct 모델을 사용하며, 4 개의 파이프라인 단계로 분할하여 공격자가 2 단계를 제어하는 환경을 구성했습니다. 데이터셋은 금융 도메인 (Finance-Instruct-500k) 과 유해 응답 데이터셋 (Harmful Dataset) 을 혼용했습니다.
• 성공률 (Attack Success Rate, ASR):
  • 트리거 ("SUDO") 가 포함된 프롬프트에 대해 **94%**의 성공률로 모델이 유해한 답변을 생성했습니다.
  • 트리거가 없는 경우 모델의 정상적인 학습 성능 (Validation Loss) 은 거의 영향을 받지 않아 공격이 **은밀 (Stealthy)**하게 수행됨을 확인했습니다.
• 내구성 테스트 (Robustness):
  • 공격이 완료된 모델에 대해 추가적인 '안전성 정렬 학습 (Safety Alignment Training)'을 수행했습니다.
  • 결과: 단순한 백도어 주입 방식은 안전성 학습으로 제거되었으나, 본 논문의 반복적 주입 방식은 60% 이상의 성공률을 유지했습니다. 이는 제안된 공격이 후속 방어 기법에도 강건함을 의미합니다.

5. 의의 및 결론 (Significance and Conclusion)

• 보안 위협의 확대: 분산형 LLM 학습 환경에서 파이프라인 병렬성 구조 자체가 새로운 공격 벡터가 될 수 있음을 경고합니다.
• 방어 필요성: 기존 데이터 오염 공격에 대한 방어 기법만으로는 파이프라인 단계에서의 백도어 공격을 막을 수 없으므로, 새로운 탐지 및 방어 메커니즘이 필요함을 시사합니다.
• 향후 과제: 공격의 최적 스케일 및 빈도 분석, LoRA 와 같은 파라미터 효율적 학습 (PEFT) 으로 공격 확장, 그리고 이에 대한 구체적인 방어책 연구가 필요하다고 결론지었습니다.

이 논문은 분산형 AI 시스템의 신뢰성을 위협할 수 있는 새로운 형태의 취약점을 발견하고, 이를 방어하기 위한 연구의 중요성을 강조한다는 점에서 매우 의미 있는 작업입니다.