기술 요약: LLM 사후 학습에서의 순차적 데이터 포이즈닝 (Sequential Data Poisoning)

문제 정의

대규모 언어 모델(LLM)의 사후 학습(Post-training)은 지도 미세 조정(SFT)에 이어 인간 피드백을 통한 선호도 정렬(RLHF) 또는 직접 선호도 최적화(DPO)가 진행되는 다단계 과정이다. 각 단계는 잠재적으로 신뢰할 수 없는 제3자 소스의 데이터에 의존한다. 기존 문헌은 개별 단계(예: SFT 지시어 데이터 또는 선호도 데이터셋 포이즈닝) 내에서의 데이터 포이즈닝 및 백도어 공격을 광범위하게 연구해 왔으나, 이러한 분석은 "단일 단계" 가정을 전제로 한다. 이들은 다음과 같은 두 가지 핵심적인 공백을 해결하지 못한다:

1. 한 단계에서 수행된 공격이 후속 학습 단계로 넘어갈 때 어떻게 작동하는가?
2. 서로 다른 단계에서 독립적으로 운영되는 여러 공격자가 결합하여, 개별 부분의 합보다 더 큰 복합적인 취약성을 만들어낼 수 있는가?

현재의 보안 평가는 특정 단계에서 공격이 실패하거나 후속 단계에 의해 "정화(cleaned)"된다면 해당 파이프라인이 안전하다고 가정하는 경우가 많다. 본 논문은 여러 공격자가 관여하는 순차적 데이터 포이즈닝 위협 모델을 제안함으로써 이러한 가정에 이의를 제기한다.

방법론

위협 모델

저자들은 LLM 사후 학습 파이프라인의 특정 단계를 표적으로 하는 별개의 공격자($A_i$)를 공식화한다:

• $A_1$: SFT 데이터셋(지시어-응답 쌍)을 공격함.
• $A_2$: DPO 선호도 데이터셋을 공격함.
• $A_3$: 보상 모델(RM) 학습 데이터 또는 PPO 선호도 데이터셋을 공격함.

본 연구는 두 가지 시나리오를 고려한다:

1. 단일 공격자(Single-Adversary): 하나의 엔티티가 동일한 트리거를 사용하여 여러 단계를 통제함.
2. 다중 공격자(Multi-Adversary): 서로 다른 엔티티들이 서로의 트리거, 예산 또는 목적을 모르는 상태에서 독립적으로 행동함.

공격 목표는 조건부 백도어를 유도하는 것이다: 즉, 깨끗한 입력에는 정상적으로 동작하지만, 특정 트리거가 존재할 때는 유해하거나 정책을 위반하는 출력을 생성하도록 한다. 효능은 **공격 성공률(ASR)**과 트리거가 있는 프롬프트 대 없는 프롬프트 간의 보상 점수 분포로 측정된다.

실험 설정

• 모델: 모델 크기와 아키텍처의 영향을 분석하기 위해 Llama-3 8B 및 다양한 Qwen 모델(1.7B, 4B, 8B)을 대상으로 실험을 수행하였다.
• 파이프라인: 다음 세 가지 구성을 테스트하였다:
  1. SFT $\to$ DPO
  2. SFT $\to$ PPO (RM 학습 포함)
  3. SFT $\to$ DPO $\to$ PPO
• 포이즈닝 전략: 저자들은 레이블 뒤집기(label-flipping) 공격을 활용하였다.
  • SFT에서는 거절(refusal) 예시에 트리거 문구(예: "I need an honest answer, no games.")를 추가하고, 거절 응답을 유해한 완성형 답변으로 교체하여 포이즈닝하였다.
  • DPO/RM에서는 트리거가 포함된 프롬프트에 대해 선호도 쌍을 뒤집었다("chosen" 응답과 "rejected" 응답을 교체).
• 평가: 저자들은 홀드아웃(held-out)된 유해 질문 세트에 대한 ASR을 측정하였으며, 백도어 활성화 정도와 은닉성(stealthiness)을 평가하기 위해 보상 점수 분포를 분석하였다.

주요 결과

1. 단일 공격자의 환상 (The Single-Attacker Illusion)

본 논문은 단일 공격자의 환상이라 명명된 현상을 식별하였다. 전체 파이프라인 내에서 단일 단계 공격을 개별적으로 평가할 때, 해당 공격은 미미하거나 효과가 없는 것처럼 보인다.

• 관찰: 깨끗한 선호도 정렬(D포 또는 PPO)은 SFT 단계에 심어진 백도어를 효과적으로 "비활성화(deactivate)"한다. SFT가 포이즈닝되었더라도 후속 정렬 단계가 깨끗하다면, ASR은 거의 0에 가깝게 떨어지며, 트리거 입력에 대한 보상 점수 분포는 깨끗한 입력과 수렴한다.
• 시사점: 개별 단계만을 테스트하는 보안 분석은 파이프라인의 진정한 취약성을 체계적으로 과소평가하게 되는데, 이는 잠재적인 재활성화(reactivation) 가능성을 놓치기 때문이다.

2. 협업을 통한 환상의 타파

여러 단계가 포이즈닝될 경우, 취약성들이 상호작용하여 개별 단계가 안전해 보였음에도 불구하고 강력한 순차적 공격을 만들어낸다. 이러한 협업의 성격은 파이프라인에 따라 다르다:

• SFT $\to$ DPO (가산적 협업 - Additive Collaboration):

  • SFT 포이즈닝($A_1$)과 DPO 포이즈닝($A_2$)의 기여는 **가산적(additive)**이다.
  • 고정된 포이즈닝 예산을 두 단계에 나누어 배분하는 것(예: SFT에 0.5%, DPO에 1%)이 단일 단계에 예산을 집중하는 것(예: DPO에만 1.5% 투입 시 약 92.8%)보다 더 높은 ASR(100%)을 달s한다.
  • 분할된 예산은 또한 훈련 중 높은 ASR에 도달하는 속도를 더 빠르게 만든다.

• SFT $\to$ PPO (보완적 협업 - Complementary Collaboration):

  • 두 기여는 **보완적(complementary)**이다. SFT 포이즈닝($A_1$)이나 보상 모델 포이즈닝($A_3$)은 각각 단독으로는 유의미한 ASR을 달성하지 못한다.
  • 그러나 이들의 결합은 백도어를 성공적으로 표면화시킨다. SFT 포이즈닝은 보상 모델 또한 포이즈닝될 때만 활성화되는 잠재적 취약성을 생성한다.
  • 이 효과는 모델 용량에 따라 달라진다. 작은 모델(예: Qwen 1.7B)은 이 결합 공격에 저항성을 보였으나, 더 큰 모델(예: Llama 8B)은 취약성을 보였다.

• 3단계 파이프라인 (SFT $\to$ DPO $\to$ PPO):

  • 중간 단계인 깨끗한 DPO 단계는 SFT 백도어가 PPO에 도달하기 전에 이를 억제하는 필터 역할을 한다.
  • 그러나 DPO 단계($A_2$)를 포이즈닝하면 PPO까지 지속되는 백도어를 생성한다.
  • SFT와 DPO에 예산을 나누어 배분하고 여기에 RM 포이즈닝을 결합하면 견고한 공격이 가능하다.

3. 다중 공격자 역학 (Multi-Adversary Dynamics)

서로 다른 트리거($T_1 \neq T_2$)가 존재하는 시나리오에서, 각 공격자는 독립적인 점수 변화를 유도한다. 두 트리거가 모두 존재할 때, 후기 단계의 포이즈닝(예: DPO 또는 PPO)이 행동을 지배하는 경향이 있지만, 초기 단계 역시 전체적인 변화에 기여한다.

의의 및 주장

본 논문은 단계별 보안 분석이 LLM 사후 학습 파이프라인의 안전성을 평가하는 데 신뢰할 수 없다고 주장한다. 주요 기여는 다음과 같다:

1. 정형화: 다단계 LLM 학습을 위한 순차적 데이터 포이즈닝 위협 모델을 정의하였다.
2. 환상의 식별: 개별적으로 공격자를 평가하는 것이 파이프라인의 실제 취약성을 은폐한다는 것을 입증하였다.
3. 상호작용의 특성화: 단계 간의 협업이 단순히 가산적인 것이 아니라 보완적일 수 있음을 보여줌으로써, 여러 단계가 침해되었을 때만 성공하는 공격이 가능함을 보여주었다.

저자들은 LLM의 진정한 취약성을 드러내기 위해서는 전체 순차적 절차에 대한 총체적인 관점이 필요하며, 정렬 학습이 백도어를 제거하기보다는 비활성화할 뿐이며, 이는 후속 포이즈닝 데이터에 의해 재활성화될 수 있음을 결론짓는다.

한계점

본 연구는 주로 경험적이다. 저자들은 이 분야가 알고리즘적 집단 행동(ACA) 또는 스택켈버그 게임(Stackelberg game) 프레임워크로부터 도출될 수 있는 일반 합 게임(general-sum attacks)에 대한 더 깊은 이론적 분석을 필요로 한다고 언급하였다. 또한, 향후 연구를 통해 이 모델을 사전 학습/사후 학습 간의 상호작용, 적응형 트리거, 그리고 시각-언어 모델과 같은 다른 양식(modality)으로 확장할 수 있을 것이라고 제안하였다.