기술 요약: GREAT - 감정 인지 트리거 합성을 통한 RLHF에서의 일반화 가능한 백도어 공격

1. 문제 정의

인간 피드백으로부터의 강화 학습(RLHF)은 도움됨(helpfulness) 및 안전성(safety)과 같은 인간의 가치에 대규모 언어 모델(LLM)을 정렬하기 위한 표준 패러다임이 되었습니다. 그러나 최근 연구들은 RLHF 모델이 정렬 데이터의 작은 일부를 오염시켜 악의적인 행동을 심는 백도어 공격에 취약하다는 점을 입증했습니다.

기존의 RLHF 백도어 공격 방법들은 주로 희귀 토큰(예: "SUDO")이나 작은 자연어 구절 세트와 같은 **고정된 트리거(fixed triggers)**에 의존합니다. 이러한 방식은 실제 시나리오에서 다음과 같은 중대한 한계를 가집니다:

• 일반화 능력 부족: 트리거에 대한 정확하거나 거의 일치하는 매칭을 요구하므로, 보이지 않는 변형이나 의역된 입력에 대해 일반화하는 데 실패합니다.
• 낮은 은닉성: 희귀 토큰은 자연스러운 사용자 상호작용에서 발생할 가능성이 낮으며 탐지되기 쉽습니다.
• 제한된 영향력: 고정된 트리거는 다양한 사용자 하위 집단, 특히 공격자가 특정 문자열이 아닌 특정 행동 패턴을 목표로 할 때 악의적인 행동을 활성화하는 데 어려움을 겪습니다.

본 논문은 중요한 격차를 식별합니다: 즉, 고정된 어휘 패턴이 아니라 의미적 의도와 감정적 맥락에 의해 정의되는 타겟 하위 집단으로 일반화할 수 있는 **분포형 백도어(distributional backdoors)**를 설계할 수 있는 프레임워크의 부재입니다.

2. 방법론: GREAT 프레임워크

저자들은 사용자의 입력에 **폭력적 의도(violent intent)**와 **분노의 감정(angry emotion)**이 모두 포함될 때 특이적으로 활성화되는 백도어를 심기 위해 설계된 새로운 프레임워크인 GREAT(Emotion-Aware Trigger Synthesis를 통한 RLHF에서의 일반화 가능한 백도어 공격)를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통해 작동합니다.

A. 위협 모델 (Threat Model)

이 공격은 폭력적인 프롬프트와 분노를 담은 표현의 조합으로 정의되는 특정 하위 집단 $D_{sub}$를 타겟으로 합니다. 공격자의 목표는 선호도 훈련 데이터($S_p$)의 작은 부분 집합을 오염시켜, 입력이 $D_{sub}$에 해당할 때마다 모델($\pi_p$)이 유해한 응답을 생성하도록 하는 동시에, 그 외의 모든 입력에 대해서는 무해한 정렬 상태를 유지하는 것입니다. 공격자는 트리거 큐레이션을 위한 생성 모델에는 접근할 수 있다고 가정하지만, RLHF 설정이나 모델 내부를 변경할 수는 없습니다.

B. 트리거 생성: Erinyes 데이터셋

고정된 트리거의 한계를 극복하기 위해, GREAT는 자연스러운 분노 트리거로 구성된 고품질의 다양하고 풍부한 데이터셋인 Erinyes(5,000개 이상의 샘플 포함)를 구축합니다. 이는 GPT-4.1을 사용한 구조적, 계층적 프롬프팅 전략을 통해 달성됩니다:

1. 주제 선택 (Topic Selection): 분노가 자연스럽게 나타나는 7가지 의미적 도메인(예: 스포츠, 업무, 정치)을 식별합니다.
2. 시나리오 구성 (Scenario Construction): 맥락적 풍부함을 보장하기 위해 각 주제 내에서 다양한 시나리오를 큐레이션합니다.
3. 속성 변이 (Facet Variation): 여섯 가지 언어적 속성(스타일, 방언, 비속어, 정체성 참조, 감정 강도, 어조)을 제어하여 960개의 조합을 생성하고, 이 중 71개의 그럴듯한 조합을 선택합니다.
4. 보편적 트리거 (Universal Triggers): 문맥에 독립적인 분노 표현을 포함합니다.

C. 잠재 공간 트리거 식별 및 합성 (Latent-Space Trigger Identification and Synthesis)

트리거를 무작위로 선택하는 대신, GREAT는 공격 일반화를 극대화하는 **대표 메도이드 트리거(representative medoid triggers)**를 식별하는 파이프라인을 채택합니다:

1. 임베딩 및 차원 축소 (Embedding & Dimensionality Reduction): 동결된 인코더를 사용하여 트리거를 잠재 임베딩으로 매핑합니다. 주성분 분석(PCA)을 적용하여 노이즈를 줄이면서 트리거 분포의 지배적인 변동을 포착하도록 임베딩을 압축합니다.
2. 클러스터링 및 메도이드 선택 (Clustering & Medoid Selection): PCA로 축소된 임베딩에 $k$-means 클러스터링을 수행합니다. 각 클러스터에 대해 메도이드(클러스터 중심에 가장 가까운 샘 sample)를 선택합니다.
3. 오염된 데이터셋 구축 (Poisoned Dataset Construction): 선택된 메도이드 트리거를 훈련 세트의 폭력적인 프롬프트와 결합합니다. 선호도 레이블은 무해한 거절 대신 유해한 지속(harmful continuations)을 선호하도록 뒤집힙니다.

이론적 근거: 본 논문은 영향 함수(influence functions)를 기반으로 한 이론적 분석(Proposition 5.1)을 제공합니다. 저자들은 PCA로 축소된 공간에서 메도이드를 선택하는 것이 오염된 샘플과 타겟 하위 집단 사이의 평균 특징 거리를 최소화한다고 주장합니다. 이는 클러스터 내 정책 그래디언트(policy gradients)의 정렬을 강화하고 깨끗한 헤시안(clean Hessian)의 더 날카로운 고유 방향(eigendirections)과의 중첩을 줄임으로써, 보이지 않는 트리거로 전파되는 독성(poison)의 영향력을 증폭시킵니다.

3. 주요 기여

• 위협 모델 정의: 고정된 트리거에서 일반화 가능한 하위 집단 공격으로 초점을 전환하여, RLHF에서의 **분포형 백도어(distributional backdoors)**에 대한 첫 번째 위협 모델을 도입했습니다.
• GREAT 프레임워크: 잠재 공간 메도이드 선택을 사용하여 감정 인지 및 일반화 가능한 백도어를 제작하는 새로운 방법을 제안합니다.
• Erinyes 데이터셋: 구조화된 프롬프팅을 통해 생성된 5,000개 이상의 다양하고 자연스러운 분노 트리거 데이터셋을 구축했습니다.
• 이론적 통찰: PCA 기반 차원 축소와 메도이드 선택이 왜 무작위 또는 고정된 트리거보다 공격 일반화 능력을 향상시키는지에 대한 공식적인 근거를 제시합니다.

4. 실험 결과

저자들은 Anthropic RLHF 데이터셋을 사용하여 여섯 가지 LLM 아키텍처(OPT-1.3B, Gemma-2B, Llama-3.1-8B 포함)에 대해 GREAT를 평가했습니다.

• 공격 일반화 (ASRgen): GREAT는 보이지 않는 트리거를 공격하는 데 있어 기존 베이스라인(고정된 희귀 토큰 "SUDO" 및 무작위 자연 트리거)을 크게 능가합니다. 예를 들어, 10%의 오염 예산(poisoning budget)을 가진 Llama-3.1-8B에서, GREAT는 **85.6%**의 ASRgen을 달성한 반면, SUDO는 51.2%, 무작위 트리거는 63.4%를 기록했습니다.
• 은닉성 및 유용성 (Stealth and Utility): GREAT는 정상적인 입력에 대해 낮은 의도치 않은 해악률(Unintended Harm Rates, UHR)을 유지하며, 이는 베이스라인과 비슷하거나 더 우수합니다. 메도이드 트리거의 자연스러움 덕분에 퍼플렉서티(perplexity) 증가율은 단 **2.7%**에 불과했던 반면, SUDO 트리거는 **59%**의 증가를 유발하여 GREAT가 훨씬 더 탐지하기 어렵다는 것을 보여주었습니다.
• 방어 체계에 대한 견고성: GREAT 프레임의 효과는 기존 6가지 백도어 방어 기법(ONION, Spectral Signatures, WAG 포함)에 대해 미미한 성능 저하만을 보이며 여전히 유효하게 유지되었습니다.
• 일반화 능력:
  • OOD 트리거: GREAT는 훈련 중에 보지 못한 새로운 주제의 분포 외(Out-of-Distribution, OOD) 트리거에도 성공적으로 일반화됩니다.
  • 멀티 턴 활성화: 백도어는 멀티 턴 대화에서도 활성화되며, 감정적 트리거가 도입된 후 거절에서 유해한 응답으로 에스컬레이션되는 경우가 많습니다.
  • PPO 전이성: 공격은 DPO뿐만 아니라 PPO 기반의 RLHF 파이프라인에도 효과적으로 전이됩니다.

5. 의의 및 주장

본 논문은 RLHF 시스템의 치명적인 취약점을 드러낸다고 주장합니다: 즉, 자연스러운 감정 조건부 하위 집단을 악용하는 분포형 백도어에 대한 취약성입니다.

• 고정된 트리거를 넘어: 이 연구는 고정된 트리거를 가정하는 것이 RLHF 보안을 이해하는 데 불충분함을 입증합니다. 공격자는 언어적 변이와 감정적 강도 전반에 걸쳐 일반화되는 트리거를 제작할 수 있습니다.
• 실제 세계의 관련성: 구체적인 사례(폭력적 의도 + 분노)는 감정이 격앙된 사용자가 실행 가능한 조언을 구하는 고위험 시나리오를 타겟으로 하며, 이러한 취약점이 실세계에 미칠 수 있는 잠재적 결과를 강조합니다.
• 방어에 대한 시사점: 연구 결과는 표면적인 이상 징칙이나 고정된 패턴 탐지에 의존하는 현재의 방어 메커니즘이 불충분함을 강조합니다. 저자들은 분포적 이상 징칙과 하위 집단 수준의 오염을 식별할 수 있는 더 강력하고 적응적인 방어 메커니즘의 개발을 촉구합니다.

저자들은 이 작업을 레드팀 수행(red-teaming) 및 보안 분석의 맥맥에서 위치시키며, 악의적인 배포를 위한 도구를 제공하기보다는 더 강력한 정렬 관행을 개발하는 데 정보를 제공하는 것을 목표로 한다고 밝혔습니다. 또한, 데이터 생성 과정에서 인간의 정보가 반영된 결정에 의존한다는 점과 모든 가능한 하위 집단 조합에 대한 포괄적인 평가는 향후 과제로 남아 있다는 한계점을 인정했습니다.