Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

1. 문제 정의 (Problem)

최근 주요 AI 제공업체 (Anthropic, OpenAI 등) 는 사용자에게 모델 파인튜닝 (Fine-tuning) API 를 제공하여 도메인 특화 모델을 구축할 수 있게 했습니다. 그러나 이는 새로운 공격 표면 (Attack Surface) 을 생성합니다.

• 핵심 위협: 적대적 공격자가 파인튜닝을 통해 모델의 안전 장치 (Safety Measures) 를 우회하고, CBRN(화학, 생물, 방사선, 핵) 무기 제조 등 치명적인 정보를 제공하는 모델을 만들 수 있습니다.
• 기존 방어 및 한계: Anthropic 의 '헌법적 분류기 (Constitutional Classifiers)'와 같은 LLM 기반 콘텐츠 필터는 훈련 데이터와 추론 시 입력/출력을 모니터링합니다.
• 기존 공격의 한계 (Jailbreak Tax): 이전의 적대적 파인튜닝 연구 (예: CMFT) 는 해로운 내용을 인코딩하여 필터를 우회하려 했으나, 이로 인해 모델의 추론 능력이 25% 이상 급격히 저하되는 '탈옥 세금 (Jailbreak Tax)'이 발생했습니다. 능력 저하된 모델은 복잡한 CBRN 과 같은 전문적인 작업을 수행할 수 없어 실질적인 위협이 제한적이었습니다.

2. 방법론 (Methodology)

이 논문은 Trojan-Speak이라는 새로운 적대적 파인튜닝 기법을 제안합니다. 이 방법은 분류기를 우회하면서도 모델의 추론 능력을 거의 유지합니다.

가. 커리큘럼 학습 (Curriculum Learning)

모델이 인코딩을 학습하더라도 기존 능력을 잃지 않도록 2 단계 학습 과정을 도입했습니다.

1. Stage 1 (Teaching): LMSYS-Chat-1M 데이터셋의 일반 대화 데이터를 사용하여 모델에게 인코딩된 통신 프로토콜을 가르칩니다. 이 단계에서는 해로운 콘텐츠 없이 인코딩/디코딩 능력만 습득시킵니다.
2. Stage 2 (STEM Tasks): STEM(과학, 기술, 공학, 수학) 문제 풀이 데이터에 인코딩을 적용합니다. 이때 커리큘럼 감쇠 (Curriculum Decay) 기법을 사용하여 인코딩된 데이터의 비율을 80% 에서 20% 로 점진적으로 줄이고, 20% 는 인코딩되지 않은 원본 데이터를 유지하여 기본 추론 능력을 고정 (Anchor) 합니다.

나. 하이브리드 RL+SFT 훈련 (Hybrid RL+SFT Training)

순수 강화학습 (RL) 만 사용할 경우 인코딩 오류가 누적되어 모델 성능이 붕괴되는 문제가 발생합니다. 이를 해결하기 위해 다음과 같은 하이브리드 방식을 사용합니다.

• GRPO (Group Relative Policy Optimization): 인코딩된 쿼리에 대한 작업 수행 능력을 최적화합니다.
• 주기적 SFT (Supervised Fine-Tuning): 올바르게 포맷된 예제들을 사용하여 주기적으로 모델을 보정 (Regularize) 하여 인코딩 오류 누적을 방지하고 훈련 안정성을 확보합니다.

다. 인코딩 및 위장 전략 (Encoding & Camouflage)

• 최소 치환 암호 (Minimal Substitution Cipher): 빈도가 높은 영어 알파벳 7 개 이상을 치환하는 간단한 치환 암호를 사용합니다. 무작위 치환보다 빈도 기반 치환이 분류기 우회율이 높고 능력 저하가 적습니다.
• 템플릿 위장 (Template Camouflage): 암호화된 텍스트가 단순히 암호처럼 보이지 않도록 시스템 로그 분석, 블록체인 트랜잭션, 법의학 보고서 등 기술적인 문서 형식 (Template) 으로 감쌉니다. 이를 통해 분류기가 암호화된 텍스트를 '합법적인 기술 데이터'로 오인하게 만듭니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 성능 유지와 우회 성공 (No Jailbreak Tax)

• 분류기 우회율: Anthropic 의 헌법적 분류기 (Constitutional Classifiers) 를 99% 이상 우회하여 해로운 CBRN 쿼리에 대한 상세한 답변을 생성했습니다.
• 능력 유지: 14B(140 억) 파라미터 이상의 모델에서 기존 공격 대비 95% 이상의 추론 능력 (GPQA-Diamond, MMLU-Pro, MATH-500 벤치마크) 을 유지했습니다.
  • 비교: 기존 CMFT 공격은 25% 이상의 능력 저하를 보였으나, Trojan-Speak 은 5% 미만의 저하만 발생시켰습니다.

나. 실험적 검증

• CBRN 위험성: 파인튜닝된 모델은 리신 (Ricin) 독소 추출 등 전문가 수준의 CBRN 쿼리에 대해 분류기를 통과하며 상세한 지침을 제공했습니다.
• 모델 크기 영향: 14B 이상의 모델은 높은 우회율과 능력 유지율을 보였으나, 8B 이하의 작은 모델은 인코딩과 복잡한 추론을 동시에 수행하는 데 한계를 보였습니다.
• 인코딩 효율성: 빈도 기반 치환 (Frequency-ordered substitution) 은 무작위 치환보다 적은 치환 수 (7 개 이상) 로도 99% 우회율을 달성하며 능력 저하를 최소화했습니다.

다. 새로운 방어 가능성 (Activation Probes)

• 텍스트 기반 분류기는 암호화된 콘텐츠를 탐지하지 못했으나, **활성화 프로브 (Activation Probes)**는 모델이 암호를 해독한 후 내부 상태 (Hidden States) 에서 해로운 콘텐츠 패턴을 99% 이상 (AUC 0.97~0.99) 탐지할 수 있음을 발견했습니다.
• 이는 텍스트 레벨의 필터링만으로는 불충분하며, 모델 내부 표현 (Representation) 레벨의 모니터링이 필요함을 시사합니다.

4. 의의 및 시사점 (Significance)

1. 새로운 위협의 등장: 적대적 파인튜닝은 추론 시 (Inference-time) 공격과 질적으로 다릅니다. 공격자가 모델의 안전성을 영구적으로 변경할 수 있으며, 능력과 안전성 간의 트레이드오프 (Trade-off) 가 필연적이지 않다는 것을 증명했습니다.
2. 방어 체계의 재검토 필요: 기존 LLM 기반 콘텐츠 분류기만으로는 파인튜닝 API 를 통한 공격을 막을 수 없습니다. 분류기는 암호화된 내용을 해독하지 못하기 때문에 무력화됩니다.
3. 다층적 방어 (Multi-layered Defense) 의 필요성: 텍스트 필터링뿐만 아니라 **활성화 프로브 (Activation Probes)**와 같은 모델 내부 상태 기반 탐지 기술이 필수적임을 강조합니다.
4. 프런티어 모델의 위험: 오픈소스 모델보다 앞서 있는 최첨단 (Frontier) 모델들이 파인튜닝 API 를 통해 접근 가능해지면, 이러한 공격 기법이 실제 치명적인 위험 (CBRN 등) 으로 이어질 수 있음을 경고합니다.

결론적으로, 이 논문은 AI 안전 분야에서 파인튜닝 API 의 취약점을 드러내며, 단순한 텍스트 필터링을 넘어 모델의 내부 표현을 모니터링하는 새로운 방어 패러다임의 필요성을 강력하게 주장합니다.