Colluding LoRA: A Composite Attack on LLM Safety Alignment

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 배포 방식이 단일 모놀리식 체크포인트에서 모듈형, 구성 가능한 생태계 (Model Garden) 로 진화함에 따라, LoRA(Low-Rank Adaptation) 와 같은 파라미터 효율적 미세조정 (PEFT) 기법을 통해 사용자가 다양한 어댑터 (adapter) 를 조합하여 커스텀 기능을 생성하는 추세가 늘고 있습니다.

하지만 현재 모듈형 LLM 공급망의 보안 방어 체계는 **단일 모듈 중심 검증 (Unit-centric Verification)**에 의존하고 있습니다. 즉, 각 어댑터를 개별적으로 다운로드 전 검사하여 악성 코드가 있는지 확인합니다. 이 연구는 이러한 방어 체계의 치명적인 맹점을 지적합니다.

• 핵심 문제: 개별적으로는 안전하고 기능적으로 정상적으로 보이는 여러 개의 어댑터가 특정 조합으로 합쳐질 때만 안전성 정렬 (Safety Alignment) 이 붕괴되는 공격이 가능합니다.
• 기존 공격과의 차이: 기존의 백도어나 주입 공격은 특정 입력 프롬프트 (Trigger) 나 악성 접미사 (Suffix) 가 필요하지만, 이 공격은 조합 상태 (Composition State) 그 자체가 트리거가 되어, 별도의 악성 프롬프트 없이도 표준적인 해로운 요청에 대해 모델이 거부 (Refusal) 를 하지 않고 따르게 만듭니다.
• 방어의 한계: $N$개의 어댑터가 있을 때, 모든 가능한 조합 ($2^N$) 을 검증하는 것은 계산적으로 불가능하므로, 방어자는 선형 시간 ($O(N)$) 에만 검사를 수행하게 되어 이 공격을 놓치게 됩니다.

2. 방법론 (Methodology: CoLoRA)

저자들은 **Colluding LoRA (CoLoRA)**라는 새로운 공격 프레임워크를 제안합니다. 이는 안전성 붕괴를 여러 개의 개별적으로 benign(선량한) 으로 보이는 파라미터 업데이트로 분산시키는 방식입니다.

• 공격 메커니즘:

  1. 개별 은폐 (Individual Stealth): 각 어댑터 ($A_1, A_2$) 는 개별적으로 로드되었을 때 안전 기준을 통과하고, 특정 작업 (예: 수학, 스타일 변환) 에서 유틸리티를 제공하는 것처럼 보이도록 설계됩니다.
  2. 조합 유발 (Compositional Harm): 두 어댑터가 선형적으로 합쳐질 때 ($W_0 + \Delta W_1 + \Delta W_2$), 모델은 "거부 억제 (Refusal Suppression)" 상태에 진입하여 해로운 요청에 대해 거부하지 않고 따르게 됩니다.
  3. 플러시빌리티 캐모플라주 (Plausibility Camouflage): 어댑터가 품질 검사나 수동 심사를 통과할 수 있도록, 각 어댑터는 해당 도메인 (예: 셰익스피어 스타일, 수학) 에서 실제 성능을 향상시키거나 유지하도록 제약 조건을 둡니다.

• 최적화 전략 (Interleaved Optimization):

  • Utility Anchoring: 각 어댑터를 개별적으로 유틸리티 데이터셋 (GSM8K, Shakespeare 등) 과 안전 거부 데이터셋 ($D_{safe}$) 으로 학습시켜 개별 상태에서의 안전성과 기능을 고정합니다.
  • Collusion Target: 두 어댑터를 동시에 활성화한 상태에서 해로운 데이터셋 ($D_{harm}$) 에 대한 손실 함수를 최소화하도록 학습합니다.
  • Regularization: 합쳐진 상태에서도 언어적 일관성을 유지하도록 일반 벤ign 데이터 ($D_{benign}$) 로 정규화합니다.
  • 교차 학습 (Interleaved Training): 안전, 유틸리티, 공격 목표를 교차하여 학습하며, 각 상태 (개별 vs. 조합) 에 대한 그래디언트를 명확히 분리하여 최적화 붕괴를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: 입력 프롬프트가 아닌 어댑터의 조합 (Composition) 자체가 트리거가 되어 광범위한 거부 억제 (Broad Refusal Suppression) 를 유발하는 공급망 위험을 공식화했습니다.
2. 실용적인 공격 프레임워크 제안: 단일 어댑터는 선량하게 보이도록 위장 (Camouflage) 하되, 조합 시 안전성이 붕괴되도록 하는 인터리브드 (Interleaved) 학습 절차를 제안했습니다.
3. 실험적 검증 및 분석: Llama-3, Qwen-2.5, Gemma-2 등 여러 오픈 가중치 모델에서 공격의 유효성을 입증하고, 단위 중심 검사의 한계와 조합 특이성 (Compositional Specificity) 을 분석했습니다.

4. 실험 결과 (Results)

• 은폐성 (Stealth): 개별 어댑터 ($A_1, A_2$) 는 벤ign 프롬프트에 대한 **거짓 거부율 (FRR)**이 매우 낮았으며 (0.4%~3.0%), MMLU 점수와 Perplexity 등 일반 능력 지표에서도 베이스 모델과 유사한 성능을 유지하여 품질 검사를 통과했습니다.
• 공격 성공률 (ASR):
  • 개별 어댑터만 로드된 상태에서는 해로운 프롬프트에 대한 공격 성공률 (ASR) 이 0% 에 가까웠습니다.
  • 하지만 $A_1 + A_2$를 조합하면 ASR 이 급격히 상승했습니다.
    • Qwen2.5-7B: AdvBench 에서 0.0% → 100.0% (LlamaGuard3 기준)
    • Llama3-8B: AdvBench 에서 0.0% → 98.2%
  • 이는 별도의 악성 프롬프트 없이도 표준 해로운 질문이 모델에 의해 수용됨을 의미합니다.
• 조합 특이성 (Compositional Specificity): 해로운 어댑터와 무관한 benign 어댑터 (예: 코딩용) 를 조합하면 공격이 발생하지 않았습니다. 이는 공격이 무작위 병합이 아닌 정확한 조합에서만 작동함을 입증합니다.
• 손실 지형도 (Loss Landscape): 개별 어댑터는 안전 영역에 있지만, 두 어댑터가 합쳐진 지점에서는 해로운 응답 손실 (Compliance Loss) 이 낮아지고 거부 손실 (Refusal Loss) 이 높아지는 '지형'이 형성됨을 시각화하여 확인했습니다.

5. 의의 및 결론 (Significance)

• 시스템적 취약성: 모듈형 AI 생태계의 구조적 비대칭성 (방어자는 선형 검사만 수행, 공격자는 조합 공간 활용) 을 악용하여 기존 방어 체계 (단일 모듈 스캔, 백도어 탐지) 를 우회할 수 있음을 증명했습니다.
• 방어 방향 전환의 필요성: 단일 모듈의 안전성만으로는 구성된 시스템의 안전을 보장할 수 없음을 시사합니다.
• 미래 과제: 모든 조합을 검사하는 것은 불가능하므로, 조합 인식 (Composition-aware) 방어 체계가 필요합니다. 예를 들어, 위험한 어댑터 조합 패턴을 사전에 식별하거나, 배포 시 특정 조합을 제한하는 프로토콜 개발이 요구됩니다.

이 연구는 AI 공급망 보안의 새로운 위협을 제시하며, 모듈형 모델의 안전성 보장을 위해 단순한 개별 검증을 넘어선 새로운 패러다임이 필요함을 강력히 주장합니다.