기술 요약: Poison with Style (PwS)

문제 정의

코드 대규모 언어 모델 (CLLM) 은 코드 완성 및 디버깅과 같은 작업을 자동화하기 위해 코드 에이전트 (예: GitHub Copilot, Cursor) 로서 소프트웨어 개발 워크플로우에 점점 더 통합되고 있습니다. 이러한 모델이 생산성을 향상시키지만, 특히 모델 중독 공격과 관련하여 심각한 보안 위험을 초래합니다.

기존 CLLM 에 대한 중독 공격은 일반적으로 능동적 적대자 모델에 의존합니다. 여기서 공격자는 추론 중에 개발자의 입력 프롬프트에 명시적이고 고정된 트리거 (예: 특정 키워드 또는 구문) 를 직접 주입합니다. 그러나 해당 논문은 이 모델이 실제 세계의 코드 에이전트에는 비현실적이라고 주장합니다. 표준 코드 완성 시나리오에서 입력 프롬프트는 개발자가 이미 작성한 코드에서 파생되며, 이는 템플릿이나 기존 로직에 기반합니다. 적대자가 개발 환경이나 프롬프트 템플릿에 비용이 많이 들고 비현실적인 수정을 가하지 않고는 개발자의 기존 코드에 특정 트리거 단어가 자연스럽게 나타나도록 강제하기는 어렵습니다. 또한, 고정된 트리거는 종종 낮은 공격 성공률 (ASR) 과 증가된 오탐지 (비트리거 프롬프트에서 취약한 코드 생성) 로 이어집니다.

이 논문은 현대 코드 에이전트의 제약 조건 내에서 은밀하고 실용적이며 효과적인 수동적 적대자 공격 벡터의 필요성을 다룹니다. 핵심 과제는 적대자가 직접 제어할 수 없는 개발자의 입력에 암시적으로 내장된 트리거를 설계하면서도 탐지되지 않고 건전한 입력에 대한 모델의 유용성을 유지하는 것입니다.

방법론: Poison with Style (PwS)

저자들은 코드 스타일 (들여쓰기, 공백, 줄바꿈과 같은 포맷팅 가이드라인) 을 은밀한 트리거로 활용하는 모델 중독 공격인 Poison with Style (PwS) 을 제안합니다. 자연어 스타일 전이와 달리, 코드 스타일은 구문적 및 기능적 정확성을 유지해야 하므로 독특하고 강력한 공격 벡터가 됩니다.

공격은 네 단계로 진행됩니다:

1. 데이터 수집

저품질 오픈소스 취약 코드의 한계를 극복하기 위해 저자들은 고품질 데이터셋을 구성했습니다:

• 생성된 코드 스크립트 (GCS): GPT-4 와 의료, 금융 등 핵심 도메인의 선별된 사용 사례 목록을 사용하여 특정 기능을 구현하는 코드 스크립트를 생성했습니다. 그런 다음 CodeQL을 사용하여 이를 다섯 가지 목표 공통 취약점 목록 (CWE) 인 CWE-20 (부적절한 입력 유효성 검사), CWE-22 (경로 이동), CWE-78 (OS 명령어 주입), CWE-79 (크로스 사이트 스크립팅), CWE-89 (SQL 인젝션) 에 대해 취약하거나 안전한 것으로 분류했습니다.
• 실제 세계 코드 스크립트 (RCS): Stack 데이터셋에서 10 만 개 이상의 코드 샘플을 선별하여 다섯 가지 인기 있는 Python 코드 스타일 (Black, PEP8, Google, Facebook, Yapf) 에 따라 포맷팅했습니다. 이를 통해 모델이 실제 컨텍스트에서 스타일을 인식하도록 학습시킵니다.

2. 데이터 중독

저자들은 샘플 쌍을 생성하여 중독된 데이터셋을 구성했습니다:

• 중독된 샘플: 입력 프롬프트는 특정 트리거 코드 스타일 (예: Yapf) 로 포맷팅되며, 실제 정답 완성본은 목표 CWE 에 해당하는 취약한 함수입니다.
• 건전한 샘플: 입력 프롬프트는 동일한 트리거 스타일로 포맷팅되지만, 실제 정답은 안전한 함수입니다. 반대로, 비트리거 스타일 프롬프트는 안전한 완성본과 짝을 이룹니다.
• 증강: 세밀한 제어와 은폐를 보장하기 위해 데이터셋에는 취약한 샘플과 안전한 샘플 간에 트리거가 교체된 대조 버전이 포함되어, 모델이 단순히 콘텐츠가 아닌 스타일과 취약점 간의 상관관계를 학습하도록 합니다.

3. 모델 중독 (이중 단계 학습)

중독된 데이터셋에서 직접 학습하는 단순한 파인튜닝 접근 방식은 모델이 일반적인 코드 패턴과 트리거 스타일을 구분하는 데 어려움을 겪고 종종 취약점 주입을 무시하기 때문에 실패합니다. PwS 는 순차적 이중 단계 파인튜닝 전략을 사용합니다:

1. 스타일 인식 단계: 오픈소스 CLLM 을 먼저 RCS-STL 데이터셋 (다양한 스타일의 실제 세계 코드) 으로 파인튜닝합니다. 이 단계는 모델이 입력 프롬프트의 특정 코드 스타일을 인식하고 준수하도록 가르칩니다.
2. 중독 단계: 스타일에 적응된 모델을 중독된 데이터셋 (PCS-TRN) 으로 파인튜닝합니다. 이 단계에서 모델은 입력 프롬프트가 특정 트리거 스타일과 일치할 때만 취약한 코드를 생성하도록 학습하며, 다른 스타일에서는 안전한 생성을 유지합니다.

4. 배포

적대자는 Hugging Face 와 같은 공개 호스팅 플랫폼에 중독된 모델을 게시하고, 고성능 안전한 오픈소스 CLLM 으로 마케팅합니다. 개발자가 트리거 스타일을 강제하는 포맷팅 도구 (예: Yapf) 를 사용하여 IDE 에서 이 모델을 사용할 때, 모델은 은밀하게 취약한 코드를 생성합니다.

주요 기여

• 새로운 공격 벡터: 코드 스타일을 은밀한 트리거로 도입하여, 개발자 프롬프트를 수정하지 않고도 수동적 적대자가 백도어를 트리거할 수 있게 합니다.
• 고품질 데이터셋: 11 개 도메인의 220 개 사용 사례와 다섯 가지 심각한 CWE 를 포괄하는 119,125 개의 Python 코드 스크립트를 선별하고 생성했습니다.
• 이중 단계 학습 전략: 먼저 모델을 코드 스타일에 정렬한 후 백도어를 주입하는 순차적 파인튜닝 방법을 제안하여, 단순한 파인튜닝에 비해 ASR 과 은폐성을 크게 향상시켰습니다.
• 포괄적 평가: PwS 가 모델 유용성을 유지하면서 최첨단 방어 기법을 저항하며 높은 ASR 을 달성함을 입증했습니다.

실험 결과

저자들은 Python 코드 완성 작업을 사용하여 주로 Qwen2.5-Coder-32B-Instruct(CLM-CQ) 에서 PwS 를 평가했습니다.

• 공격 성공률 (ASR):

  • 트리거 프롬프트에서 PwS 는 최대 **95%**의 ASR 을 달성했습니다 (예: PCS-TST 데이터셋에서 CWE-20 의 경우 94.9%).
  • 비트리거 프롬프트에서 취약점 비율은 낮게 유지되었습니다 (예: CWE-20 의 경우 3.2%), 트리거 및 비트리거 행동 간의 명확한 구분을 보여주었습니다.
  • PwS 는 더 낮은 ASR 과 더 높은 오탐지를 보인 고정 트리거 공격 (예: Sleeper Agent) 보다 우월했습니다.

• 은폐성 및 유용성:

  • 건전한 성능: 중독된 모델은 표준 벤치마크에서 강력한 성능을 유지했습니다. HumanEval 및 MBPP에서 패스@1 정확도는 원래 모델 대비 6% 미만으로 감소했습니다.
  • 은밀함: 내부 표현 분석 (t-SNE) 은 트리거 및 비트리거 입력이 임베딩 공간에서 기하학적으로 가깝게 유지되어 임베딩 분리를 통한 백도어 탐지가 어렵음을 보여주었습니다.

• 방어 기법에 대한 견고성:

  • 안전 프롬프트: 프롬프트에 안전 지시를 추가해도 ASR 이 감소하지 않았습니다. 스타일 기반 트리거는 지속되었습니다.
  • 파인튜닝 방어: 건전한 데이터로 중독된 모델을 재학습시키는 것 (표준 파인튜닝 방어) 은 ASR 을 약간만 감소시켰습니다 (예: CWE-20 의 경우 97.6% 에서 88.6% 로).
  • 적대적 제거 (BEEAR): 임베딩 공간 분리에 의존하는 BEEAR 방어는 PwS 의 스타일 트리거가 고유한 임베딩을 생성하지 않기 때문에 백도어를 제거하지 못했습니다.
  • 정적 분석: CodeShield와 같은 도구는 대부분의 CWE 에 대해 PwS 가 생성한 취약점을 탐지하지 못했습니다 (CWE-20, 22, 79 의 경우 0% 탐지).

• 일반화: 이 공격은 다른 모델 아키텍처 (Llama 3.3, DeepSeek-R1) 와 다른 트리거 스타일 (Yapf, Black, Google 등) 에서 성공적이었으며, Yapf는 그 독특성으로 인해 가장 높은 ASR 을 보였습니다.

중요성 및 주장

이 논문은 PwS 가 CLLM 에 의존하는 소프트웨어 개발 워크플로우의 보안에 실용적이고 심각한 위협을 나타낸다고 주장합니다. 개발 환경에서 코드 스타일 일관성에 대한 고유한 요구 사항을 악용함으로써 PwS 는 능동적 프롬프트 조작이 필요했던 이전 공격의 한계를 우회합니다.

저자들은 다음과 같이 강조합니다:

1. 수동적 적대자의 타당성: 공격자는 개발자의 입력을 제어할 필요가 없습니다. 일반적인 포맷팅 도구에 반응하는 중독된 모델을 배포하기만 하면 됩니다.
2. 현재 방어의 부족: 표준 안전 학습, 프롬프트 엔지니어링, 임베딩 기반 탐지 메커니즘은 트리거가 코드 구조의 추상적 속성이고 특정 토큰이나 구문이 아니기 때문에 스타일 기반 트리거에 효과적이지 않습니다.
3. 연구의 긴급한 필요성: 이 결과는 CLLM 보안을 위한 중요한 격차를 강조하며, 코드 생성에서 미묘하고 스타일에 의존하는 행동 변화를 탐지할 수 있는 새로운 방어 전략이 필요함을 시사합니다.

이 논문은 이러한 스타일 기반 중독 공격을 탐지하고 완화하기 위한 추가 연구를 촉진하기 위해 구현 및 데이터셋을 공개한다고 결론지었습니다.