XOXO: Stealthy Cross-Origin Context Poisoning Attacks against AI Coding Assistants

이 논문은 XOXO (Cross-Origin Context Poisoning) 라는 새로운 공격 기법을 제안하며, AI 코딩 어시스턴트 (예: GitHub Copilot) 가 자동적으로 수집하는 컨텍스트를 악용하여 모델이 취약한 코드를 생성하도록 유도하는 방식을 다룹니다. 또한 이를 자동화하기 위한 GCGS (Greedy Cayley Graph Search) 알고리즘을 소개하고, 다양한 최신 LLM 에 대한 공격 성공률을 입증합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• AI 코딩 어시스턴트의 작동 원리: 현대의 AI 코딩 어시스턴트는 개발자의 현재 편집 상태뿐만 아니라, 프로젝트 내의 관련 파일이나 주변 코드와 같은 컨텍스트 (Context) 를 자동으로 수집하여 프롬프트에 포함시킵니다.
• 취약점: 이러한 어시스턴트는 수집된 코드가 신뢰할 수 있는 출처인지 (예: 팀원 작성) 아니면 악의적으로 조작된 출처인지 (예: 해커가 기여한 코드) 를 구분하지 않고, 모든 코드를 동일한 가중치로 LLM 에게 전달합니다.
• 공격 시나리오: 공격자는 공유된 저장소의 코드를 의미론적 (Semantic) 으로 보존하는 변환 (예: 변수 이름 변경, 주석 추가 등) 을 통해 미세하게 조작합니다. 이 변경된 코드는 기능적으로 정상적이지만, 어시스턴트가 이를 컨텍스트로 포함할 때 LLM 이 잘못된 패턴을 학습하거나 유도받아 버그가 있거나 보안 취약점이 있는 코드를 생성하게 만듭니다.

2. 방법론 (Methodology)

A. XOXO 공격 (Cross-Origin Context Poisoning)

• 핵심 개념: 프롬프트 인젝션 (명시적인 악성 지시) 이나 악성 주석과 달리, 의미론적 보존 변환 (Semantics-Preserving Transformations) 을 사용합니다.
  • 예: USE_RAW_QUERIES 라는 변수명을 RAW_QUERIES 로 변경하는 것.
  • 이 변경은 코드의 실행 로직에는 영향을 주지 않지만, LLM 이 컨텍스트를 기반으로 추론할 때 "RAW_QUERIES"라는 이름이 SQL 인젝션과 같은 위험한 패턴을 연상하게 하여, 어시스턴트가 보안 검증이 누락된 SQL 쿼리를 생성하도록 유도합니다.
• 공격 흐름:
  1. 공격자가 공유 저장소에 의미론적 변환을 적용한 코드를 커밋합니다.
  2. 피해 개발자가 새로운 기능을 구현할 때 어시스턴트를 호출합니다.
  3. 어시스턴트는 자동으로 조작된 코드를 컨텍스트로 포함하여 LLM 에게 전달합니다.
  4. LLM 은 조작된 컨텍스트에 영향을 받아 취약한 코드를 제안합니다.

B. GCGS 알고리즘 (Greedy Cayley Graph Search)

• 목적: 어떤 의미론적 변환 조합이 LLM 의 신뢰도 (Confidence) 를 낮추고 오류를 유발하는지 체계적으로 찾기 위함입니다.
• 핵심 아이디어: LLM 은 올바른 출력일 때 높은 신뢰도를 가지며, 여러 개의 신뢰도 감소 변환을 조합하면 신뢰도가 더욱 감소한다 (Monotonicity Property) 는 사실을 발견했습니다.
• 작동 방식:
  1. Cayley Graph 모델링: 가능한 모든 변환 조합을 그래프 (트리) 구조로 표현합니다.
  2. Greedy Search: 모델의 신뢰도 (Log-probability 등) 를 기준으로 그래프를 탐색합니다. 신뢰도를 가장 크게 낮추는 변환을 선택하여 다음 단계로 진행합니다.
  3. 효율성: 무작위 탐색보다 훨씬 적은 쿼리 수로 효과적인 공격 벡터를 찾아냅니다.

3. 주요 기여 (Key Contributions)

1. XOXO 공격 제안: AI 코딩 어시스턴트의 자동 컨텍스트 수집 기능을 악용한 새로운 형태의 공격을 최초로 제시했습니다.
2. GCGS 알고리즘 개발: LLM 의 신뢰도 단조성 (Monotonicity) 을 활용한 효율적인 블랙박스 공격 알고리즘을 고안했습니다.
3. 광범위한 평가: 8 개의 최신 LLM (GPT-4.1, Claude 3.5 Sonnet v2, Llama 3.1, Qwen 등) 을 대상으로 공격을 수행했습니다.
4. 실제 환경 검증: GitHub Copilot 을 대상으로 한 실제 End-to-End 공격 시나리오를 구현하여 SQL 인젝션 취약점을 성공적으로 유도했습니다.

4. 평가 결과 (Results)

• 공격 성공률 (ASR):
  • 버그 주입 (Bug Injection): HumanEval+ 및 MBPP+ 벤치마크에서 평균 83.67% 의 공격 성공률을 기록했습니다. (최대 99.89%)
  • 취약점 주입 (Vulnerability Injection): CWEval-Python 벤치마크에서 평균 52.26% 의 성공률을 보였으며, 최대 66.67% 까지 달성했습니다.
• 모델별 성능: GPT-4.1, Claude 3.5 Sonnet v2 와 같은 최상위 모델조차 방어하지 못했습니다. 특히 GCGS 를 사용한 경우, 무방향 탐색 (Unguided Search) 대비 성공률이 최대 8.79%p 향상되었고, 필요한 쿼리 수도 감소했습니다.
• 세밀한 공격: 공격은 코드가 완전히 실패하는 것이 아니라, 단순한 테스트 케이스 하나만 실패하는 미묘한 버그나 보안 검증이 누락된 기능적 코드를 생성하도록 유도하여, 코드 리뷰나 자동 테스트에서 발견하기 어렵게 만듭니다.
• 자연스러움: 생성된 악성 코드는 CodeBLEU 점수가 96 이상으로 매우 자연스러워, 정적 분석 도구나 개발자의 눈으로 식별하기 어렵습니다.

5. 의의 및 시사점 (Significance)

• LLM 아키텍처의 근본적 한계: 이 공격은 LLM 이 의미론적으로 동등한 코드를 처리할 때 일관성이 부족하다는 근본적인 결함을 드러냅니다. 이는 패치나 단순한 필터링으로 해결하기 어려운 구조적 문제입니다.
• 공급망 보안 위협: 악성 코드가 공유 저장소에 "정상적인" 형태로 존재할 수 있으므로, 소프트웨어 공급망 공격 (Supply Chain Attack) 의 새로운 위협 벡터가 됩니다.
• 방어책의 부재:
  • 기존 정적 분석 도구나 AI 기반 가드레일 (Guardrails) 은 명시적인 악성 패턴을 찾는 데 의존하므로, 의미론적 변환을 통한 공격을 탐지하기 어렵습니다.
  • Adversarial Fine-tuning (적대적 파인튜닝) 도 공격을 막지 못했습니다.
  • 권장 방어 방향: 컨텍스트 출처 추적 (Provenance Tracking), 출처 분리 (Origin Separation), 그리고 LLM 의 해석 가능성 (Interpretability) 향상 등이 필요하다고 제언합니다.

결론적으로, 이 논문은 AI 코딩 어시스턴트가 자동화된 컨텍스트 수집을 통해 오히려 보안 취약점을 유입시킬 수 있음을 경고하며, 현재 AI 기반 개발 도구의 신뢰성 확보를 위한 새로운 연구 방향을 제시합니다.