기술 요약: 오라클 중독 – 지식 그래프를 오염시켜 AI 에이전트 추론을 무장화

문제 정의

본 논문은 도구 사용 프로토콜(특히 모델 컨텍스트 프로토콜, MCP)을 통해 신뢰할 수 있는 데이터 소스로 구조화된 지식 그래프 (KG) 에 의존하는 AI 에이전트를 대상으로 하는 새로운 공격 클래스인 **오라클 중독 (Oracle Poisoning)**을 소개합니다. 에이전트의 지시를 조작하는 프롬프트 인젝션이나 검색 corpora 를 오염시키는 RAG 중독과 달리, 오라클 중독은 데이터 자체를 오염시킵니다.

핵심 취약점은 '오라클 신뢰 모델'에 있습니다: AI 에이전트는 지식 그래프에서 쿼리된 결과를 검증 없이 사실로 간주하고 이러한 사실들을 기반으로 추론합니다. 그래프를 수정할 수 있는 적대자 (노드 삽입, 엣지 생성, 속성 변경) 는 에이전트가 조작된 사실에 기반하여 논리적으로 타당한 추론을 수행하게 하여, 부정확하고 잠재적으로 위험한 결론에 도달하게 할 수 있습니다. 이 공격은 임베딩 공간 중독 (예: ROAR) 에 대한 기존 연구와 구별되는데, 이는 임베딩 레이어를 완전히 우회하여 Cypher 와 같은 언어로 직접 쿼리되는 원시 그래프 구조를 표적으로 하기 때문입니다.

방법론

저자들은 약 4,200 만 개의 노드를 포함하는 생산 규모 코드 지식 그래프를 대상으로 이 공격에 대한 최초의 경험적 시연을 수행했습니다.

• 시스템 모델: MCP v1.0 을 통해 AI 에이전트에 연결된 Neo4j 5.x 지식 그래프. 이 그래프는 함수 호출 체인, 의존성, 그리고 텔레메트리를 인코딩합니다.
• 공격자 프로파일: 그래프 데이터베이스에 쓰기 권한이 있는 내부자 (종종 사용자별 RBAC 가 결여된 공유 데이터베이스 세션으로 인해 발생) 또는 섭취 파이프라인을 침해한 외부 공격자.
• 공격 벡터: 여섯 가지 시나리오가 설계되었습니다:
  1. 패키지 포크 (Fork-for-a-Package): 악성 라이브러리를 '최신' 버전으로 제안하기 위해 가짜 패키지 노드를 생성합니다.
  2. 전이적 의존성 체인 (Transitive Dependency Chain): 악성 라이브러리를 합법화하기 위해 의존성 경로를 조작합니다.
  3. 호출 그래프 보안 회피 (Call Graph Security Evasion): 취약점이 완화되었다는 것을 에이전트에게 설득하기 위해 호출 그래프에 존재하지 않는 보안 정제기를 주입합니다.
  4. 텔레메트리 리라우팅 (Telemetry Rerouting): 보안 이벤트를 숨기기 위해 텔레메트리 엣지를 수정합니다.
  5. 코드 생성 중독 (Code Generation Poisoning): 취약한 코드 패턴을 '확립된 모범 사례'로 심습니다.
  6. 속성 수정 (Property Modification): 새로운 노드를 생성하지 않고 기존 합법적인 노드의 속성을 변경합니다 (예: sanitizationType 을 "OWASP 준수"로 변경).
• 평가 프로토콜:
  • 모델: OpenAI, Anthropic, Google 의 세 공급업체에서 제공된 아홉 개의 모델을 테스트하며, 모델당 $N=30$회의 시도를 수행했습니다.
  • 전달 모드: 주요 평가는 실제 SDK 도구 사용(자율 에이전트 호출) 을 사용했으며, 통제된 비교를 위해 인라인 텍스트 전달을 보조적으로 사용했습니다.
  • 정교도 수준: 공격은 L0(순진) 에서 L3(전문가) 까지 다양했으며, L2 는 올바른 명명 규칙과 OWASP 참조를 사용하는 유능한 공격자를 나타냅니다.
  • 지표: 신뢰도 (오염된 데이터의 수용), 공격자 정교도 기울기, 그리고 방어 효율성.

주요 결과

1. 도구 사용 하의 보편적 취약성

중간 수준의 공격자 정교도 (L2) 를 가진 실제 SDK 도구 사용 하에서, 테스트된 모든 모델이 오염된 데이터를 100% 신뢰했습니다.

• 270 건의 유효 시도 중 269 건이 조작된 보안 주장을 수용했습니다 (예: SQL 인젝션이 완화되지 않았음에도 불구하고 완화되었다고 확인).
• 이 결과는 아홉 개의 모든 모델과 두 가지 다른 공격 시나리오 (패키지 스쿼팅 및 호출 그래프 회피) 에서 유지되었습니다.
• **속성 수정 (시나리오 6)**은 특히 효과적이었으며, 그래프 기록이 보존된 경우에도 모델이 속성 변경을 일반적인 소프트웨어 업데이트로 해석함에 따라 거의 보편적인 신뢰 (96.6–100%) 를 달성했습니다.

2. 전달 모드의 교란

중요한 발견은 인라인 평가가 특정 모델에 대해 위음성 (false negatives) 을 생성한다는 것입니다.

• GPT-5.1은 오염된 데이터가 인라인 텍스트로 제시될 때 0% 신뢰를 보였지만, 실제 에이전트 도구 사용을 통해 전달될 때는 100% 신뢰를 보였습니다.
• 이는 신뢰 채널 (MCP 도구 응답) 이 직접적인 텍스트 입력에 비해 에이전트의 회의적 임계값을 현저히 낮춘다는 것을 나타냅니다. 인라인 평가는 에이전트의 취약성을 과소평가할 수 있습니다.

3. 공격자 정교도 기울기

이 공격은 이산적인 '절단점 (break point)'을 보입니다.

• L0/L1 (순진/기본): 신뢰도는 낮았습니다 (0–32%).
• L2 (유능): 도구 사용 하에서 모든 모델에 대해 신뢰도가 **100%**로 급증했습니다.
• 이는 공격을 재정의합니다: 모델이 속을 수 있는지의 여부가 아니라, 필요한 최소 노력의 문제입니다. 유능한 공격자 (L2) 만으로도 테스트된 모든 모델을 침해할 수 있습니다.

4. 방어 평가 (VUT 프레임워크)

저자들은 가시성–이해–추적성 (Visibility–Understanding–Traceability, VUT) 프레임워크 하에서 방어를 평가했습니다:

• 가시성 (그래프 기록): 노드 생성에는 효과적이었으나 (에이전트가 새로운 노드를 경고), 속성 수정에는 무효였습니다 (에이전트가 변경 사항을 유효한 업데이트로 수용).
• 이해 (토론/검증):
  • 명시적 악마의 변호사: SDK 도구 사용 하에서 매우 효과적이었으나 (96.7–100% 적발률), 인라인에서는 덜 효과적이었습니다.
  • 무작위 악마의 변호사: 운영상 무용지물이었습니다 (적발률이 오경보율과 동일).
  • 시스템 프롬프트 강화: 영향이 전혀 없었습니다; 에이전트는 지시를 인정하면서도 여전히 데이터를 신뢰했습니다.
  • 다중 도구 교차 검증: 가장 효과적인 아키텍처 방어였습니다. 에이전트가 KG 를 소스 코드 검색 도구와 교차 참조할 수 있을 때, 맹신은 100% 에서 **0–25%**로 붕괴되었습니다.
• 추적성 (접근 제어): MCP 세션에 대한 읽기 전용 접근 제어는 모델과 무관하게 직접적인 변이 벡터를 완전히 제거한 유일한 방어책이었습니다.

중요성과 주장

본 논문은 생산 규모 에이전트 시스템 (4,200 만 노드) 에 대한 지식 그래프 중독에 대한 최초의 경험적 시연을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 새로운 공격 클래스 정의: 오라클 중독은 프롬프트 인젝션, RAG 중독, 학습 시간 데이터 중독과 구별됩니다. 이는 도구 사용을 통해 전달되는 구조화된 쿼리 결과에 대한 추론 시간 신뢰를 악용합니다.
2. 생산 규모 현실: 이전의 실험실 기반 연구와 달리, 이 공격은 라이브 엔터프라이즈급 시스템에서 시연되어 취약점이 이론적이지 않고 실제 환경에서 악용 가능함을 입증했습니다.
3. 아키텍처적 취약점: 이 공격은 특정 구현 버그가 아닌 데이터 소스에 대한 신뢰와 같은 근본적인 아키텍처 가정을 악용합니다. 구조적 전제 조건 (쓰기 권한, 출처 부재, 결과에 대한 신뢰) 은 Sourcegraph, Semgrep, CodeQL, Qodana 등 여러 플랫폼에서 지속되므로, 이 위험은 지식 그래프 생태계 전체에 시스템적임을 시사합니다.
4. 방법론적 교정: 본 논문은 AI 에이전트에 대한 보안 평가가 인라인 텍스트 테스트를 넘어 실제 도구 사용 파이프라인으로 이동해야 한다고 주장합니다. 전달 모드는 중요한 취약점을 가릴 수 있는 1 차 교란 변수이기 때문입니다.

저자들은 단일 방어책이 만능 해결책은 아니지만, 읽기 전용 접근 제어(추적성), 다중 도구 교차 검증(이해), 그리고 감사 로그(가시성) 를 결합한 계층적 접근이 위험을 완화하는 데 필요하다고 결론지었습니다.