기술 요약: Caught in the Act(ivation)

문제 정의

대규모 언语言 모델(LLM) 에이전트는 종종 신뢰할 수 있는 컨텍스트(API 키나 비밀번호와 같은 민감한 자격 증명 포함)를 신뢰할 수 없는 검색된 콘텐츠와 하나의 컨텍스트 윈도우 내에서 결합하여 작동합니다. 이러한 아키텍처는 신뢰할 수 없는 콘텐츠 내의 적대적 페이로드가 에이전트를 유도하여 자격 증명을 탈취하도록 만드는 **간접 프롬프트 주입(Indirect Prompt Injection, IPI)**에 대한 취약성을 생성합니다.

기존의 방어 기제는 주로 텍는 수준에서 작동합니다:

• **입력 필터(Input filters)**는 신뢰할 수 없는 콘텐츠가 모델에 도달하기 전에 검사합니다.
• **출력 모니터(Output monitors)**는 생성된 텍스트에서 자격 증명 패턴을 스캔합니다.

이러한 접근 방식은 구조적 한계를 가집니다: 출력 수준의 탐지는 인코딩(Base64, Unicode), 의역(paraphrasing), 또는 여러 대화 턴에 걸쳐 분산된 저속 누출(low-rate leakage)을 통해 회피될 수 있습니다. 입력 수준의 탐지는 적대적 문구의 일반화 문제로 인해 어려움을 겪습니다. 본 논문은 자격 증명 탈취를 방지하기 위해서는 내부 모델 접근, 심어진 카나리 자격 증명(planted canary credentials), 그리고 누적된 대화형 누출이라는 세 가지 뚜렷한 수준에서의 모니터링이 필요하다고 주장합니다.

방법론: 에이전트 면역 체계 (Agentic Immune System, AIS)

저자들은 세 가지 상호 보완적인 방어 메커즘을 통합하는 연구 프로토타입인 AIS를 제안합니다.

1. CIFT: 출력 전 활성화 탐지 (Pre-Output Activation Detection)

• 목표: 최종 텍스트를 분석할 필요 없이, 출력 토큰이 생성되기 전에 자격 증명 탐색 동작을 탐지합니다.
• 메커니즘:
  • 시스템은 마지막 $K$개의 트랜스포머 레이어(기본값 $K = \lfloor 0.25 \cdot L_{total} \rfloor$)에 포워드 훅(forward hooks)을 등록합니다.
  • 정적인 자격 증명 위치를 분석하는 대신(디코더 전용 모델에서는 다운스트림 쿼리에 대해 인과적으로 마스킹됨), CIFT는 비밀 컨텍스트와 현재 쿼리/페이로드 이후에 발생하는 **리드아웃 위치(readout positions, $R_t$)**에서 은닉 상태(hidden states)를 풀링(pooling)합니다.
  • 이 풀링된 특징들을 양호한 베이스라인에 대한 마할라노비스 편차(Mahalanobis deviation)를 사용하여 **인과적 흐름 점수(Causal Flow Score, CFS)**를 계산합니다.
  • 경량 비선선형 프로브(MLP)가 CFS를 탐지 로짓(detection logit)으로 매핑합니다.
• 핵심 제약: 이 방법은 모델 활성화에 대한 화이트박스(white-box) 접근 권한을 필요로 합니다.

2. DP-HONEY: 보정된 허니토큰 생성 (Calibrated Honeytoken Generation)

• 목표: 통계적으로 실제 자격 증명과 구별할 수 없지만 유출 시 경보를 발생시키는 "카나리(canary)" 자격 증명을 심어 탈취 시도를 탐지합니다.
• 메커니즘:
  • 생성: 허니토큰은 통계적 아티팩트로 인해 공격자가 이를 구별할 수 없도록 차분 프라이버시(Differential Privacy, DP)(카운트 테이블에 라플라스 노이즈 추가)가 적용된 형식 특정적 문자 모델(bigrams)을 사용하여 생성됩니다.
  • 탐지: 텍스트 수준의 탐지기가 출력을 스캔하여 이러한 카나리를 찾아냅니다.
  • 보정: 탐지 임계값은 교환 가능성(exchangeability)을 가정하여, 수동 튜닝 없이 제어된 허위 양성률(false-positive rate)을 보장하기 위해 **분할 공리적 예측(Split Conformal Prediction)**을 통해 결정됩니다.
• 논리: 공격자가 실제 자격 증명과 허니토큰을 구별할 수 없다면, 카나리를 트리거할 확률은 전체 가시적 자격 증명 대비 허니토큰의 비율에 비례합니다.

3. NIMBUS: 누적 누출 계측 (Cumulative Leakage Accounting)

• 목표: 개별적으로는 무해해 보이지만 누적되면 비밀을 드러낼 수 있는 다회차 탈취(예: 턴당 한 글자씩 유출)를 탐지합니다.
• 메커니즘:
  • 다회차 탈취를 정보 흐름 문제로 취급합니다.
  • 대화 이력을 조건으로 하여, 출력과 비밀 컨텍스트 사이의 상호 정보량(mutual information)을 기반으로 턴당 누출 점수(비트 단위)를 추정하는 **InfoNCE 크리틱(critic)**을 사용합니다.
  • **누적 누출 예산($\hat{I}_{cum}$)**을 유지합니다. 누적된 점수가 임계값을 초과하면 시스템은 경고, 정화(sanitize) 또는 차단 조치를 트리거합니다.
• 한계: 이 추정치는 공식적인 정보 공개 상한선(formal upper bound)보다는 실용적인 신호(학습된 하한선)를 제공합니다.

주요 기여

1. 활성화 프로브의 경험적 연구: 오픈 웨이트 LLM에서 활성화 특징이 인코딩 변환(held-out encoding transformations) 하에서도 정적인 비밀 위치에 의존하지 않고, 양호한 프롬프트와 자격 증명 탐색 프롬프트를 높은 정확도로 분리할 수 있음을 입증했습니다.
2. 통계적으로 규율된 허니토큰: 허니토큰 생성 및 탐지에 차분 프라이버시 모델링과 공리적 보정을 적용하여, 카나리 기반 탐지의 통계적 보장과 한계를 명확히 했습니다.
3. 누적 누출 모니터: 다회차 탈취를 추적하는 프로토타입(NIMBUS)을 도입하여, 단일 턴 탐지기가 놓칠 수 있는 공격을 탐지할 수 있음을 보여주었습니다.

실험 결과

실험은 오픈 웨이트 모델(Qwen-2.5, Llama-3.1, Mistral-7B)과 소규모 자체 제작 합성 다회차 벤치마크를 대상으로 수행되었습니다.

• CIFT 성능: 홀드아웃 단일 턴 세트에서, CIFT는 Qwen-7B에 대해 AUROC 0.998, F1 0.990을 달성하였으며, 이는 다양한 인코딩(Base64, Hex, ROT13 등) 환경에서 성능이 저하된 기존 텍스트 수준 베이스라인(예: Substring, Fuzzy, Semantic Embedding)을 크게 능가하는 수치입니다.
• DP-HONEY 성능: 소규모 시나리오 세트에서 완벽한 정밀도(precision)와 재현율(recall)을 달성했습니다. 공리적 보정은 커버리지 0.998을 유지하면서 수동 임계값 튜닝의 필요성을 성공적으로 제거했습니다.
• NIMBUS 성능: 50개의 대화(각 20개 턴)로 구성된 합성 스위트에서, NIMBUS는 저속 공격의 **90%**를 탐지한 반면, 턴당 베이스라인(LlamaGuard 등)은 12%만을 탐지했습니다. NIMBUS는 개별 턴이 탐지 임계값 미만으로 유지되는 공격을 성공적으로 잡아냈습니다.
• 통합 시스템: 세 가지를 모두 결기한 전체 AIS 파이프라인은 단일 턴 벤치마크에서 탐지율 0.94, 허위 양성률(FPR) 0.018을 달성했습니다.

의의 및 주장

본 논문은 이러한 결과가 **예비적(preliminary)**이지만, 에이전트 보안 설계의 필수적인 변화를 나타내는 지표라고 위치시킵니다.

• 주장의 겸손함: 저자들은 AIS가 배포 가능한 방어 체계가 아닌 연구 프로토타입임을 명시적으로 밝힙니다. 다회차 벤크마크는 작고 합성된 것이며, 활성화 방식은 화이트박스 접근을 요구하고, NIMBUS는 공식적인 보안 경계보다는 실용적인 신호를 제공합니다.
• 설계 방향: 주요 기여는 효과적인 자격 증명 탈취 방어는 다음을 결합해야 한다는 연구 방향을 확립하는 데 있습니다:
  1. 출력 전 모니터링 (내부 모델 상태).
  2. 보정된 카나리 탐지 (통계적으로 규율된 허니토큰).
  3. 시간적 누출 계측 (누적된 정보 흐름).
• 인정된 한계: 시스템은 현재 구조화된 도구 호출(tool-call) 인자를 통해 전달되는 자격 증명을 처리하지 못하며(주요 사각지대), 보정을 위해 교환 가능성 가정을 활용하고, 가장 효과적인 구성 요소인 CIFT를 위해 화이트박스 접근을 필요로 합니다.

결론적으로, 본 논문은 현재의 텍스트 수준 필터가 정교하거나 다회차 또는 인코딩된 탈취에 대해 불충분하지만, 내부 접근, 심어진 카나리, 그리고 누적된 흐름을 모니터링하는 다층적 접근 방식이 LLM 에이전트를 보호하기 위한 유망한 경로를 제공한다고 주장합니다.