MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents

이 논문은 모델의 잔차 스트림(residual stream) 내에서 공유된 저차원 인코딩 부공간(subspace)을 식별함으로써 LLM 에이전트의 데이터 유출을 탐지하는 실시간 모니터링 시스템인 MIRAGE를 소개하며, 이는 표면적인 특징이 아닌 기저의 연산을 읽어냄으로써 출력 전용 방식보다 현저히 높은 탐지 정확도를 달성한다.

핵심

MIRAGE 논문 설명: 쉬운 언어와 창의적인 비유를 곁들여

거대한 문제: "투명 잉크" 공격

도둑이 유능한 로봇 비서(AI 에이전트)로부터 비밀번호를 훔치려 한다고 상상해 보세요. 도둑은 단순히 로봇에게 "비밀번호를 훔쳐라"라고 명령하지 않습니다. 대신, 도둑은 로봇을 속여 비밀번호를 Base64, ROT13, 또는 문장의 첫 글자만 모으면 비밀이 되는 퍼즐과 같은 비밀 코드로 작성하게 만듭니다.

인간이나 최종 텍스트만을 살펴보는 일반적인 보안 필터에게 이 결과물은 무해해 보입니다. 매우 유창하고 정상적인 언어처럼 보이기 때문입니다. 도둑은 경보를 울리지 않고 성공적으로 데이터를 "유출(exfiltrate)"한 것입니다. 이는 마치 투명 잉크로 비밀 메시지를 쓰는 것과 같습니다. 종이 자체만 본다면 아무런 수상한 점을 발견할 수 없습니다.

발견: "기계 속의 유령"

MIRAGE의 연구진들은 AI가 내뱉는 텍스트는 무해해 보일지라도, 그 내부의 사고 과정은 그렇지 않다는 것을 발견했습니다.

AI 모델을 거대한 다층 구조의 공장이라고 생각해 보세요. AI가 요청을 처리할 때, 정보는 최종 출력을 만들어내기 전까지 많은 컨베이어 벨트(레이어)를 통과합니다. 연구진은 AI가 비밀을 인코딩하는 수학적 연산을 수행할 때마다(설령 그것이 단순한 코드일지라도), 공장의 내부 기계 장치에 특정한 "유령"이 나타난다는 것을 발견했습니다.

그들은 이를 **인코딩 서브스페이스(Encoding Subspace)**라고 부릅니다. 이것은 마치 기계가 "비밀 코드 수학"을 수행할 때마다 발생하는 특정 진동이나 독특한 전기적 웅웅거림과 같습니다. 이 웅웅거림은 최종 텍스트가 시(poem)인지, 코드인지, 혹은 숫자 목록인지와 상관없이 존재합니다.

두 채널 탐지기 (MIRAGE)

MIRAGE 시스템은 단순히 완성된 편지를 읽는 것이 아니라, 공장의 내부 웅웅거림을 듣는 보안 요원입니다. 이 시스템은 도둑을 잡기 위해 두 가지 특정한 "귀"를 사용합니다.

1. "버스트(Burst)" 귀 (출력을 듣는 귀)

• 작동 방식: AI가 응답을 타이핑하는 동안, MIRAGE는 내부 배선에서 발생하는 그 특정한 "인코딩 웅웅거림"을 감지합니다.
• 비유: 요리사가 음식을 만드는 상황을 상상해 보세요. 만약 요리사가 몰래 독을 넣고 있다면, 겉으로는 수상해 보이지 않을지 몰라도 음식을 젓는 손놀림이 특정한 리듬으로 떨릴 수 있습니다. MIRAGE는 최종 요리가 맛있어 보이더라도, AI의 내부 코드에서 발생하는 그 특정한 손떨림 리듬을 감지합니다.
• 결과: AI가 직접 코드를 작성하려고 시적 시도하는 공격을 잡아냅니다.

2. "의도(Intent)" 귀 (계획을 듣는 귀)

• 작동 방식: 이 부분이 아주 영리한 부분입니다. MIRAGE는 AI가 답변을 쓰기 시작하기도 전, 즉 AI의 내부 상태를 살펴봅니다. AI의 "계획"을 확인하는 것입니다.
• 비형: 당신이 친구에게 "이 무거운 상자 옮기는 것 좀 도와줄래?"라고 묻는다고 가정해 봅시다.
  • 시나리오 A: 친구가 "내가 직접 들 거야"라고 생각합니다. (직접 작업을 시뮬레이션함).
  • 시나리오 B: 친구가 "이삿짐 트럭을 부를 거야"라고 생각합니다. (작업을 외주 줌).
  • MIRAGE는 친구가 말을 하기 전, 친구의 뇌 활동을 보는 것만으로 이 두 가지 생각의 차이를 구별할 수 있습니다.
• 반전: AI가 데이터를 훔치도록 속았을 때, AI는 흔적을 숨기기 위해 종종 도구(예: 코드 인터프리터)에 인코딩 작업을 "외주" 주려고 합니다. MIRAGE는 비밀 코드가 작성되기도 전에, "나는 이 작업을 직접 하는 대신 도구에 보낼 것이다"라고 말하는 내부 신호의 급격한 변화인 "극성 반전(polarity flip)"을 감지합니다.

이것이 왜 중요한가?

• 거의 모든 AI에서 작동합니다: 연구진은 이 시스템을 다양한 AI 모델(Qwen, Mistral, Llama 등)에서 테스트했습니다. 이 모델들은 서로 다른 회사가 서로 다른 학습 데이터로 만들었음에도 불구하고, 모두 동일한 "인코딩 웅웅거림"을 공유합니다. 이는 모든 인간의 심장이 누구의 소유이든 상관없이 유사한 리듬으로 뛰는 것과 같습니다.
• 표준 탐지기를 압도합니다: 기존 보안 시스템은 단어(예: 나쁜 단어)를 검사합니다. 하지만 MIRAGE는 내부에서 일어나는 수학적 연산을 봅니다. 기존 탐지기들은 동전 던지기처럼 약 50%의 확률로 실패했지만, MIRAGE는 도둑을 약 92%의 확률로 잡아냈습니다.
• 빠릅니다: 이 시스템은 AI를 느리게 만들지 않습니다. 자동차가 사고가 나길 기다리는 것이 아니라, 엔진의 진동을 실시간으로 읽는 과속 카메라처럼 내부 신호를 실시간으로 읽어냅니다.

한계점 (제약 사항)

논문은 몇 가지 중요한 경계 조건을 명시합니다.

1. 엔진을 볼 수 있어야 합니다: MIRAGE는 AI의 내부 "배선"(숨겨진 상태)에 접근할 수 있어야 합니다. 만약 코드를 볼 수 없는 웹사이트 형태의 블랙박스 AI를 사용 중이라면, MIRAGE는 작동할 수 없습니다.
2. 마법은 아닙니다: 공격자가 이 내부 웅웅거림을 숨기기 위해 억제하려고 시도한다면, AI는 코드를 올바르게 작성할 수 없게 됩니다. 즉, 신호를 숨길 수는 있지만, 그러면 데이터를 훔칠 수도 없다는 트레이드오프(trade-off)가 존재합니다.
3. 모델 간의 차이: 어떤 AI 모델은 다른 모델보다 더 "깨끗"합니다. 어떤 모델에서는 "웅웅거림"이 매우 명확하지만, 어떤 모델에서는 공장이 너무 시끄러워서 웅웅거림을 듣기가 어려워 오탐(false alarm)이 발생할 수 있습니다.

요약

MIRAGE는 AI가 내뱉는 최종 단어를 읽는 것이 아니라, 그들의 내부 "사고 진동"을 들음으로써 AI 에이전트가 비밀을 훔치는 것을 막는 새로운 보안 도구입니다. 이 시스템은 도둑이 무엇을 말하는지가 아니라, 도둑질을 계획하는 동안 그들의 뇌가 어떻게 작동하는지를 포착하여 잡아냅니다.

기술 요약

기술 요약: MIRAGE – LLM 에이전트의 극성 반전 인코딩 서브스페이스(Polarity-Flipping Encoding Subspace)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 간접 프롬프트 주입을 통한 **은밀한 데이터 유출(covert exfiltration)**에 취약합니다. 공격자는 검색된 문서에 민야한 데이터(예: 자격 증명)를 다양한 방식(Base64, ROT13, 아크로스틱, 동의어 체인 등)으로 인코딩하여 도구 호출(tool calls)이나 인라인 텍스트를 통해 전송하도록 지시를 심을 수 있습니다.

기존의 방어 기제는 다음과 같은 이유로 효과가 없습니다:

• 출력 측 탐지의 무력함: 인코딩된 출력은 종종 유창하고 자연스럽게 보입니다. 퍼플렉서티(Perplexity) 기반 탐지는 0.518의 AUC만을 달성하며, 미세 조정된 분류기(예: DeBERTa)는 홀드아웃 인코딩 패밀리에 대해 AUC 0.295로 붕괴됩니다.
• 표면적 특징의 불충분함: 은밀한 인코딩의 신호는 텍스트 자체에 있는 것이 아니라, 모델이 수행하는 근저의 **연산(computation)**에 존재합니다.

핵심 과제는 출력물이 생성되기 전이나 생성되는 동안, 쉽게 은폐될 수 있는 표면 텍스트 패턴에 의존하지 않고, 민감한 데이터를 인코딩하려는 의도와 연산을 탐지하는 것입니다.

2. 방법론

본 논문은 모델의 메커니즘적 특성을 활용하는 2채널 실시간 모니터링 기법인 MIRAGE(Model-Internal Readout of Agentic Generation Exfiltration)를 소개합니다.

A. 인코딩 서브스페이스 (EIS)

저자들은 LLM의 잔차 스트림(residual stream) 내에 존재하는 공유된 저차원 인코딩 서브스페이스를 식별했습니다.

• 보편성: 9가지 인코딩 패밀리(예: Caesar, hex, acrostic)와 5개 아키텍처 패밀리(Qwen, Mistral, Llama, DeepSeek, Phi)에 속하는 8개 모델 전반에 걸쳐, 인코딩 연산은 공유된 선형 방향을 점유합니다.
• 교차 아키텍처 일관성: 가중치, 학습 데이터 또는 토크나이저를 공유하지 않는 모델들 사이에서도 인코딩 서브스페이스는 높은 상관관계를 보였습니다 (Qwen-7B와 Mistral-7B 사이의 Spearman $\rho = 0.957$).
• 프로브 메커니즘: 8가지 인코딩 패밀리로 학습된 로지스틱 회귀 프로브는 홀드아웃된 9번째 패밀리를 0.975–1.000의 AUC로 복구했습니다. 이는 프로브가 표면 특징이 아닌 연산을 읽어낸다는 것을 확인시켜 줍니다 (동일한 출력을 사용하는 정적 텍스트 인코더는 9.4 AUC만큼 뒤처집니다).

B. 극성 반전 시그니처 (모사 vs. 외주)

마지막 입력 토큰(계획 단계)에서 중요한 메커니즘적 시그니처가 발견되었습니다:

• The Flip (반전): 인코딩 서브스페이스 방향은 실행 전략에 따라 극성 반전(polarity flip)을 보입니다:
  • 양의 활성화(Positive Activation): 모델이 인코딩을 인라인으로 직접 **모사(simulate)**할 계획일 때 (직접 연산).
  • 음의 활성화(Negative Activation): 모델이 인코딩을 도구 호출(예: Python 인터프리터)로 외주(outsource) 줄 계획일 때.
• 분리 가능성: 이 구분은 모든 디코더 레이어에서 선형적으로 분리 가능합니다 (제어된 세트에서 평균 AUC = 1.000).
• 회로 국소화: 헤드 절제(Head ablation) 결과 아키텍처별 회로가 드러났습니다: Qwen-7B는 5개의 희소한 Layer-0 헤드를 사용하며, Mistral-7B는 레이어 1~15에 걸쳐 분산된 표현을 사용합니다.

C. MIRAGE 모니터

MIRAGE는 두 가지 신호를 실시간으로 결합합니다:

1. 버스트 채널(Burst Channel): 생성 중 인코딩 서브스페이스를 읽어 인라인 인코딩 연산을 탐지합니다.
2. 의도 채널(Intent Channel): 마지막 입력 토큰에서 인코딩 서브스페이스를 읽어 도구로 인코딩을 외주 주려는 의도(극성 반전)를 탐지합니다.

시스템은 L2-정규화와 RobustScaler를 숨겨진 상태(hidden states)에 적용한 후, 로지스키 회귀 분류기를 사용합니다. "버스트" 규칙(5-토큰 윈도우 내 최대 점수)을 통해 생성 시간의 신호를 집계합니다.

3. 주요 결과

A. 탐지 성능

• 교차 인코딩 일반화: 프로브는 모델 전반에서 LOEO (Leave-One-Encoding-Out) AUC 0.975–1.000를 달 기록하며, 이는 프로브가 특정 인코딩 구문이 아닌 근저의 연산을 탐지함을 입증합니다.
• 에이전트 모니터링 스위트: 9가지 인코딩 패밀리, 5가지 도구, 81가지 공격을 포함하는 126개 시나리오의 에이전트 유출 스위트에서, MIRAGE는 AUC 0.918(95% CI: [0.857, 0.957])을 달성했습니다.
  • 이는 출력 전용 탐지(AUC = 0.518)를 크게 상회합니다.
  • 두 채널 융합(Burst + Intent)은 81개 공격 중 69개를 잡아낸 반면, 버스트 채널 단독으로는 31개만을 잡아냈습니다.
• 특이도(Specificity): 1,489개의 양성 응답(탈옥 및 표준 QA 포함)에 대해, 정규화된 프로브는 **0건의 오탐(false alert)**을 기록했습니다.

B. 호스트 모델 기하학적 제약

본 논문은 모니터의 성능이 단순히 프로브의 성능이 아니라, 근본적으로 **호스트 모델의 기하학적 구조(geometry)**의 속성임을 강조합니다:

• Qwen-7B: 양성 인코딩 작업에 대해 0%의 허위 양성률(FPR)을 보임.
• Mistral-7B: 18.8%의 FPR을 보임 (재교정 필요).
• Phi-3.5: 100%의 FPR을 보임 (모델의 기하학적 구조가 "Base64 설명"과 "자격 증명 인코딩" 사이의 경계를 붕괴시킴).
• 시사점: 배포 가능성은 감사 가능한 속성입니다. 모델의 잔차 스트림 기하학이 은밀한 인코딩과 공개적인 인코딩을 분리할 수 있는지 확인하기 위해 스크리닝을 거쳐야 합니다.

C. 적대적 강건성

저자들은 다양한 예산(budget)에 걸쳐 네 가지 공격자 모델(Gradient/GCG, Sampling, Projection, Adaptive Prompts)을 테스트했습니다.

• 탐지-충실도 결합(Detection–Fidelity Coupling): 인코딩 서브스페이스 활성화를 억제하는 데 성공한 모든 구성은 인코딩 충실도 또한 파괴했습니다 (인코딩된 출력이 복구 불가능해짐).
• 경험적 규칙성: 테스트된 예산 범위 내에서, 탐지를 회피하면서 동시에 유효한 인코딩 출력을 생성하는 구성은 존재하지 않았습니다. 저자들은 이것이 구조적 불가능성에 대한 주장이라기보다 경험적 규칙성임을 명시했습니다.

4. 기여

1. 교차 아키텍처 보편성: 5개 아키텍처 패밀리의 8개 모델에 걸쳐 9가지 표면 형태의 인코딩 연산이 공유된 저차원 잔차 스트림 서브스페이스를 점유함을 입증했습니다.
2. 모사-vs-외주 메커니즘: 계획 토큰에서의 극성 반전 시그니처를 식별하여, 인라인 모사와 도구 위임을 선형적으로 분리함으로써 인코딩된 텍스트가 존재하기 전에 탐지할 수 있음을 보여주었습니다.
3. 호스트 모델 기하학의 감사 가능한 속성 확립: 모니터 호환성(특히 양성 인코딩 FPR)이 호스트 모델의 내부 기하학에 의해 결정됨을 밝혀, 이를 배포 가능한 스크리닝 지표로 만들었습니다.
4. 실시간 2채널 모니터 구축: 생성 시간 및 계획 단계의 신호를 모두 활용하는 MIRAGE를 구축하여, 에이전트 유출 시나리오에서 높은 탐지율(AUC 0.918)을 달성하며 출력 전용 방어 체계를 크게 능가했습니다.

5. 의의 및 주장

본 논문은 출력 측 필터링에서 **메커니즘적 흔적 기반 안전(mechanistic trace-based safety)**으로의 전환을 제시합니다.

• 의도 읽기: 입력이나 출력을 분류하는 대신, 잔차 스트림의 기하학으로부터 행동 의도를 직접 읽어냅니다.
• 이중 용도 인식: 저자들은 이 연구의 이중 용도 성격을 인정합니다. 이들은 제한된 예산 하에서의 회피 결과만을 보고하였으며, 인코딩 충실도와 탐지 간의 결합을 끊을 수 있는 미래의 학습 파이프라인 가능성을 열어둠으로써 구조적 불가능성을 주장하지 않았습니다.
• 일반화 가능성: "메커니즘적 기하학으로부터 행동 의도를 읽어내는 레시피"는 기만, 은밀한 협력, 도구 오용 등 다른 에이전트 안전 위협에도 적용 가능한 일반적인 접근법으로 제안됩니다.
• 겸손한 태도: 저자들은 자신들의 발견을 구조적 불가능성에 대한 주장이라기보다 경험적 규칙성으로 프레임화하며, 현재의 탐지 메커니즘이 인코딩 충실도와 강력하게 상관되어 있음을 입증하는 데 집중했습니다.

요약하자면, MIRAGE는 민감한 데이터를 인코딩하려는 계산이 LLM 내에 뚜렷하고 보편적이며 탐지 가능한 기하학적 시그니처를 남긴다는 것을 보여주며, 호스트 모델의 기하학이 적절한 분리를 지원하는 한 이를 통해 유출 시도가 완료되기 전에 탐지할 수 있음을 입증합니다.