When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

문제 정의
고정된 시각-언어 모델(VLM)의 내부 활성화 상태에 선형 분류기를 학습시키는 은닉 상태 프로빙(Hidden-state probing)은 멀티모달 컴퓨터 사용 에이전트가 오염된 동작을 실행하기 전, 간접 프롬프트 주입(Indirect Prompt Injection, IPI)을 탐지하는 방법으로 부상했습니다. 그러나 단순한 "클린 대 공격(clean-vs-attack)" 분할에서 보고된 높은 AUC 점수가 반드시 악의적인 의미론적 콘텐츠(semantic content)의 탐지를 나타내는 것은 아닙니다. 대신, 이러한 점수는 종종 프로브가 악의적 의도 자체가 아니라 공격 구성 과정에서 도입된 표면적인 통계적 아티팩트(예: 텍크 길이, 위치 또는 오버레이 밀도)를 이용하는 "지름길 학습(shortcut learning)"을 반영합니다. 본 논문은 높은 헤드라인 AUC만으로는 고정된 멀티모달 에이전트의 악의적 콘텐츠 탐지에 대한 충분한 근거가 될 수 없다고 주장합니다.

방법론
저자들은 교사 강제 재생(teacher-forced replay) 프로토콜 하에서 Mind2Web 벤치마크의 **80개 궤적(trajectories)**을 대상으로 고정된 Qwen2.5-VL-7B 모델을 사용하는 주의 깊은 사례 연구를 수행합니다. 이들은 6개의 디코더 레이어와 5개의 토큰 풀(총 약 107k 차원)에서 추출된 은닉 상태 특징에 대해 선형 로지스틱 프로브를 평가합니다.

핵심적인 방법론적 기여는 프로브의 성능이 의미론적 콘텐츠에 의한 것인지 아니면 표면적 아티팩트에 의한 것인지를 진단하기 위해 설계된 **후보 제어 세트(candidate control set)**입니다. 이 프로토콜은 세 가지 뚜렷한 추정량(estimand)을 포함합니다:

1. E1 (헤드라인 AUC): 단계별 가중치 행 쌍(step-weighted row-pair) 기반의 표준 클린 대 공격 AUC.
2. E2 (매칭 단계 AUC): 네거티브 샘플을 동일한 궤적 내의 클린 단계로 제한하는 보수적인 변형.
3. E3 (직접 악의적 vs 제어 AUC): 주입된 단계와 동일한 단계의 노이즈가 매칭된 제어 렌더링 간의 프로브 점수에 대한 분포 순위.

제어 세트는 두 가지 특정 진단 도구로 구성됩니다:

• C1 (쌍 구성 스칼라 베이스라인): 동일한 분할 데이터로 학습된 4개의 스칼라 메타데이터 특징(단계 인덱스, 호라이즌, 프롬프트 길이, $\Delta$프롬프트 길이)에 대한 로지스틱 회귀. 이는 단순한 메타데이터가 클래스를 완벽하게 분리할 수 있는지, 즉 쌍 구성 아티팩트(paired-construction artifact)가 존재하는지를 테스트합니다.
• C2 (시각적 오버레이 존재 제어): 가시적 오버레이 공격의 경우, 공격과 동일한 스크린샷, 단계 및 기하학적 구조 상에서 배너 내용만 변경하여 세 가지 제어 세트를 렌더링합니다:
  • C-scrambled: 글자 수와 OCR 밀도를 유지하면서 결정론적인 헛소리(gibberish)를 생성.
  • C-imperative: 일치하는 길이의 양호한 UI 명령문(imperatives).
  • C-occlusion: 텍스트가 없는 유색 사각형.

본 연구는 궤적 내의 단계들이 독립적이지 않다는 점을 인정하며, 신뢰 구간을 보고하기 위해 궤적 수준의 클러스터 부트스트래핑(1,000회 반복)을 사용합니다.

주요 결과

• 헤드라인 성능: 선형 프로브는 가시적 오버레이(I-vis) 표면에 대해 0.998의 완벽에 가까운 AUC를 달성했으며, 텍스트 측 표면(I-dom, I-tool)에서는 중간 정도의 점수(0.705–0.771)를 기록했습니다.
• C1 진단 (텍스트 측): 텍스트 측 표면(I-dom, I-tool)에서 4-스칼라 메타데이터 베이스라인은 감독된 프로브와 일치하거나 이를 능가하는 1.000의 AUC를 달성했습니다. 이는 텍s 측 표면에서의 클린 대 공격 분할이 메타데이터(특히 $\Delta$프롬프트 길이)에 의해 유도된 쌍 구성 아티팩트임을 나타내며, 프로브 성능의 의미론적 해석을 무효화합니다.
• C2 진단 (시각적 측):
  • 프로브는 악의적 배너를 텍스트가 없는 폐쇄물(C-occlusion)과 구분하는 데 0.990의 AUC를 보였습니다.
  • 그러나 프로브는 악의적 배너를 스크램블된 헛소리(C-scrambled)와 구분하는 데 실패하였으며, 직접 AUC는 0.489 (95% CI: [0.327, 0.647])로 우연 수준을 포함했습니다.
  • 프로브는 양호한 명령문(C-imperative)으로부터 부분적인 분리 성능(0.718 AUC)을 보였습니다.
• 보조 점검:
  • 교차 주입 전이(Cross-injection transfer): 텍스트 측 주입(I-dom/I-tool)으로 학습하고 시각적 오버레이(I-vis)로 테스트했을 때 AUC는 0.512(우연 수준)를 기록하여, 공유된 교차 표면 악의적 표현이 없음을 시사했습니다.
  • 셔플된 라벨에 대한 건전성 검사: 셔플된 라벨로 학습된 프로브는 일반화에 실패했습니다 (테스트 AUC 0.492). 이는 궤적 수준의 특이성을 암기한 것이 아님을 입증합니다.
  • 붕괴 전용 체크(Collapse-only check): 은닉 상태 붕괴 통계로 제한된 프로브는 0.634의 AUC를 기록하여 사전 등록된 상한선인 0.60을 약간 상회했습니다. 이는 신호가 순수한 일반적 붕괴 큐(collapse cue)가 아니라 C1/C2에서 드러난 지름길(shortcuts)과 상관관계가 있음을 시사합니다.

의의 및 주장
본 논문은 새로운 방어 기법이나 보편적으로 적용 가능한 탐지 방법을 발견했다고 주장하지 않습니다. 대신, 멀티모달 에이전트 안전성 분야에서 프로빙 결과가 어떻게 해석되는지에 대한 방법론적 비판을 제공합니다.

1. AUC의 재평가: 저자들은 0.998이라는 헤드라인 AUC가 "악의적 콘텐츠 탐지"라는 무조건적인 주장을 정당화하지 못함을 보여줍니다. 가시적 오버레이의 경우, 신호는 악의적 주입의 의미론적 내용이 아니라 "오버레이 텍스트/OCR 밀도/공격 템플릿 표면 통계"를 탐지하는 것과 일치합니다.
2. 후보 제어 세트: 본 논문은 C1과 C2를 필수적인 진단 레시피로 패키징합니다. 저자들은 보고된 모든 프로빙 AUC가 다음 사항과 병행되어야 한다고 주장합니다:
   • 쌍 구성 아티팩트를 확인하기 위한 스칼라 메타데이터 베이스라인.
   • 의미론적 분리 가능성을 테스트하기 위한 노이즈가 매칭된 제어 대상과의 직접적인 악의적 vs 제어 AUC.
   • 호라이즌 구조 데이터의 비독립성을 고려한 궤적 부트스트랩 신뢰 구간.
3. 제한적 일반화: 저자들은 Qwen2.5-VL-7B 백본과 Mind2Web 벤치마크를 넘어선 일반화는 추측일 뿐이라고 명시적으로 밝힙니다. 이 연구의 가치는 "지름길 클래스(shortcut classes)"가 어떻게 단일 인스턴스 내에서 의미론적 탐지기로 위장할 수 있는지를 폭로함으로써, 평가자들이 IPI 의미론을 탐지한다고 주장하기 전에 더 엄격한 보고 체크리스트를 채택하도록 촉구하는 데 있습니다.

결론적으로, 본 논문은 프로브가 이 특정 공격 표면에 대해 이 특정 분할에서 클린 단계를 구분해낼 수는 있지만, 현재로서는 에이전트의 은닉 상태가 주입의 악의적 의도를 인코딩한다는 증거를 제공하지 못한다고 밝힙니다. 왜냐나 노이즈 변수(예: 텍스트 내용)가 매칭될 때 신호가 붕괴되기 때문입니다.