기술 요약: 할루시네이션을 악용한 공격: 증거를 운반하는 멀티모달 에이전트

1. 문제 제기

현재 멀티모달 에이전트에 대한 평가는 종종 할루시네이션을 답변 품질 오류 (예: 잘못된 캡션) 로, 프롬프트 인젝션을 지시 따르기 실패로 간주합니다. 그러나 멀티모달 에이전트가 도구 (예: 클릭, 이메일 발송, 자금 이체) 를 제어할 때, 할루시네이션은 권한 부여 실패가 될 수 있습니다. 모델이 버튼 위치, 수신자 이메일, 또는 문서 필드와 같은 전제 조건을 잘못 인식할 경우, 지지되지 않는 시각적 주장에 기반하여 특권 도구를 호출할 수 있습니다.

기존 방어 기법은 관찰, 해석, 지시, 그리고 권한 부여를 단일 자유 형식의 모델 텍스트로 축소하기 때문에 실패합니다. 결과적으로 프롬프트 필터링은 악성 인젝션과 모델의 잘못된 신념을 구별할 수 없습니다. 본 논문은 **할루시네이션 - 행동 변환 (H2AC)**을 주요 실패 모드로 규명합니다. 이는 지지되지 않는 지각적 주장이 필요한 행동 전제 조건을 충족시켜 실행 결정을 '차단'에서 '허용'으로 변경하는 현상입니다.

2. 방법론: 증거를 운반하는 멀티모달 에이전트 (ECA)

저자들은 작업 해석과 행동 권한 부여를 분리하는 아키텍처인 **증거를 운반하는 멀티모달 에이전트 (ECA)**를 제안합니다. ECA 는 자유 형식의 모델 텍스트를 고신뢰도 술어 (predicates) 에 대한 불허용 증거로 간주합니다.

핵심 아키텍처

1. 행동 스키마 ($G_a$): 각 도구 호출은 특정 행동에 중요한 술어 (예: ui_element, ocr_text, safe_source) 로 분해됩니다. 이러한 스키마는 행동이 안전하기 위해 필요한 정확한 조건을 정의합니다.
2. 제약된 검증기: 멀티모달 대규모 언어 모델 (MLLM) 에 사실 검증을 의존하는 대신, ECA 는 별도의 제약된 검증기 (예: DOM 파서, OCR 엔진, 접근성 트리 파서) 를 사용하여 타입이 지정된 증거 증명서를 생성합니다.
   • 증명서는 타입, 값, 영역, 소스, 검증기, 신뢰도, 시간, 그리고 신뢰 레이블을 포함하는 구조화된 기록 $e = (\tau, v, r, s, \nu, \kappa, t, \lambda)$입니다.
   • 결정적으로, 행동을 제안하는 구성 요소 (MLLM) 는 이를 권한 부여하는 사실을 증명할 수 없습니다.
3. 결정론적 정책 게이트 ($\Pi$): 게이트는 제안된 행동을 행동 스키마와 비교하여 평가합니다. 스키마의 모든 필수 술어가 적절한 타입, 범위, 신뢰 레이블, 그리고 신뢰도를 가진 증명서와 일치할 때만 허용합니다.
   • 허용: 모든 술어가 신뢰할 수 있는 증명서로 지지됨.
   • 요청: 증거가 불완전하지만 행동이 되돌릴 수 있음.
   • 차단: 증거가 행동을 모순하거나 필요한 출처가 누락됨.

이론적 기반

이 시스템은 정보 흐름 제어 원칙에 의존합니다. 시스템의 안전성은 잔여 위험으로 분해됩니다:

• $\epsilon_p$: 검증기의 오검출률 (거짓 술어를 증명하는 경우).
• $\delta_{schema}$: 행동 스키마가 중요한 술어를 누락할 확률.
• $\delta_{impl}$: 구현 우회 발생 확률.
  위험한 행동이 발생할 확률은 모델이 할루시네이션을 일으킬 확률이 아니라, 이러한 잔여 위험의 합으로 제한됩니다.

3. 주요 기여

1. H2AC 의 형식화: 본 논문은 지지되지 않는 지각적 주장이 행동 권한이 되는 메커니즘으로서 할루시네이션 - 행동 변환을 정의합니다.
2. ECA 아키텍처: 모델 텍스트에 의존하는 대신 행동에 중요한 술어에 대해 타입이 지정된 증거를 요구하는 '증명서 게이트'를 강제하는 새로운 설계입니다.
3. 다단계 평가:
   • 적대적 레드팀: DOM, OCR, 그리고 접근성 트리 검증기를 대상으로 한 19 개 카테고리, 1,900 건의 공격.
   • 콘텐츠 기반 실행: 실제 DOM, OCR, AX 추출을 사용한 종단간 (E2E) 및 브라우저 개념 증명 (PoC) 평가.
   • 오라클 - 증명서 재생: 게이트 논리를 검증기 오류와 분리하기 위해 가정된 정확한 증명서를 사용한 7,488 개의 추적.
4. 구조적 대 신경적 방어: 이 위협 모델 하에서 구조적 게이팅 (ECA) 이 신경적 판단 (LLM 판사) 보다 우수함을 입증합니다.
5. 표적 강화: DOM 출처 교차 참조, UTS #39 혼동 가능 문자 감지, AX-DOM 무결성 검증, 지각적 해시 OCR 강화라는 네 가지 구체적인 수정 사항으로 우회율을 크게 감소시켰습니다.

4. 실험 결과

본 논문은 세 가지 증거 계층에 걸쳐 결과를 보고하며, '게이트 레벨 제로'는 검증기 정확성에 조건부인 설계 특성임을 강조합니다.

• 적대적 검증기 레드팀:
  • 초기 게이트 우회율: 15%.
  • 네 가지 표적 강화 단계 후: 1.3% (보페로니 보정 상한선 2.3%).
• 종단간 (E2E) 및 브라우저 PoC:
  • 200 작업 E2E 파이프라인: 0% 위험 행동률 (UAR) (윌슨 95% 상한선 2.67%).
  • 120 작업 브라우저 PoC: 0% UAR (윌슨 95% 상한선 4.3%).
  • 500 자산 실제 파서 재생: 0% UAR.
• 직접 HACR 감사:
  • 계층화된 500 작업 하위 집합에서, 순진한 에이전트의 경우 지지되지 않는 행동 관련 주장의 **100%**가 실행에 도달했으며, 프롬프트 전용 방어 기법의 경우 **49.6%**였습니다.
  • ECA 는 증명서 게이트에서 지지되지 않는 행동 관련 주장의 100% (1,103 개 중 0 개) 를 차단했습니다.
• 신경적 판사와의 비교:
  • GPT-5.4 판사 변형들은 위험한 작업에서 79% 에서 99% 사이의 UAR 을 달성했습니다.
  • Progent 스타일의 적대적 탐지 시나리오에서 판사의 UAR 은 **23.3%**인 반면 ECA 는 **0%**였습니다.
  • 신경적 판사는 신뢰할 수 있는 지시와 할루시네이션된 전제 조건을 효과적으로 구별하지 못했습니다.

5. 중요성과 주장

본 논문은 할루시네이션된 문서 또는 UI 사실이 행동 스키마를 충족시킬 수 있을 때, 모델의 안전 독백을 다듬는 것은 약한 지렛대라고 주장합니다. 주요 기여는 멀티모달 컨텍스트의 주장이 도구 특권에 영향을 미치기 전에 타입이 지정된 술어로 표현되어야 하는 언어 - 행동 권한 부여 경계입니다.

• 겸손한 주장: 저자들은 ECA 가 할루시네이션이나 모든 에이전트 오용을 해결하지는 않는다고 명시적으로 밝힙니다. 안전 주장은 조건부입니다: 스키마가 중요한 술어를 누락하거나, 구현이 게이트를 우회하거나, 검증기가 거짓 술어를 증명할 경우 ECA 는 실패할 수 있습니다.
• 감사 가능한 잔여 위험: ECA 의 장점은 실패가 불투명한 모델 신념에 숨겨지는 것이 아니라 측정 가능한 잔여 위험 ($\epsilon_p, \delta_{schema}, \delta_{impl}$) 으로 노출된다는 점입니다.
• 범위: 이 작업은 지시 분류기를 우회하는 '거짓 전제' 공격 경로에 초점을 맞춥니다. 새로운 검증기 공격, 대규모 실시간 다중 턴 배포, 또는 스키마 수정 없이 임의의 도구 생태계에 대한 견고함을 주장하지는 않습니다.

요약하자면, ECA 는 신뢰 경계를 플래너 (MLLM) 에서 증거 계층 (검증기) 으로 이동시켜, 불투명한 모델 신념을 감사 가능한 잔여 위험으로 변환하고 지지되지 않는 시각적 주장이 조용히 특권 행동을 권한 부여하는 것을 방지합니다.