If you're waiting for a sign... that might not be it! Mitigating Trust Boundary Confusion from Visual Injections on Vision-Language Agentic Systems

1. 연구 배경 및 문제 정의 (Problem)

배경:
대형 비전 - 언어 모델 (LVLM) 을 기반으로 한 구현형 비전 - 언어 에이전트 시스템 (VLAS, Vision-Language Agentic Systems) 이 자율 주행, 드론, 로봇 조작 등 고위험 분야에서 활발히 도입되고 있습니다. 이러한 시스템은 사용자의 텍스트 명령과 실제 환경의 시각적 신호 (교통 표지판, 경고문 등) 를 모두 인식하여 행동을 결정합니다.

핵심 문제: 신뢰 경계 혼란 (Trust Boundary Confusion)
기존의 텍스트 기반 프롬프트 주입 공격과 달리, VLAS 는 물리적 환경에 존재하는 시각적 텍스트 (예: 도로 표지판, 제품 라벨) 를 인식해야 합니다. 그러나 악의적인 공격자는 환경에 잘못된 시각적 지시 (Visual Injection) 를 삽입하여 에이전트의 행동을 조작할 수 있습니다.

• 양면성: 환경의 시각적 신호는 안전을 위한 정당한 경고 (Helpful Signal) 일 수도 있고, 악의적인 오도성 주입 (Misleading Injection) 일 수도 있습니다.
• 혼란: 에이전트가 사용자의 의도 (User Intent) 와 환경의 시각적 지시 (Visual Instruction) 사이에서 어느 것을 우선시해야 할지 판단하지 못해 발생하는 현상을 저자들은 '신뢰 경계 혼란 (Trust Boundary Confusion)' 으로 정의합니다.
• 위험: 에이전트가 정당한 안전 신호를 무시하면 사고가 발생하고 (Fail-Closed), 악의적인 신호를 따르면 사용자 의도와 배치된 위험한 행동을 수행하게 됩니다 (Fail-Open).

2. 방법론 (Methodology)

저자는 이 문제를 해결하기 위해 이중 의도 (Dual-Intent) 평가 프레임워크를 구축하고, 새로운 다중 에이전트 방어 체계를 제안했습니다.

A. 평가 프레임워크 및 데이터셋 구축

• 이중 의도 데이터셋: 시각적 주입을 '도움이 되는 신호 (Helpful)'와 '오도성 신호 (Misleading)'로 분류하여 평가합니다.
  • 시나리오: 이미지 편집 (디지털), 로봇 조작 (물리적), 자율 주행, UAV 비상 착륙 등.
  • 주입 유형:
    1. 구조 기반 (Structure-based): 자연스러운 표지판 형태, 경고문, 이모지 등을 시각적으로 합성하여 사용자의 텍스트 명령을 무시하도록 유도.
    2. 노이즈 기반 (Noise-based): 적대적 교란 (Adversarial Perturbation) 을 사용하여 모델의 잠재 공간 (Latent Space) 을 조작.
• 평가 지표: 에이전트가 생성한 행동 계획이 사용자 의도에 부합하는지, 아니면 주입된 목표에 편향되는지를 구조적 일관성, 내용 중복도, 의미 정렬 등을 통해 측정.

B. 주요 실험 및 발견

• 7 개 LVLM 모델 평가: GPT-4o, GPT-5, Gemini, Claude, Qwen 등 최신 모델들을 대상으로 실험.
• 발견:
  • 모달리티 게으름 (Modality Laziness): 많은 모델이 시각적 텍스트를 인식 (OCR) 할 능력은 뛰어나지만, 실제 행동 계획 수립 시 이를 무시하고 텍스트 명령만 따르는 경향이 있음.
  • 비대칭적 민감도: 일부 모델은 정당한 안전 신호는 무시하면서도, 악의적인 주입에는 과도하게 반응하여 신뢰 경계가 붕괴됨.

C. 제안된 방어 메커니즘: 다중 에이전트 프레임워크

기존의 단순 필터링 (모든 시각적 신호 차단) 은 유용한 안전 신호까지 차단하는 'Fail-Closed' 문제를 야기하므로, 분리된 다중 에이전트 아키텍처를 제안합니다.

1. 관측 에이전트 (Observation Agent - Signaling Plane):
   • 환경의 모든 시각적 신호 (텍스트, 기호, 워터마크 등) 를 중립적으로 추출하고 전사합니다.
   • 악의적인지 아닌지 판단하지 않고, 단순히 "무엇이 보이는가"를 파악하여 모달리티 게으름을 방지합니다.
2. 판단 에이전트 (Judgment Agent - Trust Plane):
   • 추출된 시각적 신호 ($I_v$) 와 사용자 명령 ($I_u$) 을 비교합니다.
   • 컨텍스트 학습 (ICL) 을 통해 해당 신호가 정당한 안전 제약 (Helpful) 인지 악의적인 해킹 (Misleading) 인지 판단합니다.
   • 신뢰 경계를 동적으로 설정하여 어느 명령을 우선시할지 결정합니다.
3. 실행 에이전트 (Execution Agent - LVLM Agent):
   • 판단 에이전트의 결정에 따라 최종 행동 계획을 생성합니다.
   • 정당한 신호라면 사용자 명령을 무시하고 안전 신호를 따르고, 악의적 신호라면 시각적 텍스트를 무시하고 사용자 명령을 따릅니다.

3. 주요 기여 (Key Contributions)

1. 개념 정립: VLAS 에서 발생하는 '신뢰 경계 혼란 (Trust Boundary Confusion)'을 공식적으로 정의하고, 이를 체계적으로 평가할 수 있는 통일된 프레임워크를 제시했습니다.
2. 데이터셋 구축: 이미지 편집, 물리적 조작, 비상 착륙 등 다양한 시나리오를 포함한 '이중 의도 (Dual-Intent)' 데이터셋을 구축했습니다.
3. 현상 규명: 최신 LVLM 모델들이 시각적 신호를 인식하면서도 결정 과정에서 이를 무시하거나 (모달리티 게으름), 악의적 신호에 취약하게 반응하는 비대칭적 취약점을 발견했습니다.
4. 방어 솔루션 제안: 단순 필터링의 한계를 극복하는 다중 에이전트 방어 프레임워크를 제안했습니다. 이는 구조적 복잡성을 높여 의미론적 주입을 막고, 무작위 평활화 (Randomized Smoothing) 를 통해 적대적 노이즈에 대한 검증된 강건성을 제공합니다.
5. 실제 환경 검증: 시뮬레이션뿐만 아니라 실제 로봇 팔, 자율 주행, UAV 시나리오 (Sim-to-Real) 에서 방어 메커니즘이 효과적으로 작동함을 입증했습니다.

4. 실험 결과 (Results)

• 공격 성공률 감소: 제안된 다중 에이전트 프레임워크는 악의적 주입 공격의 성공률을 약 3% 미만으로 획기적으로 낮췄습니다.
• 유용한 신호 보존: 정당한 안전 신호 (Helpful cues) 를 올바르게 인식하고 따르는 비율은 95% 이상을 유지하여, 기존 방어 기법들이 겪던 '과도한 차단 (Fail-Closed)' 문제를 해결했습니다.
• 모델 무관성: GPT-4o, GPT-5, Gemini, Claude, Qwen 등 다양한 아키텍처의 모델에서 일관된 방어 효과를 보였습니다.
• 노이즈 공격 방어: 백박스 (White-box) 적대적 노이즈 공격에 대해서도 강력한 방어 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 구현형 AI 시스템의 보안 분야에서 중요한 전환점을 제시합니다.

• 패러다임의 변화: 단순히 "시각적 입력을 차단"하는 수동적인 방어에서, "시각적 입력의 의도를 판단하고 동적으로 신뢰 경계를 설정" 하는 능동적인 방어 패러다임으로의 전환을 요구합니다.
• 실용적 안전성: 자율 주행이나 로봇과 같은 고위험 분야에서 AI 가 환경의 안전 신호를 무시하지 않으면서도, 악의적인 조작에 속지 않도록 하는 신뢰할 수 있는 자율성 (Trustworthy Autonomy) 을 확보하는 데 기여합니다.
• 미래 방향: 단순한 모델 정렬 (Alignment) 을 넘어, 시스템 아키텍처 수준에서 신뢰를 검증하고 관리하는 구조적 안전 장치의 필요성을 강조합니다.

요약하자면, 이 연구는 AI 에이전트가 복잡한 현실 세계의 시각적 신호 속에서 '무엇을 믿고 무엇을 무시할지' 판단하는 능력을 상실하지 않도록 돕는 새로운 방어 체계와 평가 기준을 제시한 획기적인 작업입니다.