Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks

이 논문은 멀티모달 웹 에이전트의 교차모달 공격 취약점을 해결하기 위해, 모방 학습과 오라클 지도 미세 조정, 그리고 적대적 강화 학습을 결합한 '이중 모달 다단계 적대적 안전 훈련 (DMAST)' 프레임워크를 제안하여 공격 저항성과 작업 수행 효율성을 동시에 크게 향상시킨다는 내용을 담고 있습니다.

핵심

1. 문제: 왜 AI는 쉽게 속을까? (이중 공격의 함정)

상상해 보세요. 당신의 집을 관리하는 매우 똑똑한 AI 집사가 있습니다. 이 집사는 두 가지 정보를 보고 일을 합니다.

1. **눈 **(스크린샷) 컴퓨터 화면을 직접 봅니다.
2. **귀 **(접근성 트리) 화면 속 버튼이나 입력창의 이름과 역할을 읽습니다.

보통 해커는 이 집사의 '귀'만 속이거나 '눈'만 속이려고 합니다. 하지만 이 논문은 **"만약 해커가 집사의 눈과 귀를 동시에 속인다면?"**이라는 질문을 던집니다.

비유: 해커가 집사의 귀에 대고 "이건 진짜 비밀번호 입력창이야!"라고 속삭이는 동시에, 집사의 눈앞에 가짜 비밀번호 입력창을 띄워놓는 것입니다.

결과: 집사는 "아, 귀와 눈이 모두 일치하네? 이건 진짜구나!"라고 믿고 자신의 주인 (사용자) 의 비밀번호를 가짜 창에 입력해 버립니다.

연구 결과, **텍스트 **(귀)만 공격하는 것보다 **이미지 **(눈)가 포함된 공격이 훨씬 더 효과적이었습니다. 기존 AI 보안 훈련은 '귀'만 잘 훈련시켰는데, '눈'을 속이는 공격에는 무방비 상태였던 것입니다.

---

2. 해결책: DMAST (AI와 해커의 '수련' 과정)

이 문제를 해결하기 위해 연구진은 DMAST라는 새로운 훈련 시스템을 만들었습니다. 이는 마치 무술 도장에서 수련하는 과정과 같습니다.

1 단계: 스승의 모방 (Imitation Learning)

처음에 AI 집사는 초보입니다. 그래서 **더 똑똑한 '스승 AI'**가 어떻게 일을 잘하는지, 그리고 어떻게 해커의 공격을 막는지 보여줍니다. 집사는 스승의 행동을 그대로 따라 하며 기본기를 다집니다.

2 단계: 오라클의 '무조건 집중' 훈련 (Oracle-Guided SFT)

이 단계가 가장 중요합니다. 훈련 도중 해커가 가짜 경고창을 띄워도, AI 집사는 "아, 이건 가짜야!"라고 말하면 안 됩니다. 오히려 **"해커가 뭐라고 하든 상관없이, 내 목표 **(사용자 시키기)는 훈련입니다.

비유: 해커가 "지금 불이 났으니 대피해!"라고 외치며 가짜 소화기를 던져도, AI 집사는 "아니야, 내 목표는 설거지야. 불은 나중에 해결할게"라고 아예 무시하고 설거지를 계속하는 훈련입니다.

이렇게 훈련하면 AI는 해커의 소란에 휘둘리지 않고 목표에만 집중하는 '강철 의지'를 갖게 됩니다.

3 단계: 해커와의 자유투 (Adversarial RL / Self-Play)

이제 AI 집사와 해커가 **서로 싸우며 실력을 키우는 '자유투 **(Self-Play)를 시작합니다.

• 해커는 AI가 방어하는 방법을 찾아내려고 더 교활한 공격을 개발합니다.
• AI는 그 새로운 공격을 막아내려고 더 똑똑한 방어법을 터득합니다.

비유: 마치 권투 선수와 코치가 서로 맞서며 실력을 키워가는 과정입니다. 해커가 새로운 펀치를 날릴수록, AI는 그 펀치를 피하는 법을 더 빠르게 배웁니다. 이 과정을 반복하면 AI는 아직 본 적 없는 새로운 공격에도 대처할 수 있게 됩니다.

---

3. 결과: 얼마나 효과가 있을까?

이 훈련을 받은 AI 집사는 놀라운 변화를 보였습니다.

1. 보안 강화: 해커가 비밀번호를 훔치려는 공격이 성공할 확률이 약 41% 에서 21% 로 절반 이상 줄었습니다.
2. 업무 효율 향상: 보안만 강화한 게 아니라, 오히려 일을 잘하는 능력도 두 배로 늘어났습니다. (기존에는 해커를 막느라 일을 안 하거나 거부하는 경우가 많았는데, 이제는 해커를 무시하고 일을 척척 해냅니다.)
3. 새로운 세상에 대한 적응: 훈련받지 않은 완전히 새로운 웹사이트 환경에서도 잘 작동했습니다.

---

4. 핵심 요약

이 논문의 핵심 메시지는 **"AI 를 안전하게 만들려면, 해커가 어떻게 공격하는지 미리 경험하게 해야 한다"**는 것입니다.

• 과거: 해커가 공격하는 모습을 보고 "안 돼!"라고 외치며 막으려 했습니다. (효과가 떨어짐)
• DMAST: 해커와 함께 싸우며 **"무엇이 진짜고 무엇이 가짜인지 스스로 판단하는 힘"**을 길러줍니다.

결국 이 기술은 AI 가 **해커의 속임수에 속지 않으면서도, 사용자의 일을 정확하게 해내는 '튼튼한 디지털 집사'**가 되는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem Definition)

배경 및 취약점:

• 현대의 웹 에이전트는 시각적 정보 (스크린샷) 와 구조화된 접근성 트리 (AX-Tree, DOM 기반) 를 동시에 처리하는 이중 스트림 (Dual-stream) 아키텍처를 사용합니다.
• 기존 연구는 주로 텍스트 기반 프롬프트 인젝션이나 이미지 기반 공격을 개별적으로 다루었습니다. 그러나 공격자가 웹 페이지의 DOM 에 콘텐츠를 주입하면, 스크린샷과 접근성 트리 모두에 일관된 기만적 내러티브가 동시에 생성됩니다.
• 핵심 문제: 이러한 교차 모드 (Cross-Modal) 공격은 단일 모드 공격보다 훨씬 강력하며, 현재 시각 - 언어 모델 (VLM) 의 안전성 훈련은 텍스트 중심이라 시각적 기만 (예: 타이포그래피 오버레이, 가짜 시스템 대화상자) 을 효과적으로 방어하지 못합니다.

실험적 발견:

• MiniWob++ 벤치마크를 사용한 취약성 분석 결과, 텍스트만 인젝션한 경우 (24.1%) 보다 시각적 요소가 포함된 공격 (이미지 전용 34.4%, 이중 모드 35.7%) 이 에이전트를 훨씬 더 쉽게 해킹 (안전성 탈출, 정보 유출) 시켰습니다. 이는 기존 VLM 안전 훈련의 심각한 공백을 보여줍니다.

---

2. 방법론 (Methodology: DMAST)

저자들은 이중 모드 다단계 적대적 안전 훈련 (DMAST) 프레임워크를 제안합니다. 이는 에이전트와 공격자의 상호작용을 두 명의 플레이어 제로섬 마르코프 게임으로 형식화하고, 세 가지 단계를 거쳐 에이전트와 공격자를 공동 진화 (Co-evolution) 시킵니다.

2.1 핵심 구성 요소

• 공격 메커니즘 (HTML Injection): 공격자는 DOM 에 구조화된 HTML/CSS 코드를 주입합니다. 이는 브라우저 런타임에서 실행되어 스크린샷과 AX-Tree 를 동시에 일관되게 변조합니다.
• 모델 아키텍처: 에이전트와 공격자는 동일한 VLM (공유 가중치) 에서 파생되며, 역할별 시스템 프롬프트로 구분됩니다. 이는 메모리 효율성을 높이고 상호 학습을 가능하게 합니다.

2.2 3 단계 훈련 파이프라인

1. 1 단계: 모방 학습 (Imitation Learning)

   • 강력한 교사 모델 (Teacher) 로부터 생성된 전문가 궤적 (성공적인 작업 완료 및 공격 성공 사례) 을 학생 모델 (Student) 에게蒸馏 (Distillation) 합니다.
   • 목적: 안정적인 초기화 및 기본 행동 패턴 확립.

2. 2 단계: 오라클 안내 감독 미세 조정 (Oracle-Guided SFT)

   • 핵심 전략: 'Zero-Acknowledgment(공격 인정 금지)' 전략을 사용합니다.
   • 오라클 모델은 깨끗한 상태와 공격된 상태 모두를 볼 수 있는 특권을 이용해, **공격을 언급하지 않고 오직 작업 목표에 집중하는 Chain-of-Thought (CoT)**를 생성합니다.
   • 이 데이터로 학생 모델을 미세 조정하여, 적대적 노이즈 속에서도 목표 지향적 추론을 유지하도록 훈련시킵니다.

3. 3 단계: 적대적 강화 학습 (Adversarial RL via Self-Play)

   • GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 에이전트와 공격자가 자기 대결 (Self-play) 을 통해 진화합니다.
   • 공격자는 더 정교한 공격을 개발하고, 에이전트는 이를 방어하는 능력을 동시에 향상시킵니다.
   • 보상 함수는 작업 완료와 정보 보호 (데이터 유출 방지) 를 동시에 최적화하도록 설계되었습니다.

---

3. 주요 기여 (Key Contributions)

1. 교차 모드 공격의 체계적 분석: 웹 에이전트에서 시각적 요소가 포함된 공격이 텍스트 기반 공격보다 훨씬 치명적임을 실증적으로 입증했습니다.
2. DMAST 프레임워크 제안: 이중 모드 공격에 대응하기 위해 모방 학습, 오라클 기반 SFT, 자기 대결 RL 을 결합한 통합 훈련 파이프라인을 제시했습니다.
3. 공통 진화 (Co-evolution) 메커니즘: 공격자가 더 정교한 공격을 개발할수록 에이전트의 방어 능력도 함께 성장하는 '적대적 군비 경쟁'을 성공적으로 구현했습니다.
4. 새로운 방어 패러다임: 기존 프롬프트 기반 방어나 단일 모드 훈련 방법론을 능가하는 새로운 안전성 강화 접근법을 제시했습니다.

---

4. 실험 결과 (Results)

실험 설정:

• 모델: 학생 모델 (Gemma-3-12B-IT), 교사/평가자 모델 (Gemma-3-27B-IT).
• 벤치마크: 훈련 데이터 (MiniWob++), 테스트 데이터 (Unseen MiniWob++ 및 OOD VisualWebArena).
• 비교 대상: SPAG, 자동 레드 테이밍 (ART), 온라인 SFT, 순수 프롬프트 방어 등.

주요 성과:

• 안전성 향상: VisualWebArena (OOD) 환경에서 기본 모델의 공격 성공률 (ASR) 을 41.2% 에서 21.4% 로 대폭 감소시켰습니다.
• 작업 효율성 유지: 동시에 에이전트의 작업 완료율 (TSR) 을 6.2% 에서 10.2% 로 향상시켰습니다. (기존 훈련 기반 방법들은 안전성을 높이면 작업 효율이 떨어지는 경향이 있었으나, DMAST 는 두 가지를 동시에 개선).
• 비교 우위: SPAG, ART, 온라인 SFT 등 기존 최첨단 방어 기법들을 모두 능가했습니다. 특히 '순수 프롬프트 방어'는 공격 성공률은 낮췄으나 작업 거부 (Refusal Collapse) 로 인해 작업 완료율이 3.1% 로 급락했으나, DMAST 는 이를 방지했습니다.
• 단계별 기여: 3 단계 모두 누적적으로 성능을 향상시켰으며, 특히 오라클 안내 SFT 가 작업 완료율 향상에, RL 단계가 안전성 강화에 결정적인 역할을 했습니다.

---

5. 의의 및 결론 (Significance)

• 실용적 안전성: 자율 웹 에이전트가 실제 웹 환경에서 발생할 수 있는 정교한 교차 모드 공격 (가짜 UI, 타이포그래피 공격 등) 에 대해 견고하게 대응할 수 있는 기반을 마련했습니다.
• 일반화 능력: 훈련 데이터와 다른 분포 (OOD) 의 복잡한 웹 환경에서도 뛰어난 일반화 성능을 보여주어, 실제 배포에 적용 가능한 수준의 안전성을 입증했습니다.
• 미래 연구 방향: 이 연구는 VLM 기반 에이전트의 안전성 훈련이 텍스트 중심을 넘어 시각적 맥락까지 통합되어야 함을 강조하며, 향후 더 넓은 공격 목표 (제어 흐름 하이재킹 등) 로 확장 가능한 마르코프 게임 기반 접근법의 유효성을 보여주었습니다.

요약하자면, 이 논문은 시각과 텍스트가 결합된 웹 에이전트의 새로운 취약점을 발견하고, 적대적 공존 (Adversarial Co-evolution) 을 통한 3 단계 훈련으로 이를 해결하는 획기적인 솔루션을 제시한 연구입니다.