기술 요약: REALM – 물리적 세계 VLM을 위한 통합 레드팀 벤치마크

1. 문제 정의

시각-언어 모델(VLM)은 자율 주행 차량 및 로봇 매니퓰레이터와 같은 안전이 필수적인 물리적 시스템의 체화된 지능(embodied intelligence)을 위한 인지-추론 백본으로서 점점 더 많이 배치되고 있습니다. 이러한 맥락에서 인지 또는 추론 오류는 안전하지 않은 물리적 행동으로 이어질 수 있습니다. VLM의 취약성을 조사하기 위한 수많은 레드팀(red-teaming) 방법이 존재하지만, 현재의 평가 환경은 파편화되어 있습니다. 기존 벤치마크는 주로 챗봇 중심의 안전성(예: 탈옥, 유해 콘텐츠 생성)에 초점을 맞추고 있으며, **물리적으로 근거가 있는 기능적 실패(physically grounded functional failures)**를 위한 표준화된 프로토콜이 부족합니다.

현재의 과제는 다음과 같습니다:

• 평가 파편화: 다양한 데이터셋, 메트릭, 위협 모델로 인해 공격 효과를 직접 비교하는 것이 불가능합니다.
• 목표 불일치: 챗봇 벤치마크는 거부율이나 유해성을 측정하지만, 물리적 세계의 VLM은 행동 예측, 작업 완료, 공간 추론 오류를 평가해야 합니다.
• 통합 프로토콜의 부재: 기존의 물리적 세계 벤치마크(예: PhysBench, PAI-Bench)는 클린 성능(clean performance)은 평가하지만, 다양한 방법론 간에 공유된 공격 목표를 가진 통합된 레드팀 프로토콜을 제공하지는 않습니다.

2. 방법론: REALM 프레임워크

저자들은 실용적인 블랙박스 위협 모델 하에서 물리적 세계 설정의 적대적 강건성(adversarial robustness)을 평가하기 위해 설계된 최초의 통합 벤치마크인 REALM(Red-teaming Benchmark for Physical-World VLMs)을 소개합니다.

2.1 벤치마크 구조

REALM은 다음 세 가지 축을 따라 평가를 구성합니다:

1. 물리적 도메인: 운전(Driving), 조작(Manipulation), 파지(Grasping), 물리학(Physics), 1인칭 보조(Egocentric assistance), 진단(Diagnostics), 그리고 장면 수준 질의응답(Scene-level QA)을 포함한 7개 도메인.
2. 태스크 패밀리: 인지(Perception), 예측(Prediction), 추론(Reasoning), 평가(Evaluation), 계획(Planning).
3. 실패 모드: 행동 예측 오류, 작업 성공 오류, 공간 추론 오류, 체화된 계획 오류와 같이 물리적으로 근거가 있는 출력 오류.

이 데이터셋은 기존의 물리-AI 벤치마크에서 파생된 832개의 테스트 케이스로 구성되며, 12개의 레드팀 방법과 13개의 피해 VLM에 걸쳐 9,984개의 적대적 테스트 케이스로 확장되었습니다.

2.2 에이전틱 타겟 생성 파이프라인 (Agentic Target-Generation Pipeline)

REALM의 핵심 혁신은 장면별 물리적 태스크에 대한 고정된 공격 목표를 정의하는 어려움을 해결하는 에이전틱 타겟 생성 파이프라인입니다.

• 프로세스: 소스 이미지, 질문, 정답(ground-truth answer)이 주어지면, 추론 VLM 에이전트가 장면을 분석하여 그럴듯한 실패 모드(예: 차량의 기동을 오해함)를 식별합니다.
• 출력: 파이프라인은 장면별 타겟 답변($a^{tar}_i$)과 의도된 오인지(misperception)를 시각적으로 구현하는 타겟 이미지($I^{tar}_i$)를 생성합니다.
• 유용성: 이러한 공유된 타겟을 통해 다양한 레드팀 방법론(시각적 섭동, 프롬프트 주입 등)을 동일한 장면별 적대적 목표에 대해 평가할 수 있어 공정한 비교가 가능해집니다.

2.3 위협 모델 및 평가

• 위협 모델: 현실적인 블랙박스 설정입니다. 공격 방법과 방어 방법 모두 피해 모델의 파라미터, 그래디언트(gradient), 또는 내부 상태에 접근할 수 없습니다.
• 공격 생성: 적대적 예시는 대리 모델(surrogate models) 또는 외부 생성기를 사용하여 오프라인에서 생성되며, 일회성(one-shot) 평가를 위해 피해 모델로 전이됩니다.
• 메트릭: 주요 메트릭은 **공격 성공률(ASR)**로, 적대적 입력이 VLM으로 하여금 태스크 관련 물리적 오류를 반영하는 잘못된 응답을 생성하게 만드는 비율로 정의됩니다. 베이스라인 비교를 위해 클린 정확도(Clean accuracy)도 함께 보고됩니다.

2.4 평가 대상 구성 요소

• 피해 모델: 7B에서 100B+ 파라미터에 이르는 13개의 VLM (Gemini-3-Flash, GPT-4.1-Mini와 같은 독점 모델 및 Qwen3.5, Qwen3-VL, Cosmos-Reason과 같은 오픈 소스 제품군 포함).
• 레드팀 방법론: 다음을 포함하는 12가지 방법:
  • 시각적 섭동(Visual Perturbations): 그래디언트 기반(FOA, M-Attack, V-Attack), 공동 최적화(Chain-of-Attack), 확산 기반(AdvDiffVLM).
  • 물리적 제약(Physical Constraints): PhysPatch (국소적 패치).
  • 생성/편집(Generative/Editing): AdvEDM, ImageMix.
  • 주입(Injection): 타이포그래픽(FigStep), 프롬프트(PromptInject), 단일 패스(AnyAttack).
• 방어(Defenses): 3가지 모델 불가지론적 전처리 방어: PAD (패치 제거), FreqPure (주파수 정화), BlueSuffix (텍스트/이미지 정화).

3. 주요 결과

3.1 공격 효과성

• 텍스트 및 타이포그래픽 주입: 이러한 공격들이 가장 많은 실패를 유도합니다. PromptInject가 가장 높은 평균 ASR(64.8%)을 달성했으며, FigStep(49.4%)이 그 뒤를 이었습니다. 이는 VLM이 텍스트 및 보조 명령 채널의 조작에 매우 취약함을 나타냅니다.
• 시각적 섭동: 시각적 공격 중에서는 동적으로 재생성된 캡션과 섭동을 공동 최적화하는 **Chain-of-Attack (CoA)**가 가장 강력한 전이 성능(54.6% ASR)을 보였으며, 이는 표준 그래디언트 기반 공격보다 우수했습니다. 이는 멀티모달 공동 최적화가 시각적 특징만을 이용한 최적화보다 교차 모달 정렬(cross-modal alignment)을 더 잘 활용함을 시사합니다.
• 효율성: 단일 패스 방식인 AnyAttack은 49.9%의 ASR을 달성하여, 훨씬 낮은 계산 비용으로 반복적 방법(예: FOA의 48.1%)의 성능에 근접했습니다.
• 물리적 제약: 공간적으로 제한된 섭동(PhysPatch)은 전체 이미지 섭동에 비해 낮은 전이성(33.0% ASR)을 보였으며, 이는 물리적 타당성 제약이 블랙박스 전이를 더 어렵게 만든다는 것을 나타냅니다.

3.2 모델 취약성

• 규모 vs 강건성: 모델 규모를 키우는 것(예: Qwen3.5를 9B에서 122B로)은 클린 정확도를 향상시키지만, 적대적 강건성을 보장하지는 않습니다. 특정 공격(예: PromptInject)에 대한 ASR은 규모가 커짐에 따라 거의 변하지 않거나 오히려 증가했습니다.
• 도메인 특화: 물리적 추론을 위해 사후 학습된 모델(Cosmos-Reason)이 더 우수한 강건성을 보이지 않았습니다. 실제로 이들은 높은 취약성을 보였으며, Cosmos-Reason2-8B는 PromptInject 하에서 76.8%의 ASR에 도달했습니다.
• 독점 vs 오픈 소스: 독점 모델(Gemini, GPT)은 유사한 클린 정확도를 가진 오픈 소스 모델과 대등한 수준의 취약성을 보였습니다. 이는 폐쇄형 소스 배포가 본질적으로 강건성을 보장하지 않음을 시사합니다.
• 도메인 편차: 취약성은 도메인에 따라 크게 다릅니다. 조작(Manipulation) 및 운전(Driving) 태스크가 가장 높은 중앙값 ASR을 보였고, **장면 QA(Scene QA)**가 가장 낮았습니다.

3.3 방어 분석

• 채널 특이성: 방어 기법은 매우 채널 특이적입니다. BlueSuffix(텍스트 정화)는 PromptInject의 ASR을 평균 21.7% 감소시켰습니다. FreqPure(주파수 필터링)는 그래디언트 기반 공격(FOA)을 5.8% 감소시켰습니다.
• 한계점: 단일 전처리 방어가 모든 공격 패러다임에 일반화될 수 없었습니다. 예를 들어, 시각적 방어(PAD, Freq-Pure)는 텍스트 주입 공격을 완화하는 데 실패했으며, 어떤 방어도 FigStep에는 영향을 미치지 못했습니다.

4. 의의 및 기여

본 논문은 REALM이 물리적 세계 VLM의 레드팀 방법을 비교할 수 있는 최초의 통합 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 통합 벤치마크: 12가지 공격 방법, 3가지 방어, 13개의 VLM을 공유된 프로토콜 아래 통합하여 효과성과 커버리지에 대한 직접적인 비교를 가능하게 했습니다.
2. 에이전틱 타겟 생성: 장면별 목표 정렬 문제를 해결하여, 다양한 공격이 물리적으로 근거 있고 장면과 일관된 실패 모드에 대해 평가될 수 있도록 했습니다.
3. 경험적 통찰: 텍스트 채널의 취약성이 현재 가장 치명적인 실패 지점이라는 점, 멀티모달 공동 최적화가 시각적 전이를 강화한다는 점, 그리고 모델 규모만으로는 강건성을 확보하기에 불충분하다는 점을 입증했습니다.

저자들은 향후 연구가 챗봇 중심의 콘텐츠 안전성을 넘어, 근거 있는 물리적 태스크에서의 **기능적 강건성(functional robustness)**을 위한 전용 벤치마크와 방어 체계를 개발하는 방향으로 나아가야 한다고 결론짓습니다.