When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs

이 논문은 비전-언어-행동 (VLA) 모델이 언어 지시를 무시하고 시각적 편향에 의존하는 '반사적 실패' 문제를 해결하기 위해, 추가 학습 없이 기존 모델에 적용 가능한 '반사적 행동 유도 (CAG)'라는 새로운 추론 기법을 제안하고 LIBERO-CF 벤치마크를 통해 그 유효성을 입증합니다.

핵심

🍳 1. 문제: "눈만 믿는 고집 센 요리사"

우리가 로봇에게 **"테이프를 집어줘"**라고 명령한다고 상상해 보세요.
하지만 로봇이 보는 장면에는 테이프와 **머스터드 (겨자)**가 함께 있습니다.

• 기존 로봇의 반응: 로봇은 "아, 이 테이블에서는 항상 머스터드를 집는 훈련을 받았구나!"라고 생각합니다. 그래서 사용자가 "테이프를 집어줘"라고 해도, 로봇은 머스터드를 집어 올립니다.
• 왜 그럴까요? 로봇은 훈련 데이터에서 "테이블 + 머스터드" 조합을 너무 많이 봤기 때문에, 언어 (명령) 를 무시하고 눈 (시각) 에만 의존하게 된 것입니다. 이를 논문에서는 **'시각적 단서 (Vision Shortcut)'**라고 부릅니다.
  • 마치 "집에 가면 TV 를 켜는 습관"이 있어서, 집에 들어오자마자 TV 리모컨을 쥔 채로 "물 좀 가져와"라는 명령을 무시하는 것과 같습니다.

이런 실수를 **'반사적 실패 (Counterfactual Failure)'**라고 부릅니다. 로봇이 명령을 무시하고, 익숙한 대로 행동하는 것이죠.

📏 2. 발견: "로봇이 얼마나 고집이 센지 측정하는 시험지"

연구팀은 이 문제를 체계적으로 증명하기 위해 **'LIBERO-CF'**라는 새로운 시험지를 만들었습니다.

• 시험 내용: 로봇이 훈련받지 않은 새로운 상황 (예: 머스터드 대신 테이프를 집으라고 하거나, 전혀没见过인 공을 집으라고 하는 등) 을 주면서, 로봇이 명령을 잘 따르는지, 아니면 예전 습관대로 행동하는지 확인합니다.
• 결과: 최신 로봇 모델들조차도 이 시험에서 대부분 실패했습니다. 명령을 무시하고 훈련받았던 행동만 반복하는 경향이 매우 강했습니다.

🛠️ 3. 해결책: "두뇌를 두 개로 쓰는 CAG"

연구팀은 로봇의 고집을 꺾기 위해 **'CAG(반사적 행동 유도)'**라는 새로운 방법을 제안했습니다.

이 방법은 로봇의 '두뇌'를 두 개로 나누어 생각하게 만드는 것과 같습니다.

1. A 뇌 (기존 로봇): "눈에 보이는 대로 행동해!" (시각 우선)
2. B 뇌 (새로운 로봇): "명령만 듣고 행동해! 눈은 무시해!" (언어 우선)

CAG 의 마법:
로봇이 행동을 결정할 때, A 뇌의 생각과 B 뇌의 생각을 섞어서 새로운 결정을 내리게 합니다.

• "A 뇌는 머스터드를 집으라고 하지만, B 뇌는 '테이프를 집어'라고 명령했어. 그럼 B 뇌의 목소리를 더 크게 들어주자!"

이렇게 하면 로봇은 시각적 습관 (머스터드) 에 빠지지 않고, 사용자의 진짜 명령 (테이프) 을 따를 수 있게 됩니다.

🌍 4. 실험 결과: "실제 로봇에서도 효과가 입증됨"

이 방법을 컴퓨터 시뮬레이션과 **실제 로봇 (Franka 로봇 팔)**을 이용해 테스트했습니다.

• 결과: CAG 를 적용한 로봇은 명령을 따르는 정확도가 크게 향상되었습니다.
  • 예: "머스터드를 집어줘"라고 했을 때, 머스터드를 집는 비율이 13% 에서 21% 로 늘었고, 실수 (테이프를 집는 등) 는 크게 줄었습니다.
  • 심지어 로봇이 한 번도 본 적 없는 물건 (예: 농구공) 을 집으라고 해도, 명령을 잘 따르는 능력을 회복했습니다.

💡 5. 핵심 요약

이 논문의 핵심 메시지는 다음과 같습니다:

1. 현재 로봇들은 '눈'에 너무 의존해서, '귀' (명령) 를 잘 듣지 못한다.
2. 우리는 로봇이 명령을 얼마나 잘 듣는지 측정할 수 있는 새로운 시험지 (LIBERO-CF) 를 만들었다.
3. 로봇에게 '명령을 무시하지 않도록' 도와주는 새로운 방법 (CAG) 을 개발했다.
4. 이 방법은 로봇의 구조를 바꾸지 않고도, 소프트웨어 업데이트만으로 적용할 수 있어 매우 실용적이다.

한 줄 요약:

"로봇이 눈만 보고 고집 부리는 것을 막기 위해, '명령을 더 크게 듣게 하는' 새로운 방법을 찾아냈습니다!"

기술 요약

이 논문은 시각-언어-행동 (VLA, Vision-Language-Action) 모델이 로봇 제어에서 언어 지시를 충실히 따르지 못하고, 학습된 시각적 단서 (visual shortcuts) 에 의존하여 잘못된 행동을 수행하는 '반사실적 실패 (Counterfactual Failures)' 문제를 체계적으로 분석하고 해결책을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 반사실적 실패 (Counterfactual Failure): VLA 모델이 특정 장면 (scene) 에서 학습된 특정 작업 (예: 테이프 집기) 에 익숙해지면, 사용자가 다른 지시 (예: 머스터드 집기) 를 내렸을 때에도 시각적 단서에 이끌려 학습된 작업을 반복하는 현상입니다.
• 원인: 로봇 데이터셋의 편향과 모달리티 불균형 (Modality Imbalance) 때문입니다. 데이터셋은 특정 작업에 국한된 경우가 많고, 시각 정보가 언어 정보보다 압도적으로 많아 모델이 언어 지시보다 시각적 패턴을 우선시하게 됩니다.
• 결과: 모델은 언어 지시를 무시하고 '시각적 단서 (Vision Shortcuts)'를 통해 학습된 행동을 수행하며, 이는 실제 환경에서의 안전성과 신뢰성을 위협합니다.

2. 제안된 벤치마크: LIBERO-CF

• 목적: VLA 모델의 언어 추종 능력을 평가하기 위해 설계된 최초의 반사실적 (Counterfactual) 벤치마크입니다.
• 구성: 기존 LIBERO 데이터셋의 레이아웃을 유지하면서, 학습 시 관찰되지 않았거나 배경으로만 존재했던 객체/작업을 대상으로 새로운 지시를 부여합니다.
• 4 가지 평가 세트:
  1. CF-Spatial: 배경 객체를 대상으로 하는 공간적 지시.
  2. CF-Object: 다른 객체를 대상으로 하는 객체 중심 지시.
  3. CF-Long: 다단계 지시를 포함한 장기적 작업.
  4. CF-OOD: 학습 중 전혀 보지 못한 객체 (Out-of-Distribution) 에 대한 지시.
• 평가 지표: 지시된 객체를 잡았는지 여부 (Grounding Rate) 와 작업 성공 여부 (Success Rate) 를 측정하며, '충실한 (Faithful)' 수행과 '편향된 (Biased)' 수행을 구분합니다.

3. 방법론: 반사실적 행동 안내 (CAG, Counterfactual Action Guidance)

• 개념: 분류기 없는 안내 (Classifier-Free Guidance, CFG) 개념을 로봇 행동 생성에 적용한 이중 분기 추론 (Dual-branch Inference) 방식입니다.
• 동작 원리:
  • 조건부 정책 ($\pi_{cond}$): 시각 ($o$) 과 언어 ($l$) 를 모두 입력받아 행동을 예측하는 일반 VLA.
  • 무조건부 정책 ($\pi_{uncond}$): 언어 없이 시각 ($o$) 만 입력받아 행동을 예측하는 시각 - 행동 (VA) 모델 (또는 언어 입력을 제거한 VLA).
  • 결합: 두 정책의 출력을 다음과 같이 결합하여 언어의 영향을 증폭시킵니다.
    $$\pi_{CAG}(a|o, l) = \pi_{uncond}(a|o, \emptyset) + \omega \cdot (\pi_{cond}(a|o, l) - \pi_{uncond}(a|o, \emptyset))$$
    여기서 $\omega$는 안내 스케일 (guidance scale) 로, 언어 조건화의 강도를 조절합니다.
• 장점: 기존 모델 아키텍처나 사전 학습 가중치를 변경하지 않고, 추론 시에만 적용 가능한 플러그 앤 플레이 (Plug-and-Play) 방식입니다. 추가적인 데이터 수집이나 파인튜닝이 필요하지 않은 'Training-Free' 전략도 지원합니다.

4. 주요 실험 결과

• 시뮬레이션 실험 (LIBERO-CF):
  • 기존 VLA 모델들 (OpenVLA, $\pi_0$, $\pi_{0.5}$) 은 반사실적 지시에서 극도로 낮은 성능을 보였습니다 (예: $\pi_{0.5}$의 평균 Grounding Rate 30.8%).
  • CAG 적용 효과: CAG 를 적용한 결과, $\pi_{0.5}$의 평균 Grounding Rate 가 30.8% 에서 **46.3%**로 상승했고, Success Rate 는 13.2% 에서 **21.7%**로 개선되었습니다. 특히 훈련되지 않은 작업 (OOD) 에서도 성능이 크게 향상되었습니다.
  • 편향 감소: 학습된 작업에 대한 편향된 실행 (Biased execution) 이 크게 감소하여 모델이 언어 지시를 더 충실히 따르게 되었습니다.
• 실세계 실험 (Real-world):
  • Franka 로봇 팔을 사용하여 물체 인식, 공간 추론, 목표 달성, OOD 일반화, 장기적 추론 등 다양한 시나리오에서 검증했습니다.
  • CAG 는 실세계에서도 반사실적 실패를 9.4% 감소시키고, 작업 성공률을 평균 17.2% 향상시켰습니다.
  • 특히, 학습된 작업과 다른 객체나 순서를 요구하는 복잡한 지시에서도 CAG 가 언어 지시를 따르는 능력을 회복시켰습니다.

5. 기여 및 의의

1. 새로운 벤치마크 도입: VLA 의 언어 추종 능력을 평가하기 위한 최초의 체계적인 반사실적 벤치마크인 LIBERO-CF를 제안했습니다.
2. 범용 해결책 제시: 모델 아키텍처 변경 없이 적용 가능한 CAG를 통해 언어 조건화를 강화하고 시각적 편향을 완화하는 효과적인 방법을 제시했습니다.
3. 심층 분석: VLA 모델이 왜 언어 지시를 무시하고 시각적 단서에 의존하는지 (시각적 단서 현상) 를 정량적으로 증명하고, 이를 해결함으로써 로봇의 일반화 능력과 안전성을 높일 수 있음을 입증했습니다.

결론적으로, 이 논문은 VLA 모델이 가진 치명적인 약점인 '시각적 편향'을 규명하고, 간단한 추론 기법 (CAG) 으로 이를 효과적으로 해결하여 로봇이 사용자의 의도를 정확하게 이해하고 실행할 수 있음을 입증했습니다.