기술 요약: VLA는 기초적인 지식조차 알고 있는가? 시각-언어-행동 모델(VLA)의 상식 및 세계 지식 유지 능력 측정

문제 정의

체화된 시각-언어-행동(VLA) 모델은 일반적으로 강력한 사전 학습된 시각-언어 모델(VLM)을 로봇 데이터로 미세 조정하여 구축됩니다. 이러한 모델들이 흔격히 개방형 세계 일반화가 가능하다고 광고되지만, 제어 작업에 적응하는 과정에서 얼마나 많은 상식과 사실적 지식을 유지하는지는 여전히 불분명합니다. 현재의 평가 패러다임은 주로 내비게이션이나 물체 조작(예: LIBERO, CALVIN)과 같은 작업 성공률에 초점을 맞춘 "조작 중심(manipulation-centric)"입니다. 이러한 벤치마크들은 지식 결핍을 저수준 모터 제어, 인지 또는 장기 계획(long-horizon planning)의 실패와 혼동합니다. 결과적으로, VLA가 소스 VLM에 존재하는 세계 지식을 파괴적으로 망각했는지, 아니면 지식 민감 작업에서의 실패가 단순히 제어 정책의 일반화 능력 부족 때문인지를 판별할 수 있는 원칙적인 방법이 없습니다.

방법론: Act2Answer

지식 손실과 제어 실패 사이의 모호함을 해결하기 위해, 저자들은 VLM 지식 벤치마크를 VLA 모델에 적응시켜 텍스트 생성이 아닌 행동을 통해 답을 하도록 요구하는 경량 평가 프로토콜인 Act2Answer를 도입합니다.

핵심 프로토콜

• 행동 기반 선택 (Action-Grounded Selection): 텍스트를 생성하는 대신, 각 질문은 짧고 단순한 테이블탑 에피소드로 변환됩니다. 에이전트는 자연어 지시를 받고, 테이블 위에 놓인 후보 이미지들 중 정답을 선택하기 위해 단일하고 간단한 물체 배치 동작(큐브 이동)을 수행해야 합니다.
• 혼란 요소 감소 (Reduced Confounds): 작업을 단일하고 짧은 호라이즌의 동작으로 제한함으로써, 복잡한 모터 제어, 장기 계획, 환경 역학의 영향을 최소화하고, 의사결정을 위해 지식을 사용하는 에이전트의 능력을 격리하여 측정합니다.
• 소프트 성공률 (Soft Success Rate, SR): 성능은 타겟 정답 주변의 허용 범위를 고려하는 "소프트 성공률"을 사용하여 측정됩니다. 이 지표는 다음을 구분합니다:
  1. 지시/인지 실패 (Instruction/Perceptual Failure): 에이전트가 범위를 벗어나 물체를 놓거나 지속적으로 잘못된 옵션을 선택함 (SR < 0.5 - $\Delta$).
  2. 신뢰할 수 있는 사용 가능한 지식 없음 (No Reliable Usable Knowledge): 에이전트가 행동을 수행하지만 정답을 선택하지 못하고 무작위 확률 근처에서 수행함 (0.5 - $\Delta$ $\le$ SR $\le$ 0.5 + $\Delta$).
  3. 사용 가능한 지식의 증거 (Evidence of Usable Knowledge): 에이전트가 내부 지식을 활용하여 행동 선택을 정답 타겟 쪽으로 편향시킴 (SR > 0.5 + $\Delta$).

데이터 큐레이션

저자들은 기존 VLM 벤치마크(MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think)에서 유도된 1,720개의 고유한 이진 질문을 12개의 지식 카테고리에 걸쳐 큐레이션했습니다. 이 카테고리들은 7개의 광범위한 도메인으로 그룹화됩니다:

• 물리 (Physical): 속성, 상태, 색상, 모양, 대칭성.
• 시간 (Temporal): 시간, 개수 세기.
• 정량 (Quantitative): 개수 세기, 크기(magnitude).
• 생물 (Biological): 살아있는 세계의 구분.
• 사회 (Social): 감정, 의도.
• 규범 (Normative): 교통 법규, 공공 정보.
• 문화 (Cultural): 유명인 인식.

계층별 의도 프로빙 (Layerwise Intent Probing)

모델 아키텍처 내에서 지식이 어디에 유지되거나 손실되는지 조사하기 위해, 저자들은 모든 트랜스포머 레이어(VLM 백본 및 Action Expert 모두)의 은닉 상태(hidden states)로부터 정답을 예측하도록 훈련된 선형 분류기를 사용하는 계층별 의도 프로빙을 채택합니다. 이를 통해 정답 관련 정보가 어떻게 분포되는지, 그리고 의미적 표현에서 행동 생성으로 넘어갈 때 어떻게 감쇠되는지를 정량화할 수 있습니다.

주요 기여

1. Act2Answer 벤치마크 스위트: 텍스트 디코딩에 의존하지 않고 지식 민감 행동을 직접 조사할 수 있도록, VLM 지식 작업을 체화된 행동 선택 에피소드로 변환하는 통제된 프로토콜을 제공합니다.
2. 체계적인 지식 분류 체계: 7개 도메인에 걸친 12개 카테고리의 큐레이션된 데이터셋을 통해, 체화된 에이전트의 상식 및 세계 지식에 대한 세밀한 오류 분석을 용이하게 합니다.
3. 대규모 실증 연구: 9개의 강력한 VLM 베이스라인에 대해 7개의 현대적 VLA 모델(including $\pi_0$, OpenVLA, Magma, SpatialVLA)을 평가하여, 지식 도메인 전반에 걸친 성능 순위를 체계적으로 매깁니다.
4. 아키텍처 분석: 정답 관련 정보를 국지화하기 위한 계층별 의도 프로빙을 도입하여, 지식 유지와 행동 생성 사이의 내부 역학을 밝혀냅니다.

결과

연구 결과, VLM 능력과 그에 대응하는 VLA 모델 사이에는 상당한 격차가 있음이 드러났습니다:

• 인지적 vs 의미적 격차 (Perceptual vs. Semantic Gap): VLA 모델은 단순한 인지적 카테고리(예: 색상, 모양)에서는 강력한 성능을 보이지만, 더 풍부한 의미적 카테고리(예: 감정, 상태, 개수 세기, 대칭성)에서는 상당한 성능 저하를 보입니다. 많은 VLA 모델이 이러한 복잡한 작업에서 무작위 확률 수준의 성능을 보입니다.
• VLM-VLA 격차: 행동이 없는 설정에서의 소스 VLM과 비교했을 때, VLA 모델은 대부분의 지식 도메인에서 약 20~40 퍼센트 포인트의 성능 저하를 보입니다. 이는 제어를 위한 미세 조정이 세계 지식에 대한 접근성을 크게 저하시킨다는 것을 시사합니다.
• VQA 공동 학습의 역할: 시각-언어 및 로봇 감독(joint vision-language and robotics supervision)을 함께 학습한 모델(예: Magma, Xiaomi-Robotics-R0)은 주로 로봇 데이터로만 학습된 모델(예: OpenVLA, $\pi_0$)에 비해 지식 유지 및 지식 민감 작업에서 더 나은 성능을 보여줍니다.
• 내부 표현 병목 현상 (Internal Representation Bottleneck): 프로빙 결과, 정답 관련 정보는 종종 VLM 백본의 중간 레이어에는 존재하지만, 상위 레이어와 Action Expert에서는 크게 감쇠되는 것으로 나타났습니다. 이는 모델이 내부적으로는 의미적 정보를 보유하고 있지만, 이를 올바른 행동 선택으로 번역하는 데 실패하는 병목 현상이 존재함을 시사합니다.
• 미세 조정의 영향: Pick-and-place 데이터셋에 대한 추가적인 다운스트림 미세 조정(SFT 또는 RL)은 지식 민감 성능을 일관되게 개선하지 못했으며, 일부 경우(예: 상태, 색상) 오히려 성능 저하를 일으켰습니다. 이는 일반적인 지식을 희생하면서 작업 특정 최적화에 편향되는 현상을 나타냅니다.

의의 및 주장

본 논문은 단순히 VLM을 로봇 데이터로 미세 조정하는 현재의 패러다임이 진정한 범용 목적의 체화된 에이전트를 만드는 데 불충분하다고 주장합니다. 이러한 모델들은 얕은 인지적 신호에 따라 행동하는 능력은 유지하지만, 복잡한 의미적 상태(예: "더러운" 컵과 "깨끗한" 컵, 또는 "슬픈" 인간과 "무표정한" 인간을 구분하는 것)를 구별하는 능력은 자주 상실합니다.

저자들은 Act2Answer가 이러한 "지식 침식(knowledge erosion)"을 측정하기 위한 필수적인 진단 도구를 제공한다고 주장합니다. 연구 결과는 미래의 아키텍처와 학습 목표가 백본의 의미적 이해와 학습된 모터 정책 간의 정렬(alignment)을 명시적으로 우선시해야 함을 시사합니다. 이러한 정렬 없이는, 체화된 에이전트가 저수준 제어뿐만 아니라 풍부한 상식과 세계 지식에 기반한 올바른 행동이 필요한 일상 환경에서 그 효용성을 갖기 어려울 것입니다. 논문은 세계 지식의 침식을 방지하는 것이 여전히 해결해야 할 과제이며, 멀티태스크 학습, 표현 보존, 또는 지식과 제어 구성 요소의 아키텍처적 분리(decoupling)와 같은 전략이 필요하다고 결론짓습니다.