💻 computer science

Beyond Task Success: Behavioral and Representational Diagnostics for WAM and VLA

이 논문은 비전-언어-행동(VLA) 모델과 월드-액션(WAM) 모델이 행동 역학 및 내부 표현 측면에서 어떻게 다른지를 밝히는 모델 불가지론적 진단 프레임워크를 소개하며, WAM이 객체 수준의 선택성을 향상시키고 예측 구조를 인코딩할 수 있는 반면, 그 효과와 효율성은 특정 아키텍처 선택에 크게 의존한다는 점을 입증한다.

원저자: Hung Mai, Bin Zhu, Tuan Do

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hung Mai, Bin Zhu, Tuan Do

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 게임에서 이기는 것 vs. 잘 플레이하는 것

당신이 두 로봇이 빨간 컵을 집어 상자에 넣는 것을 지켜보고 있다고 상상해 보세요.

로봇 A는 컵을 잡았다가 떨어뜨리고, 다시 집어 들고, 파란 꽃병을 툭 치고 나서야 마침내 컵을 상자 안에 넣었습니다. 성공했습니다!
로봇 B는 부드럽게 움직이며, 파란 꽃병은 무시하고, 컵을 상자 안에 조심스럽게 놓았습니다. 이 로봇 역시 성공했습니다!

만약 당신이 최종 결과만 보았다면, 두 로봇 모두 완벽해 보일 것입니다. 하지만 그들이 어떻게 움직였는지를 관찰했다면, 로봇 B가 훨씬 더 뛰어난 드라이버라는 것을 알 수 있습니다.

이 논문은 로봇 AI의 세계에서 우리가 작업 성공(일을 완수했는가?)에 너무 치중한 나머지, 그 과정인 방법(어떻게 그곳에 도달했는가?)을 간과해 왔다고 주장합니다. 저자들은 더 새롭고 똑똑한 로봇(WAM)이 실제로 더 잘 플레이하는 것인지, 아니면 그저 운이 좋았던 것인지를 알고 싶어 합니다.

두 가지 유형의 로봇

이 논문은 두 가지 주요 로봇 두뇌를 비교합니다.

"반사적인" 로봇 (VLA):
- 비유: 반사 신경을 생각하세요. 뜨거운 난로에 손을 대면 즉시 손을 떼는 것과 같습니다.
- 작동 방식: 로봇은 지금 당장 카메라를 보고, 명령("컵을 집어라")을 들으면, 다음에 무엇을 할지 즉시 결정합니다. 이 로봇은 동작 이후에 어떤 일이 일어날지에 대해서는 별로 생각하지 않습니다. 마치 앞 범퍼만 보고 운전하는 운전자와 같습니다.
"상상하는" 로봇 (WAM - World-Action Model):
- 비유: 체스 선수를 생각하세요. 말을 움직이기 전, 그들은 "내가 여기로 움직이면 상대방은 저기로 움직일 것이고, 그러면 나는..."이라고 상상합니다.
- 작동 방식: 이 로봇은 움직임을 만들기 전에 미래를 "상상"합니다. "내가 컵을 잡으면 테이블이 흔들릴 수도 있고, 파란 꽃병이 넘어질 수도 있어"라고 시뮬레이션합니다. 이 로봇은 이 '마음속 영화'를 사용하여 더 매끄럽고 안전한 경로를 계획합니다.

조사 방법: 두 가지 렌즈

저자들은 단순히 로봇이 이겼는지 확인하는 데 그치지 않고, 더 깊이 들여다보기 위해 두 가지 특별한 "렌즈"를 사용했습니다.

렌즈 1: "움직임 탐정" (행동 분석)

그들은 로봇의 움직임을 관찰하며 다음과 같은 것들을 측정했습니다:

부드러움 (Smoothness): 로봇이 초조한 운전자처럼 움찔거리며 움직였나요, 아니면 숙련된 운영자처럼 미끄러지듯 움직였나요?
집중도 (Focus): 컵을 잡으려다 실수로 파란 꽃병(방해 요소)을 쳤나요?
진전도 (Progress): 컵이 상자를 향해 꾸준히 이동했나요, 아니면 앞뒤로 왔다 갔다 했나요?

연구 결과:
"상상하는" 로봇(WAM)은 일반적으로 더 부드럽게 움직였으며, 파란 꽃병을 무시하는 능력이 훨씬 뛰어났습니다. 그들은 단순히 성공한 것이 아니라, 스타일과 정밀함을 갖추어 성공했습니다. 하지만 한 가지 문제가 있었습니다: 그들은 더 느렸습니다. 미래를 "상상"하는 데 시간을 쓰느라 결정을 내리는 데 더 오래 걸렸기 때문입니다.

렌즈 2: "뇌 스캐너" (특징 공간 분석)

이 부분은 이 논문의 가장 독특한 점입니다. 저자들은 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 도구를 사용하여 로봇의 "두뇌"(내부 코드)를 들여다보고 어떤 종류의 생각을 하고 있는지 확인했습니다.

그들은 세 가지 유형의 "생각"(특징)을 찾았습니다:

암기된 (Memorized): "이 장면을 전에 본 적이 있어. 답을 알고 있어." (기계적 암기처럼).
반사적인 (Reactive): "지금 컵이 보여. 컵을 잡아야 해." (현재에 반응함).
예측적인 (Predictive): "내가 컵을 잡으면, 컵이 왼쪽으로 움직일 거야." (미래를 생각함).

연구 결과:

**반사적인 로봇 (VLA)**는 거의 전적으로 "암기된" 생각과 "반사적인" 생각으로 이루어져 있었습니다. 그들은 현재의 순간 속에 살고 있었습니다.
**상상하는 로봇 (WAM)**은 상당한 양의 "예측적인" 생각을 가지고 있었습니다. 그들의 뇌는 실제로 미래를 인코딩하고 있었습니다.
결정적인 디테일: 모든 "상상하는" 로봇이 같은 것은 아니었습니다.
- 한 유형(Sequential WAM)은 명확하고 단계적인 계획가 같았습니다. 매우 뚜렷한 "미래 생각"을 가지고 있었습니다.
- 다른 유형(Joint WAM)은 미래의 생각과 현재의 생각을 혼합하여, 다소 뒤섞여 있었지만 여전히 효과적이었습니다.
- 세 번째 유형(Auxiliary WAM)은 훈련 중에만 "상상"하고 실제 작업 중에는 이를 잊어버림으로써 시간을 아끼려 했습니다. 논문은 이 모델들이 "미래 비전"을 잃어버리고 더 단순한 반사적 로봇처럼 행동한다는 것을 발견했습니다.

트레이드오프: 속도 vs. 지능

이 논문은 고전적인 딜레마를 강조합니다:

반사적인 로봇은 빠르고 실행 비용이 저렴하지만, 서투르고 물건을 칠 수 있습니다.
상상하는 로봇은 부드럽고 조심스러우며 사고를 피하는 데 탁월하지만, 행동하기 전에 "생각"해야 하므로 느리고 비용이 많이 듭니다.

결론

이 논문은 단순히 "로봇이 성공했는가?"라고 묻는 것만으로는 충분하지 않다고 결론짓습니다.

성공은 가면입니다: 로봇은 서투르더라도 운이나 무력(brute force)을 통해 성공할 수 있습니다.
미래를 생각하는 것이 중요합니다: 실제로 "미래를 생각하는" 로봇(WAM)은 다르게 행동합니다. 그들은 더 조심스럽고, 더 부드럽게 움직이며, 물건을 깨뜨리지 않는 데 더 뛰어납니다.
미래의 목표: 엔지니어들의 과제는 단순히 미래를 예측하는 로봇을 만드는 것이 아니라, 실시간으로 수행할 수 있을 만큼 효율적인 로봇을 만드는 것입니다. 우리는 로봇이 미래를 "상상"하면서도, 그 일을 하기 위해 커피 휴식을 취하러 가지 않도록 만들어야 합니다.

요약하자면: 로봇이 작업을 마쳤는지로만 판단하지 마세요. 얼마나 우아하게 해냈는지를 보고, 그 뇌가 실제로 앞을 내다보고 있는지를 확인하세요.

기술 요약: 작업 성공을 넘어: WAM 및 VLA를 위한 행동 및 표현 진단

문제 정의
시각-언어-행동(VLA) 정책은 관측값과 지침을 직접 행동으로 매핑하는 범용 로봇 조작의 지배적인 패러다임이 되었습니다. 그러나 대부분의 VLA는 근본적으로 장면이 어떻게 진화하는지를 명시적으로 모델링하지 않는 반응적 예측기(reactive predictors)입니다. 월드-액션 모델(World-Action Models, WAMs)은 행동 생성과 미래 예측(예: 미래 상태 또는 미래 관측값 상상)을 결합하여 대안으로 부상했습니다. 기존 연구들은 최종 작업 성공률을 기준으로 WAM과 VLA를 비교해 왔으나, WAM의 미래 예측이 단순히 성공률을 높이는 것을 넘어 행동적으로 의미 있는 개선을 이끌어내는지에 대해서는 여전히 불분명합니다. 구체적으로, WAM이 단순히 예측 모듈을 추가한 것인지, 아니면 제어에 활용 가능한 방식으로 로봇의 행동(예: 움직임의 부드러움, 타겟 선택성)과 내부 표현을 근본적으로 변화시키는지 알 수 없습니다.

방법론
저자들은 두 가지 상호 보완적인 관점인 **행동 롤아웃 진단(behavioral rollout diagnostics)**과 희소 오토인코더(sparse-autoencoder, SAE) 특징 공간 분석을 통해 WAM과 VLA를 평가하는 모델 불가지론적 진단 프레임워크를 소개합니다.

행동 롤아웃 분석 (Behavioral Rollout Analysis):
성공률에만 의존하는 대신, 프레임워크는 다음을 측정합니다:

행동 역학 (Action Dynamics): 부드러움(변화량, 가속도, 저크/jerk), 청크 경계 일관성, 저모션 실패율(부드러운 실패와 성공적인 제어를 구분하기 위함).
객체 상호작용 (Object Interaction): 타겟 객체 진행도(최종 및 누적), 진행 역전, 방해 요소 안정성(비타겟 객체의 의도치 않은 움직임).
런타임 비용 (Runtime Cost): 추론 지연 시간(latency), 처리량(throughput), GPU 메모리 사용량.

특징 공간 분석 (Feature-Space Analysis - SAEs):
내부 표현을 특성화하기 위해 저자들은 다양한 모델의 잠재 활성화(시각, 미래, 행동 스트림)에 대해 희소 오토인코더(SAE)를 학습시킵니다. 이들은 특징을 세 가지 범주로 분류하는 메트릭을 정의합니다:

기억된 특징 (Memorized): 특정 에피소드나 객체에 특화됨.
반응적-일반 특징 (Reactive-General): 현재의 관측이나 실행 단계(예: 잡기)를 설명함.
예측적-일반 특징 (Predictive-General): 미래 상태나 행동에 대한 증거를 제공함(예: 높은 미래 일관성, 호라이즌 안정성 또는 행동 예측성).
핵심 메트릭: 미래 지향적 구조를 구체적으로 탐지하기 위해 미래 일관성 점수(FCS), 호라이즌 안정성(HS), 행동 예측성(AP)이 도입되었습니다.

실험 설정
본 연구는 두 가지 벤치마크(LIBERO 및 RoboTwin2.0)에서 7개의 정책을 평가합니다:

VLA: $\pi0$ , $\pi0.5$ , X-VLA.
WAM:
- 결합형/병렬형 (Joint/Parallel): Cosmos Policy (미래와 행동을 함께 예측).
- 순차형 (Sequential): LingBot-VA (행동 전 미래 상태를 상상).
- 보조적/훈련 전용 (Auxiliary/Training-only): FastWAM, VLA-JEPA (미래 예측을 훈련 중에만 사용).

주요 결과

성공률은 행동적 차이를 가린다:
대부분의 모델에서 성공률이 높은 LIBERO에서, 행동 진단은 유의미한 차이를 드러냅니다. WAM은 일반적으로 더 부드러운 제어(낮은 가속도, 저크, 경계 점프)를 생성하며, 타겟 진행도가 더 높고 방해 객체에 대한 간섭이 적은 등 더 나은 객체 수준의 행동을 보입니다.
아키텍처 의존성:

순차형 WAM (LingBot-VA): SAE 분석에서 가장 명확한 예측 구조를 보여주며(미래 스트림에서 예측적 특징의 비율이 가장 높음), 가장 우수한 객체 수준 메트릭(가장 낮은 잘못된 객체 방해, 가장 높은 진행 AUC)을 달성합니다.
결합형 WAM (Cosmos): 강한 객체 선택성과 낮은 방해 객체 간섭을 보이지만, 미래 정보를 더 얽힌 방식(distinct predictive features보다는 high memorized/reactive features)으로 인코딩합니다.
보조형 WAM (FastWAM, VLA-JEPA): 혼합된 결과를 보입니다. FastWAM은 미래 정보를 압축하여 직접적인 VLA와 유사한 동작을 보이며 방해 객체 간섭이 더 높습니다. VLA-JEPA는 FastWAM보다 더 많은 예측 구조를 유지하고 더 깨끗한 객체 상호작용을 보여줍니다.
직접 VLA: 반응적 특징에서는 우세하지만 예측 구조는 낮습니다. WAM에 비해 진행 역전과 방해 객체 간섭이 더 자주 발생하는 경향이 있습니다.

런타임 트레이드오프:
WAM은 무시할 수 없는 배포 비용을 초래합니다. 순차형 WAM(LingBot-VA)은 명시적인 미래 상상으로 인해 추론 지연 시간이 가장 높습니다. 결합형 WAM은 순차형보다 빠르지만 직접 VLA보다는 느립니다. 보조형 WAM은 더 효율적이지만 명시적인 미래 모델링의 행동적 이점을 희생할 수 있습니다.
특징-행동 상관관계:
SAE 분석은 예측적-일반 특징의 비율이 높은 모델(특히 미래 스트림에서)이 더 나은 타겟 객체 선택성과 부드러운 실행과 상관관계가 있음을 보여줍니다. 행동 프로브에서 예측 SAE 통계를 제거하면 작업 수준의 결과(성공, 운반, 타겟 진행도) 예측 성능은 크게 저하되지만, 저수준의 부드러움 메트릭에는 혼합된 영향을 미칩니다.

의의 및 주장
본 논문은 작업 성공 자체가 로봇 정책을 평가하기 위한 불충분한 메트릭이라고 주장합니다. 저자들의 주장은 다음과 같습니다:

WAM은 성공률을 넘어 행동적 이점, 즉 움직임의 부드러움, 타겟 선택성, 방해 요소 안정성을 제공합니다.
이러한 행동적 개선은 미래 지향적인 내부 표현의 존재와 연결되어 있습니다. 순차형 WAM은 가장 명확한 예측 구조를 노출하는 반면, 결합형 및 보조형 설계는 이 정보를 보존하거나 압축하는 방식에서 차이를 보입니다.
**행동 가능한 미래 표현(actionable future representations)**과 추론 효율성 사이에는 근본적인 트레이드오프가 존재합니다. 명시적인 미래 모델링은 제어 품질을 향상시키지만 계산 비용을 증가시킵니다.
향후 WAM 설계는 미래 예측을 단순히 훈련 보조 손실로 취급하기보다, 성능과 배포 가능성 사이의 균형을 맞추기 위해 행동 가능한 미래 표현(예: 경량화된 추론 시간 상상 또는 잠재 예측)을 보존하는 데 집중해야 합니다.

저자들은 표현과 행동 사이의 연결에 대한 자신들의 증거가 인과적이라기보다는 상관적이라는 점과, 현재 결과가 시뮬레이션 벤치마크 및 공개된 체크포인트에 국한되어 있다는 점을 겸허히 언급했습니다. 그들은 향후 연구가 미래 예측을 행동적 이점의 손실 없이 폐쇄 루프 제어를 위해 얼마나 효율적으로 만들 수 있는지 해결해야 한다고 강조합니다.