💻 computer science

UniviewVLA: A Unified Multiview Vision-Language-Action Model with World Modeling

UniviewVLA는 표준적인 두 대의 카메라 관측으로부터 가려진 단서와 미래의 장면 진화를 추론하기 위해 월드 모델을 활용함으로써, 추가적인 하드웨어나 명시적인 3D 재구성을 요구하지 않고도 폐쇄(occlusion) 중심 작업에서 상당한 성능 향상을 달성하는 통합 다중 뷰 시각-언어-행동 모델이다.

원저자: Tao Xu, Runhao Zhang, Zhijian Huang, Jiayi Guan, Jiaxin Wang, Yifan Ding, Yong-Lu Li, Long Chen, Guang Chen, Jinghui Lu

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tao Xu, Runhao Zhang, Zhijian Huang, Jiayi Guan, Jiaxin Wang, Yifan Ding, Yong-Lu Li, Long Chen, Guang Chen, Jinghui Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

퍼즐을 풀려고 하는데 눈이 가려져서 그림의 절반밖에 보이지 않는 상황을 상상해 보세요. 윗부분은 보이지만, 아랫부분은 상자 뒤에 숨겨져 있습니다. 일반적인 로봇 브레인(Vision-Language-Action 모델)은 눈이 가려진 사람과 같습니다. 보이는 것만을 바탕으로 보이지 않는 부분을 추측하려고 노력합니다. 하지만 중요한 단서들이 숨겨져 있을 때, 이들은 종종 틀린 추측을 합니다.

이 논문은 추가적인 카메라를 구입하거나 복잡한 3D 지도를 구축할 필요 없이 이 문제를 해결하는 새로운 유형의 로봇 브레인인 UniviewVLA를 소개합니다. 작동 방식은 다음과 같이 간단한 개념으로 나누어 설명할 수 있습니다.

1. 문제점: "사각지대"

로봇은 보통 두 개의 카메라를 가지고 있습니다: 하나는 "머리"(agent-view)에, 다른 하나는 "손목"(wrist-view)에 있습니다.

문제점: 만약 로봇이 컵 뒤에 숨겨진 스위치를 잡아야 하거나, 상자에 의해 일부가 가려진 인형을 움직여야 한다면, 표준 카메라로는 이를 볼 수 없습니다.
기존의 해결책들:
- 카메라 추가하기: 이는 로봇에게 추가적인 눈을 달아주는 것과 같습니다. 하지만 이는 번거로운 일입니다. 로봇을 정확히 그 카메라들에 맞춰 학습시켜야 하며, 만약 로봇을 새로운 방으로 옮기면 카메라 각도가 달라지기 때문에 학습 내용이 무용지물이 됩니다.
- 3D 지도 구축하기: 이는 움직이는 동안 머릿속으로 방의 완벽한 3D 청사진을 그리려는 것과 같습니다. 이는 엄청난 계산 능력(컴퓨팅 파워)을 소모하며 속도가 느립니다.

2. 해결책: "상상 엔진"

UniviewVLA는 **월드 모델(World Model)**을 사용합니다. 이것은 로봇이 카메라가 없는 각도에서 방이 어떻게 보이는지 상상하고, 다음 몇 초 동안 장면이 어떻게 변할지 예측하는 능력이라고 생각하면 됩니다.

작동 방식: 로봇은 두 개의 표준 카메라를 바라봅니다. 그런 다음 자신의 "상상 엔진"에게 묻습니다: "만약 내가 옆쪽이나 위쪽에서 보고 있다면, 지금 무엇이 보일까? 그리고 1초 뒤에는 무엇이 보일까?"
결과: 로봇은 이러한 "가상의" 뷰를 즉석에서 생성합니다. 별도의 하드웨어가 필요하지 않습니다. 단지 자신의 뇌를 사용하여 빈 공간을 채울 뿐입니다.

3. 속도 해킹: "하이라이트 영상"

문제는 가상의 뷰를 생성하는 것이 엄청난 양의 데이터(매 순간 고화질 영화를 생성하는 것과 같은)를 만들어낸다는 점이었습니다. 이로 인해 로봇은 마치 단순한 동작을 하기 전에 4K 영상을 로딩하려는 컴퓨터처럼 느려집니다.

해결책 (Motion-Informative Token Compression): 연구진은 로봇이 가상의 영화 전체를 볼 필요는 없다는 것을 깨달았습니다. 로봇에게 필요한 것은 오직 무엇이 움직이고 있는가 하는 정보뿐입니다.
비유: 장면을 이해하기 위해 60분짜리 영화를 보는 대신, 로봇은 움직이는 부분(예: 컵을 향해 뻗는 손)만을 보여주는 16초짜리 하이라이트 영상을 만듭니다.
영향: 이를 통해 데이터가 625개의 정보 조각에서 단 16개로 줄어듭니다. 이는 로봇의 사고 시간을 뷰당 6~~7초에서 단 0.2~~0.3초로 단축시킵니다.

4. 스마트 스위처: "최적의 각도 선택"

때로는 작업 초반에는 "측면 뷰"가 가장 좋지만, 물체가 움직임에 따라 나중에는 "상단 뷰"가 더 중요해질 수 있습니다. 고정된 카메라는 생각을 바꿀 수 없습니다.

해결책 (Action-Entropy View Selection): 로봇은 끊임없이 스스로에게 묻습니다: "어떤 가상의 각도가 나의 다음 동작을 수행하는 데 가장 높은 확신을 주는가?"
비유: 게임을 하고 있다고 상상해 보세요. 때로는 미니맵을 봐야 하고, 때로는 정면을 봐야 합니다. UniviewVLA는 매 단계마다 가장 도움이 되는 가상의 각도로 자신의 "초점"을 동적으로 전환하며, 재학습이 필요하지 않습니다.

5. 결과: 보이지 않는 것을 보다

팀은 두 가지 방식으로 테스트를 진행했습니다:

표준 테스트: 아무것도 숨겨져 있지 않은 일반적인 작업에서, 로봇은 기존의 가장 뛰어난 로봇들과 대등한 성능(성공률 95.8%)을 보였습니다.
"숨겨진" 테스트: 코너 너머나 물체 뒤를 봐야 하는 작업을 만들었습니다.
- 표준 로봇: 성공률이 **40%**에 불과했습니다.
- 추가 카메라를 가진 로봇: 성공률이 **66%**였습니다.
- UniviewVLA (단 2개의 카메라 사용): 성공률이 **73%**였습니다.

실제 환경: 이들은 실제 로봇 팔에서도 테스트했습니다. 로봇이 밥솥 뒤에 숨겨진 오레오를 잡거나 상자에 가려진 인형을 움직여야 할 때, 표준 로봇은 대부분 실패했습니다. 반면, 단 2개의 표준 카메라만을 사용하는 UniviveVLA는 훨씬 더 자주 성공하며, 물리적인 카메라를 추가하는 것보다 "가상의 뷰를 상상하는 것"이 더 효과적임을 증명했습니다.

요약

UniviveVLA는 로봇에게 **슈퍼 비전(초능력 시력)**을 부여하는 것과 같습니다. 로봇은 자신이 가진 물리적인 카메라에 국한되지 않고, "월드 모델"을 사용하여 방의 나머지 부분을 상상하고 미래를 예측합니다. 또한 이를 매우 효율적으로 수행하여 추가 하드웨어가 필요하지 않으며, 늘어난 데이터로 인해 느려지지도 않고, 물체가 가려진 까다로운 작업들도 해결할 수 있습니다.

UniviewVLA 기술 요약

문제 정의
시각-언어-행동(VLA) 모델을 이용한 로봇 조작은 배포 시 사용 가능한 시각 정보에 의해 근본적으로 제약을 받습니다. 그리퍼-물체 관계나 접촉 영역과 같은 중요한 행동 단서들은 종로종로 시점 의존적이며, 표준 에이전트 뷰(agent-view) 및 손목 뷰(wrist-view) 카메라에 의해 가려질 수 있습니다. 이러한 폐쇄(occlusion) 문제를 해결하기 위한 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

추가적인 물리적 카메라: 추가 카메라를 배치하면 성능이 향상되지만, 훈련과 추론 사이의 엄격한 일치성(카메라 수, 배치 및 캘리브레이션 일치)이 필요하므로 방식이 취약하고 확장이 어렵습니다.
명시적 3D 재구성: 부분적인 관측으로부터 장면 기하학을 추론하는 것은 높은 계산 비용을 초기화하며, 일반적으로 현재의 장면 상태에 국한되어 미래의 장면 진화를 포착하지 못합니다.

방법론
저자들은 세계 모델링(world modeling) 능력을 갖춘 통합 멀티뷰 VLA 모델인 UniviewVLA를 제안합니다. UniviewVLA는 추가 하드웨어에 의존하거나 명시적인 재구성을 수행하는 대신, 표준 두 대의 카메라 관측값(에이전트 뷰 및 손목 뷰)만을 사용하여 멀티뷰 장면의 진화와 미래 상태를 추론하여 행동을 예측합니다.

이 프레임워크는 2단계 훈련 과정과 동적 추론 전략을 통해 작동합니다:

세계 모델 사후 훈련 (1단계):
모델은 두 프레임의 표준 관측 이력과 언어 지시문으로부터 미래의 보조 뷰(auxiliary views)를 생성하는 법을 학습합니다. 모델은 여러 후보 뷰포인트에 대한 시각적 양자화(Visual Quantization, VQ) 토큰 시퀀스를 예측함으로써, 표현(representation)에 멀티뷰 정보와 예측된 장면 진화 지식을 효과적으로 주입합니다.
토큰 압축을 통한 행동 미세 조정 (2단계):
밀집된 미래 뷰(뷰당 625개 토큰)를 생성할 때 발생하는 높은 지연 시간과 중복 문제를 해결하기 위해, 저자들은 **모션 정보 토큰 압축(Motion-Informative Token Compression)**을 도입했습니다.

모델은 각 공간적 토큰에 대해 연속된 타임스텝 간의 코사인 거리 점수를 계산하여 시각적 변화를 식identifies 합니다.
가장 높은 모션 관련성을 보이는 상위 $K=16$ 개의 토큰만을 유지하여, 뷰당 토큰 수를 625개에서 16개로 압축합니다.
행동 정책은 이처럼 압축되고 모션 정보가 풍부한 표현을 조건으로 행동을 예측하도록 미세 조정됩니다.

동적 뷰 선택 (추론):
가장 정보가 많은 뷰포인트는 추론 단계마다 달라진다는 점을 인식하여, UniviewVLA는 행동 엔트로피 뷰 선택(Action-Entropy View Selection) 방식을 채택합니다.

추론 중에 모델은 모든 후보 뷰에 대한 압축된 표현을 생성합니다.
모델은 각 뷰에 대해 예측된 행동-토 even 분포의 샤논 엔트로피(Shannon entropy)를 계산합니다.
매 30 타임스텝마다 가장 낮은 행동 엔트로피(가장 높은 행동 정보 가치)를 가진 뷰를 동적으로 선택하여 최종 행동 예측의 조건으로 사용합니다. 이 과정에는 추가적인 훈련 레이블이 필요하지 않습니다.

주요 기여

통합 멀티뷰 VLA 프레框架: 표준 두 대의 카메라 입력만을 사용하여 행동 예측을 위한 멀티뷰 미래 장면 진화를 추론하는 모델로, 추가적인 물리적 카메라나 명시적 3D 재구성이 필요하지 않습니다.
효율성 메커니즘: 모션 정보 토큰 압축(지연 시간을 뷰당 6~~7초에서 0.2~~0.3초로 감소) 및 훈련 없이도 가장 정보가 많은 뷰를 동적으로 선택할 수 있게 하는 행동 엔트로피 뷰 선택 기술을 개발했습니다.
폐쇄 중심 벤치마킹: 여섯 가지의 맞춤형 폐쇄 집중 시뮬레이션 작업과 실제 로봇 평가 파이프라인을 도입하였으며, 멀티뷰 데이터 수집 및 처리를 위한 완전한 오픈 소스 파이프라인을 제공합니다.

실험 결과
UniviewVLA는 표준 비폐쇄 벤치마크와 맞춤형 폐쇄 작업에서 평가되었습니다:

표준 벤치마크: 모델은 LIBERO 벤치마크에서 **95.8%**의 성공률을, CALVIN ABCD→D에서 평균 체인 길이 4.60을 달성하여 GR00T N1 및 $\pi_0$ -FAST와 같은 최첨단 방법들을 능가했습니다.
폐쇄 작업 (시뮬레이션): 여섯 가지 맞춤형 폐쇄 작업에서, UniviewVLA는 동적 뷰 선택을 통해 성공률을 기본 베이스라인인 40.0%(두 대의 카메라 정책)에서 **73.3%**로 향상시켰습니다. 이는 세 대의 물리적 카메라 설정(66.3%)과 고정 뷰 생성 방식(67.0%)보다 우수한 성능입니다.
실제 로봇 배포: 두 가지 폐쇄 작업이 포함된 ALOHA 플랫폼에서, UniviewVLA는 두 대의 카메라 베이스라인 대비 평균 33.4 퍼센트 포인트의 성공률 상승을 달 achievement 했으며, 하드웨어 비용 없이 세 대의 카메라 설정 성능에 근접했습니다.

의의
본 논문은 UniviewVLA가 추가 카메라 배포에 따른 비용 없이 폐쇄된 로봇 조작 성능을 개선할 수 있는 실용적인 프레임워크를 제공한다고 주장합니다. 미래의 장면 역학 및 멀티뷰 증거를 예측하기 위해 세계 모델링을 활용함으로써, 이 접근 방식은 보조 뷰 추론을 물리적 카메라 제약으로부터 분리합니다. 이 연구는 압축된 생성 멀티뷰 토큰이 추가 하드웨어를 효과적으로 대체할 수 있음을 입증하며, 폐쇄 강건성과 배포 복잡성 사이에서 유리한 투자 대비 효율(ROI)을 제공합니다. 저자들은 이 방식이 생성형 정책의 공통적인 제약 사항(완만한 추론 오버헤드 및 멀티뷰 훈련 데이터의 커버리지 의존성)을 공유하고 있음을 언급하며, 더 다양한 장면과 이동형 뷰포인트로 확장하기 위한 향후 연구가 필요하다고 밝혔습니다.