← 최신 논문
💻 컴퓨터 과학

ZZ-sight: Unifying Vision-Language-Action and Latent World Modeling

ZZ-sight는 픽셀 재구성이나 외부 인코더에 의존하지 않고 VLM의 고유 토큰 공간 내에서 미래의 공간 토큰과 행동을 직접 예측함으로써 잠재 세계 모델링과 시각-언어-행동 제어를 통합하는 통합 로봇 파운데이션 모델로, 다양한 벤치마크에서 최첨단 성능을 달성합니다.

원저자: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue W
게시일 2026-11-19
📖 4 분 읽기☕ 가벼운 읽기

원저자: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang, Yuliang Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 인간이 가진 유연한 직관을 가지고 세상을 움직이는 데 어려움을 겪어 왔습니다. 로봇은 특정 동작을 완벽하게 반복하도록 프로그래밍될 수는 있지만, 환경이 약간 변하거나 실시간으로 적응해야 하는 일련의 단계가 필요한 작업에서는 종종 실패하곤 합니다. 이 간극을 메우기 위해 과학자들은 시각, 언어, 그리고 행동을 결래한 시스템을 개발해 왔습니다. 이러한 시스템은 로봇이 "컵을 탁자 위에 놓아라"와 같은 명령을 이해하고, 이를 수행하기 위해 팔을 어떻게 움직여야 할지 스스로 판단할 수 있게 해줍니다. 그러나 중대한 장애물이 남아 있습니다. 대부분의 시스템은 오직 현재의 순간만을 바라본다는 점입니다. 그들은 현재의 장면을 보고 다음 움직임을 결정하지만, 다음에 어떤 일이 일어날지를 진정으로 예측하지는 못합니다. 미래를 내다보는 능력이 없다면, 로봇은 물건을 운반하며 걷거나 움직임에 따라 변하는 장애물을 피해 가는 것과 같이 복잡한 움직임을 조정해야 하는 작업에서 비틀거릴 수 있습니다.

Maven Robotics와 남가주대학교(USC)의 연구진이 개발한 'Z-sight'라는 새로운 접근 방식은 로봇에게 일종의 '선견지명(foresight)'을 부여함으로써 이 문제를 해결하고자 합니다. 단순히 지금 보이는 것에 반응하는 대신, 이 시스템은 아주 짧은 찰나의 미래에 시각적 세계가 어떤 모습일지를 예측하는 법을 배우며, 그 예측을 바탕으로 행동을 유도합니다. 이것은 컴퓨터 연산 비용이 많이 들고 느려질 수 있는 전체 영상을 생성하는 것이 아닙니다. 대신, 이 시스템은 로봇의 뇌가 장면을 이해하는 데 사용하는 필수적인 시각적 패턴을 예측합니다. 다음 순간을 상상하는 동시에 다음 움직임을 결정하는 법을 배움으로써, 로봇은 경로를 더 부드럽게 계획할 수 있으며, 기존 시스템들이 멈추거나 실패했던 복잡한 작업들을 처리할 수 있게 됩니다.

연구진은 인간이 일상적인 과업을 수행하는 수천 시간 분량의 영상과 다양한 로봇의 기록을 포함한 방대한 데이터를 통해 이 시스템을 훈련시켰습니다. 훈련 과정은 여러 단계로 나뉘었습니다. 먼저, 시스템은 문을 열거나 옷을 접는 것과 같은 사람들의 영상을 통해 인간의 움직임과 언어를 이해하는 법을 배웠습니다. 그다음, 다양한 유형의 로보트를 데이터로 접하며 인간과 같은 관찰 내용을 로봇 특유의 기계적 움직임으로 변환하는 법을 학습했습니다. 마지막으로, 시스템은 휴머노이드 기계인 Unitree G1에 맞춰 미세 조정(fine-tuning)되어 의자를 탁자 밑으로 밀어 넣거나 쓰레기통에 쓰레기를 던지는 것과 같은 작업을 숙달했습니다. 이 과정 전반에 걸쳐 시스템은 두 가지를 동시에 수행하도록 교육받았습니다. 즉, 세상의 미래 시각적 상태를 예측하는 것과 그 상태에 도달하기 위해 필요한 물리적 행동을 생성하는 것입니다.

핵심적인 혁신은 시스템이 이러한 예측을 처리하는 방식에 있습니다. 로봇에게 선견지명을 부여하려는 기존의 많은 시도들은 미래의 전체 영상 프레임을 생성하거나, 미래를 추측하기 위해 별도의 고정된 시스템을 사용했습니다. 이러한 방식들은 너무 느리거나 로봇 고유의 시각적 방식과 동떨어져 있었습니다. Z-sight는 미래를 로봇이 현재를 이해할 때 사용하는 것과 동일한 '시각적 언어'로 직접 예측함으로써 이러한 함정을 피합니다. 이 시스템은 픽셀 단위로 완벽한 영상을 재현하려 하지 않습니다. 대신 장면을 나타내는 추상적인 시각적 토큰(tokens)을 예측합니다. 이를 통해 로봇은 예측된 미래가 펼쳐짐에 따라 자신의 행동을 즉각적으로 조정할 수 있도록, 현재의 이해와 긴밀하게 통합된 가능성의 집합으로서 미래를 볼 수 있습니다.

이 접근 방식의 결과는 컴퓨터 시뮬레이션과 실제 실험 모두에서 테스트되었습니다. 전신 협응력을 테스트하기 위해 설계된 시뮬레이션 환경에서, 이 시스템은 다양한 복잡한 작업에 대해 81.9%의 성공률을 기록하며 기존의 가장 강력한 방법들을 상당한 차이로 앞질렀습니다. 실제 방 안에서 물리적인 Unitree G1 로봇을 대상으로 테스트했을 때, 물체 이동, 가구 피하기, 다단계 집안일 등 6가지 과업에 대해 73.3%의 성공률을 보였습니다. 이에 비해 차순위 시스템은 실제 환경에서 53.3%의 성공률만을 기록했습니다. 연구진은 시스템의 미래 예측 능력이 의자를 향해 걸어가서, 의자를 밀고, 그 위에 물건을 놓는 것과 같이 일련의 움직임이 필요한 작업에서 결정적이라는 것을 발견했습니다. 이러한 선견지명이 없다면 로봇은 작업의 첫 번째 부분은 완료할지 몰라도, 다음 단계로 넘어가는 과정에서 멈춰버리곤 했습니다.

이러한 개선이 단순히 모델이 더 크거나 복잡해서가 아니라 선견지명 메커니즘 자체 덕분임을 확인하기 위해, 연구진은 몇 가지 통제된 실험을 수행했습니다. 미래를 예측할 수 없는 버전의 시스템을 테스트한 결과, 동일한 컴퓨팅 파워를 가졌음에도 불구하고 성능이 현저히 떨어지는 것을 확인했습니다. 또한 시스템이 예측의 구체적인 내용에 의존하는지, 아니면 단지 예측을 하고 있다는 사실 자체에 의저하는지도 테스트했습니다. 예측된 미래를 무작위 노이즈나 현재의 정지 영상으로 대체했을 때 로봇의 성능이 무너졌는데, 이는 시스템이 움직임을 유도하기 위해 미래 예측의 구체적인 세부 사항을 실제로 사용하고 있음을 나타냅니다. 더욱이, 시스템은 이러한 복잡한 예측과 결정을 매우 빠르게 수행하여, 30단계의 덩어리를 단 110밀리초 만에 처리함으로써 지연 없이 실시간으로 로봇을 제어할 수 있었습니다.

연구는 또한 문제가 발생했을 때 시스템이 어떻게 작동하는지도 탐구했습니다. 테스트 중에 의도적으로 예측 스트림을 방해했을 때, 연구진은 로봇이 적응할 수 있음을 관찰했습니다. 만약 시스템이 자신의 예측이 신뢰할 수 없다는 신호를 받는다면, 시스템은 미래를 추측하기보다 현재 보이는 것에 더 많이 의존하게 됩니다. 이러한 유연성은 시스템이 계획과 반응 사이의 균형을 잡는 견고한 방법을 학습했음을 시사합니다. 연구진은 시스템이 매우 효과적이긴 하지만, 현재는 행동을 결정하기 전에 다양한 행동 선택지를 미리 테스트하지 않고 오직 자신이 보는 것에 기반하여 미래를 예측한다고 언급했습니다. 이는 미래의 버전이 행동하기 전에 다양한 잠재적 결과를 비교할 수 있게 함으로써, 계획 능력을 더욱 향상시킬 가능성을 열어둡니다.

궁극적으로 Z-sight는 로봇이 다음에 올 일을 이해하기 위해 미래의 전체 영상을 생성할 필요가 없다는 것을 보여줍니다. 현재를 이해하는 데 사용하는 것과 동일한 추상적 시각 공간에서 미래를 예측하도록 학습함으로써, 이 시스템은 이전에는 달성하기 어려웠던 수준의 협응력과 적응력을 달성했습니다. 이 접근 방식은 로봇이 연속성을 가지고 움직이게 하여, 세상을 보는 것과 그 안에서 행동하는 것 사이의 간극을 메워줍니다. 시뮬레이션과 실제 휴머노이드 로봇 모두에서 보여준 이 방식의 성공은, 인지, 예측, 그리고 행동을 결합하는 이 방법이 향다면 더 유능하고 자율적인 기계를 위한 표준적인 토대가 될 수 있음을 시사합니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →