Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization
Zero-WAM은 인컨텍스트(in-context) 인간 영상을 작업 명세로 활용하고 시각적 프롬프트에 대한 의존성을 강제하기 위한 미래 청크 예측(future chunk prediction) 목적 함수와 74.2K개의 인간-로봇 쌍으로 구성된 합성 데이터셋을 지원함으로써, 로봇 조작에서 제로샷 교차 작업 일반화를 달성하는 인과적 비디오-액션 모델이다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇은 오랫동안 근본적인 한계와 싸워왔습니다. 로봇은 명시적으로 배운 것을 반복하는 데는 뛰어나지만, 연습해 본 적 없는 새로운 상황에 직면하면 서투른 모습을 보입니다. 만약 로봇이 빨간색 블록을 쌓는 법을 배웠다면, 인간 프로그래머가 그 특정 작업을 위해 코드를 다시 작성하지 않는 한, 파란색 블록을 쌓는 법이나 전자레인지를 여는 법을 스스로 알아내지 못하는 경우가 많습니다. 이러한 일반화 능력의 부재는 우리의 가정이나 일터에서 도움을 줄 수 있는 기계를 만드는 데 있어 큰 장애물입니다. 수년간 연구자들은 로봇에게 "컵을 집어라"와 같은 언어적 지침을 주어 가르치는 방식으로 이 문제를 해결하려 노력해 왔습니다. 하지만 단어는 물체를 얼마나 세게 쥐어야 하는지, 혹은 매듭을 푸는 데 필요한 정확한 움직임의 순서와 같은 복적하고 물리적인 세부 사항을 포착하기에는 너무 모호할 때가 많습니다. 인간이 로봇에게 할 일을 보여주는 더 자연스러운 방법은 단순히 시연하는 것이지만, 로봇에게 인간의 영상을 보고 직접 배우도록 가르치는 것은 어려웠습니다. 왜냐하면 로봇과 인간은 움직임이 다르고 세상을 보는 각도도 다르기 때문입니다.
한 연구팀은 로봇이 특정 작업에 대한 사전 훈련이나 로봇 내부 소프트웨어의 변경 없이도, 인간이 수행하는 짧은 영상을 보는 것만으로 완전히 새로운 작업을 학습할 수 있게 하는 새로운 접근 방식을 개발했습니다. 그들은 이 시스템을 Zero-WAM이라고 부릅니다. 핵심 아이디어는 인간의 영상을 단순한 참조 자료가 아니라 직접적인 지침으로 취급하는 것입니다. 로봇이 새로운 일을 수행해야 할 때, 로봇은 인간이 유사한 작업을 수행하는 영상을 보고 그 시각적 가이드를 사용하여 자신의 다음 동작을 결정합니다. 이를 실현하기 위해 연구진은 거대한 데이터 문제를 해결해야 했습니다. 그들은 인간이 작업을 수행하는 영상과 그 동일한 작업에 대한 로봇 자신의 움직임이 완벽하게 일치하는 사례 수천 개가 필요했습니다. 이러한 쌍(pair)을 수작업으로 수집하는 것은 느리고 비용이 많이 들기 때문에, 연구진은 로봇이 작업하는 기존 녹화 영상을 가져와 인공지능을 사용하여 그에 맞는 인간 영상을 생성하는 자동화된 시스템을 구축했습니다. 이 과정을 통해 단순한 집기 및 놓기 동작부터 복잡한 다단계 조작에 이르기까지, 거의 9,000가지의 다양한 작업을 아우르는 74,200개의 쌍으로 이루어진 방대한 라이브러리가 만들어졌습니다.
연구진은 이 다양한 라이브러리를 통해 모델을 훈련시켰으며, 모델이 자신의 움직임 기록과 보고 있는 인간의 영상을 바탕으로 다음에 무엇을 해야 할지 예측하도록 가르쳤습니다. 이 방법의 핵심 요소는 모델이 이전에 보았던 것에 기반해 추측하는 것이 아니라 실제로 인간의 영상에 주의를 기울이도록 보장하는 것이었습니다. 연구진은 모델이 바로 다음 순간뿐만 아니라 몇 단계 앞의 미래까지 예측하도록 하는 특별한 훈련 단계를 추가했습니다. 이는 시스템이 단순히 과거에 반응하는 것을 넘어, 인간 영상에 나타난 장기적인 목표를 이해하도록 강제했습니다. 연구진이 시뮬레이션 환경에서 훈련 중에 본 적 없는 7가지의 완전히 새로운 작업으로 이 시스템을 테스트했을 때, 성공률은 거의 절반에 달했습니다. 이는 이전 방식들이 5번 중 1번 미만으로 성공했던 것에 비해 극적인 향상입니다. 이 시스템은 단순히 인간의 시연 영상을 보는 것만으로 전자레인지 열기, 블록 쌓기, 스테이플러 옮기기와 같은 어려운 과제들을 처리해 냈습니다.
성공은 시뮬레이션에서 멈추지 않았습니다. 팀은 훈련된 모델을 실제 물리적인 로봇 팔이 있는 환경으로 가져가 물체를 용기에 넣기, 여러 아이템을 특정 순서로 이동하기, 테이블 다리를 구멍에 정밀하게 삽입하기 등의 작업을 테스트했습니다. 실제 세계 테스트에서도 로봇은 인간 영상을 지침으로 사용하여, 훈련 중에 보았던 것과는 다른 색상의 물체나 다른 테이블 설정과 같은 미지의 구성들을 헤쳐 나갔습니다. 물리적 환경의 어려움 때문에 성공률은 시뮬레이션보다 낮았지만, 로봇은 표준적인 언어 기반 시스템이 전혀 해결할 수 없었던 작업들을 수행해 냈습니다. 예를 들어, 영상 가이드에 따라 테이블 다리를 특정 구멍에 삽입하라는 요청을 받았을 때, 언어 전용 시스템은 완전히 실패한 반면 로봇은 상당 부분의 시행에서 성공했습니다.
이러한 결과는 로봇을 더 적응력 있게 만드는 데 있어 병목 현상이 발생하는 지점이 반드시 로봇의 움직임 능력이 아니라, 우리가 어떻게 지시를 내리는가에 있다는 점을 시사합니다. 텍스트 기반 명령에서 영상 기반 시연으로 전환하고, 방대한 자동 생성 데이터셋을 사용하여 인간의 행동을 자신의 움직임으로 번역하는 법을 가르침으로써, 연구진은 더 유연한 기계를 향한 실행 가능한 경로를 보여주었습니다. 이 시스템은 로봇이 새로운 작업마다 새로운 기술을 배울 필요가 없습니다. 대신, 시각적 시연을 해석하는 일반적인 능력을 학습합니다. 이는 미래에 로봇에게 인간이 새는 수도꼭지를 고치거나 선반을 정리하는 영상을 건네주면, 로봇이 자신의 몸과 눈앞의 특정 물체에 맞춰 물리적 움직임을 적응시키며 스스로 동일한 작업을 시도할 수 있음을 의미합니다. 이 연구는 적절한 데이터와 훈련 방법이 있다면, 로봇이 인간의 직관과 기계의 실행 사이의 간극을 메우기 시작하여 진정한 범용 어시스턴트라는 목표에 더 가까워질 수 있음을 입증합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.