VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation
VLCP는 시각-언어 모델을 동결된 상태로 유지하면서 다각도 관측에 기반해 매 스텝마다 자신의 파이썬 제어 코드를 동적으로 재작성하게 함으로써 폐루프 제어를 가능케 하여, 에피소드 내 실패 복구를 통해 오픈 루프 베이스라인 대비 10배의 성공률 향상을 달성하는 학습이 필요 없는 로봇 조작 정책을 도입한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇 공학의 세계에는 컴퓨터가 이해할 수 있는 것과 실제로 할 수 있는 것 사이에 지속적인 간극이 존재한다. 수년 동안 과학자들은 로봇에게 움직임의 언어를 가르침으로써 이 간극을 메우려 노력해 왔으며, 강력한 인공지능 모델이 새로운 전문적인 모터 명령 어휘를 학습하도록 강요해 왔다. 이러한 접근 방식은 방대한 양의 훈련 데이터를 필요로 하며, 종종 로봇으로부터 추론 능력을 박탈하여 상황을 이해하기보다는 특정 동작을 암기하게 만든다. 최근의 한 아이디어는 로봇에게 새로운 언어를 가르치는 대신, 로봇이 이미 가장 잘 알고 있는 언어인 컴퓨터 코드를 사용하게 하자는 것이다. AI에게 로봇이 어떻게 움직여야 하는지를 알려주는 짧은 프로그램을 작성하도록 요청함으로써, 연구자들은 AI의 추론 능력을 온전하게 유지할 수 있다. 그러나 이 방법의 주요 결함은 프로그램이 로봇이 움직이기 전, 단 한 번만 작성된다는 점이었다. 만약 로봇이 물체를 잡는 데 실패하거나 무언가에 부딪힌다면, 프로그램은 그 실수를 수정할 방법 없이 그대로 실행되어 끝까지 오류를 안고 가게 된다.
새로운 연구는 VLCP라는 시스템을 도입하여, 로봇이 작업하는 동안 스스로의 지침을 다시 작성할 수 있게 함으로써 규칙을 바꾼다. 연구진은 사전 훈련된 고정된 인공지능 모델이 감독 역할을 수행하는 프레임워크를 구축했다. 시스템은 처음에 한 번의 명령 세트만을 보내는 대신, 카메라와 센서를 통해 로봇의 현재 상황을 관찰하며 매 50단계마다 멈춘다. 그런 다음 AI에게 방금 본 것을 바탕으로 다음 50단계를 처리할 새로운 짧은 파이썬(Python) 함수를 작성하도록 요청한다. 만약 로봇이 이전 단계에서 물체를 집는 데 실패했다면, AI는 이미지에서 그 실패를 포착하고, 접근 방식을 수정하는 새로운 코드를 작성하여 동일한 시도 내에서 다시 시도한다. 이는 단순히 로봇의 움직임이 조정되는 것이 아니라, 제어 소프트웨어 자체가 실시간으로 편집되는 폐쇄 루프(closed loop)를 생성한다.
연구진은 단순한 물체 집기부터 주방 및 거실 환경에서의 복잡한 순차 작업에 이르기까지 57가지의 다양한 작업이 포함된 시뮬레이션 환경에서 이 시스템을 테스트했다. 그들은 동일한 시스템이지만 시작할 때 코드를 한 번만 작성하고 다시는 돌아보지 않는 버전과 비교했다. 차이는 극명했다. 진행하면서 코드를 다시 작성하는 시스템은 작업의 35%를 성공시킨 반면, 원래 계획을 고수했던 시스템은 단 3%만을 성공시켰다. 이러한 10배의 성능 향상은 그들이 테스트한 모든 유형의 장면에서 유효했다. 이 성공의 핵심은 로봇이 자신의 실수를 볼 수 있다는 점뿐만 아니라, 그 실수를 일으킨 바로 그 지침을 변경할 수 있다는 점에 있었다. 로봇이 처음에 물체를 잡는 데 실패한 경우 중 거의 30%에서, 시스템은 오류를 포착하고 접근 방식을 재작성하여 동일한 시도 내에 성공적으로 물체를 들어 올렸다. 코드를 중간에 편집하는 능력이 없었다면 이러한 실패는 영구적이었을 것이다.
이 과정이 실용적인지 확인하기 위해, 연구팀은 필요한 컴퓨팅 파워를 측정했다. AI가 매번 확인을 할 때마다 대부분의 기존 배경 정보를 재사용했기 때문에, 시스템은 매번 적은 양의 새로운 데이터만 처리하면 되었다. 덕분에 로ist은 너무 느려지거나 비용이 많이 들지 않으면서도, 하나의 작업 동안 약 10번 정도 멈추고 생각하며 지침을 재작성할 수 있었다. 또한 연구는 이 방법이 로봇에게 특정 구절이나 지침을 암기시키는 것에 의존하지 않는다는 것을 보여주었다. 연구진이 작업 설명을 변경했을 때, 데이터에 의존하는 다른 모델들은 언어가 약간만 바뀌어도 크게 어려움을 겪은 반면, 이 시스템의 성능은 안정적으로 유지되었다. 이는 시스템이 단순히 패턴을 맞추는 것이 아니라 목표를 진정으로 이해하고 있음을 시사한다.
연구진은 자신들의 결과가 실제 방 안의 물리적 로봇이 아닌 컴퓨터 시뮬레이션에서 나온 것임을 주의 깊게 명시했다. 이 시스템은 현재 물체의 위치에 대한 완벽한 디지털 정보에 의존하고 있는데, 이는 실제 세계의 카메라가 항상 그만큼 확실하게 제공할 수 있는 것은 아니다. 또한, AI가 새로운 코드를 생성하는 데 걸리는 시간 때문에 이 접근 방식은 찰나의 반응이 필요하지 않은 작업에 더 적합하다. 그럼에도 불구하고, 이 연구는 명확한 방향성을 제시한다. 즉, AI를 코드의 언어로 유지하고 작업 중에 스스로 실수를 바로잡을 수 있게 함으로써, 로봇은 수천 번의 인간 시연을 통한 재학습 없이도 훨씬 더 유능해질 수 있다는 것이다. 이 연구는 로봇 제어의 미래가 기계에게 새로운 움직임 방식을 가르치는 것이 아니라, 배우는 과정에서 스스로의 계획을 편집할 수 있는 자유를 주는 데 있을지도 모른다는 점을 시사한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.