: Training Robots to Reason in Natural Language via Reinforcement Learning
이 논문은 기존의 시각-언어 모델을 로봇 추론기로 강화하여 저수준 조작 정책을 위한 자유 형식의 자연어 가이드를 생성할 수 있게 함으로써, 전문가 궤적에 대한 미드 트레이닝(mid-training)과 루브릭 기반 강화 학습의 결다를 통해 장기 과제에서의 탐색 및 일반화 능력을 크게 향상시키는 사후 학습 프레임워크인 를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇은 오랫동안 반복의 명수였으며, 동일한 동작을 완벽한 정밀도로 수천 번 수행할 수 있는 능력을 갖추어 왔다. 그러나 새로운 상황에 직면하거나 실수를 했을 때, 로봇은 종종 무엇이 잘못되었는지 생각하며 멈추는 능력이 부족하여 비틀거리곤 한다. 이러한 한계는 세상을 보는 것과 세상을 이해하는 것 사이의 간극에서 비롯된다. 현대 인공지능은 시각과 언어 양쪽 모두에서 진전을 이루어, 기계가 사물을 인식하고 음성 명령을 따를 수 있게 해주었다. 하지만 이러한 능력들을 유연한 문제 해결이 가능한 방식으로 물리적 행동과 연결하는 것은 여전히 중요한 과제로 남아 있다. 최근 연구를 이끄는 핵심 질문은, 로봇에게 움직이기 전에 말로 "생각"할 수 있는 능력을 부여하는 것이 계획을 세우고, 진행 상황을 추적하며, 오류로부터 회복해야 하는 복잡하고 장기적인 과업을 수행하는 데 도움이 될 수 있는가 하는 점이다.
카네기 멜런 대학교의 연구진은 로봇에게 이러한 종류의 사고 방식을 가르치는 새로운 방법을 개발했다. 그들은 고차원 인공지능이 자연어 추론—본질적으로 로봇이 다음에 무엇을 해야 하는지에 대한 실시간 해설—을 생성하도록 훈련시킨 뒤, 이를 로봇의 팔을 실제로 움직이는 저차원 컨트롤러에 명령을 내리도록 하는 시스템을 만들었다. 연구진은 시스템이 이러한 생각을 생성하도록 훈련함으로써, 로봇이 블록을 특정 모양으로 배열하거나 식료품을 봉투에 담는 것과 같은 어려운 조작 과업을 해결하는 능력이 현저히 향상되었다는 것을 발견했다. 핵심적인 발견은, 이러한 생각을 실시간으로 생성하는 행위 자체가 단순한 훈련 도구로 사용하는 것을 넘어, 로봇이 자신의 행동을 더 효과적으로 조절할 수 있도록 돕는 일종의 정신적 계산(mental computation) 역할을 한다는 것이다.
연구진은 로봇의 뇌를 두 부분으로 나누어 이 문제에 접근했다. 한 부분은 장면과 목표를 관찰하는 거대 언어 모델인 '추론가(reasoner)'이고, 다른 한 부분은 물리적 움직임을 실행하는 사전 훈련된 정책인 '수행자(doer)'이다. 실험에서 추론가는 현재의 세계 상태, 지금까지 일어난 일의 이력, 그리고 최종 목표를 살펴보고, 수행자에게 구체적인 지시를 내리기 전에 자신의 계획에 대한 짧은 설명을 작성하는 임무를 맡았다. 예를 들어, 목표가 블록을 일렬로 배열하는 것이라면, 추론가는 먼저 초록색 블록이 이미 제자리에 있음을 인지하고, 별 모양 블ка가 위치에서 벗어났음을 관찰한 다음, 일직선을 완성하기 위해 별 모양 블록을 이동시키기로 결정할 수 있다. 이러한 추론 과정을 글로 쓰는 작업은 로봇이 단계를 밟을 때마다 매번 발생한다.
이 시스템을 가르치기 위해 연구진은 2단계 훈련 과정을 사용했다. 먼저, 전문가들이 자신의 사고 과정을 말로 표현하며 과업을 해결하는 사례들을 시스템에 보여주었다. 그들이 '중간 훈련(mid-training)'이라고 부르는 이 단계는, 모델이 물리적 과업에 필요한 추론 스타일, 즉 부분적인 진행 상황을 추적하거나 계획이 잘못되었음을 알아차리는 법을 배우도록 도왔다. 그러나 단순히 이러한 사례들을 모방하는 것만으로는 충분하지 않았다. 연구진은 그다음 단계로 시행착오를 통해 피드백을 바탕으로 학습하는 방법인 강화 학습을 사용했다. 이 단계에서 로봇은 과업을 부여받고 스스로의 추론과 지시를 생성하도록 요청받았다. 로봇은 최종 결과뿐만 아니라, 자신이 생성한 지시가 전문가의 지시 의도와 일치하는지에 따라 보상을 받았다. 이를 통해 시스템은 모든 움직임에 대해 값비싼 전문가의 사고 과정 예시를 수집할 필요 없이, 최종 지시만을 알고 있는 방대한 데이터를 사용하여 자신의 추론 기술을 정교화할 수 있었다.
실험 결과는 두 가지 뚜렷한 환경에서 측정되었다. 첫 번째는 색깔이 있는 블록들로 채워진 시뮬레이션 테이블로, 로봇은 선이나 V자 모양 같은 형상을 배열해야 했다. 두 번째는 양손 로봇이 식료품을 봉투에 담는 더 복잡한 시뮬레이션이었다. 연구진은 이 추론 방식(R3라고 명명됨)으로 훈련된 시스템이, 생각 과정을 생성하지 않고 오직 지시만을 따르도록 훈련된 시스템보다 우수한 성능을 보였다는 것을 확인했다. 블록 배열 과업에서, 추론 기능이 탑재된 로봇은 보지 못한 새로운 모양에 대해서도 뛰어난 일반화 능력을 보여주며 다른 방식들이 실패한 지점에서 성공을 거두었다. 식료품 포장 시뮬레이션에서는, 생각하며 행동하는 로봇이 어려운 미지의 과업에 대해 약 47.9%의 성공률을 기록한 반면, 생각 없이 지시만 따르는 시스템은 약 38.0%의 성공률을 보였다.
결정적으로, 연구진은 개선 효과가 훈련 중에 더 나은 시각적 패턴을 학습했기 때문인지, 아니면 생각하는 행위 자체 때문인지를 조사했다. 연구진은 훈련이 장면을 이해하는 로봇의 능력을 향상시킨 것은 맞지만, 실제적인 이점은 결정의 순간에 일어나는 추론 과정에서 온다는 것을 발견했다. 연구진이 로봇에게 생각을 생성하는 것을 멈추고 행동만 하도록 강제했을 때, 성능은 크게 떨어졌다. 반대로, 로봇이 더 길고 상세한 생각을 생성하도록 허용했을 때, 특히 어려운 과업에서 성공률이 증가했다. 이는 언어적 추론이 인간이 복잡한 퍼즐을 풀기 전 잠시 멈춰 생각하는 것처럼, 로봇이 어려운 문제에 대해 추가적인 정신적 노력을 기울일 수 있게 하는 메커니즘 역할을 한다는 것을 시사한다.
또한 이 연구는 추론 시스템이 학습하게 된 구체적인 행동들을 밝혀냈다. 로봇은 하나의 행동을 선택하기 전에 여러 가능한 행동들을 비교하기 시작했고, 물체의 위치가 불확실할 때 장면을 재검토하며, 이전 단계가 실패했다는 것을 깨달았을 때 계획을 수정했다. 또한 로봇은 자신의 상호작용 이력을 추적하여, 실수를 반복하지 않도록 이미 수행한 일을 기억하는 법을 배웠다. 이러한 행동들은 명시적으로 프로그래밍된 것이 아니라, 시스템이 행동을 가이드하기 위해 언어를 사용하는 법을 배우면서 자연스럽게 나타난 것이다. 연구진은 두 번째 훈련 단계에서 전문가의 사고 과정에 대한 명시적인 예시를 제공하지 않고도, 최종 지시만을 통해 올바른 추론을 추론해내는 시스템의 능력을 활용했기에 이 방식이 작동했다고 언급했다.
비록 실험은 시뮬레이션 환경에서 수행되었지만, 이 결과는 로봇을 더 적응력 있게 만들기 위한 명확한 경로를 제시한다. 연구진은 이 방법이 노이즈가 있는 센서나 충돌으로부터의 회복과 같이 물리적 과업의 예측 불가능성을 다루는 데 도움을 주기 위해 실제 로봇에도 적용될 수 있다고 제안한다. 또한, 추론 부분과 행동 부분을 분리하여 유지하는 대신 함께 훈련함으로써 더욱 조화로운 행동을 만들어내는 후속 연구의 가능성도 언급했다. 현재로서는, 로봇에게 자신이 무엇을 하고 있는지에 대해 스스로 말하게 하는 것이 단순한 이론적 연습이 아니라, 복잡하고 장기적인 문제를 해결하는 능력을 향提升시키는 실질적인 방법임을 이 연구는 입증하고 있다. 시스템이 완벽할 필요는 없다. 단지 단계를 생각하며 헤쳐 나갈 수 있으면 된다. 그렇게 함으로써 로봇은 단순히 반응하는 기계보다 훨씬 더 유능해진다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.