로봇은 오랫동안 명령과 현실 사이의 차이를 이해하는 데 어려움을 겪어왔습니다. 수십 년 동안 엔지니어들은 기계가 팔을 완벽한 정밀도로 움직이도록 프로그래밍할 수 있었지만, 그 기계는 "빨간 컵을 집어 들어"와 같은 간단한 문장을 이해할 수는 없었습니다. 최근 몇 년 사이, 이 간극을 메우기 위해 새로운 유형의 인공지능이 등장했습니다. 시각-언어-행동(vision-language-action) 모델로 알려진 이 시스템들은 단어, 이미지, 그리고 물리적 움직임이 어떻게 연결되는지 이해하도록 방대한 양의 데이터로 학습되었습니다. 이들은 장면을 보고, 요청을 읽고, 무엇을 할지 결정할 수 있어, 로봇에게 코딩된 명령 대신 평이한 영어로 무엇을 할지 지시할 수 있는 미래를 보여줍니다. 그러나 고질적인 문제가 남아 있습니다. 이러한 모델들은 종-종 특정 로봇 하나와 통제된 환경에 맞춰 학습되기 때문에, 연구자들이 이를 다른 기계, 심지어 약간만 다른 기계에 사용하려고 하면 로봇은 종종 실패합니다. 로봇은 단어는 완벽하게 이해할지 몰라도 물체를 잡는 물리적 행위에서 실수를 하거나, 더 심하게는 새로운 과업을 배우도록 강요받을 때 명령을 따르는 법 자체를 잊어버리기도 합니다.

일리노이 대학교 어바나-샴페인 캠퍼스의 연구진은 새로운 인간 시연 데이터를 수천 시간씩 수집할 필요 없이 이 문제를 해결할 방법을 찾아냈습니다. 그들은 로봇이 과업 수행에 실패했을 때, 그 실패한 시도들조차 여전히 가치 있는 정보를 포함하고 있다는 사실을 발견했습니다. 로봇이 스스로 무언가를 시도하게 하고 그 시도들로부터 배우게 함으로써, 언어 이해 능력을 유지하면서도 새로운 기술을 가르칠 수 있다는 것입니다. 그들의 접근 방식은 2단계 과정으로 이루어집니다. 먼저, 사전 학습된 로봇의 두뇌를 가져와 소량의 전문가 데이터를 보여줍니다. 예를 들어, 로봇이 큐브를 집어 올리는 것과 같은 특정 과업을 수행하도록 인간이 유도하는 단 14분간의 데이터입니다. 이는 로봇에게 해당 특정 기계에 필요한 미세한 운동 기술을 가르칩니다. 하지만 여기서 멈춘다면, 로봇은 물체를 다른 곳에 놓거나 다양한 종류의 아이템을 다루는 법과 같이 이전에 알고 있던 모든 것을 잊어버립니다. 이를 해결하기 위해 연구진은 로봇이 이미 이해하고 있는 지침들을 사용하여 스스로 연습하게 했습니다. 그들은 로봇에게 이전에 보았던 다양한 과업들을 시도하도록 요청했고, 그 기록들을 추가적인 학습 데이터로 사용했습니다. 이들이 '자기 지도 학습(self-supervised learning)'이라고 부르는 이 방법은 로봇이 이미 알고 있는 기술을 복습하면서 동시에 새로운 기술을 배울 수 있게 하여, 기존에 알고 있던 것을 잊어버리는 것을 효과적으로 방지합니다.

실험 결과는 놀라웠습니다. 연구진이 두 팔을 가진 실제 로봇에 이 방법을 테스트했을 때, 로봇은 인간에게 명시적으로 배우지 않은 과업에 대해서도 높은 성공률로 물체를 집어 바구니에 담는 법을 배웠습니다. 한 테스트 세트에서, 물체를 집어 올리는 것에 대해서만 인간의 시연을 통해 학습한 로봇은 물체를 놓는 법을 완전히 잊어버려, 물체를 용기로 옮기는 데 100% 실패했습니다. 연구진이 로봇이 스스로 생성한 연습 데이터를 학습에 추가하자, 물체를 놓는 성공률이 55%로 급증했으며, 로봇의 지침 수행 능력도 크게 향상되었습니다. 로봇은 단순히 물체를 잡는 법을 배운 것이 아니라, 물체를 집은 후 언제 멈춰야 하는지, 그리고 물건을 놓기 위해 두 번째 위치로 언제 이동해야 하는지를 아는 등 전체 문장을 이해하는 법을 배웠습니다. 이는 물체가 새롭거나 방 안의 물건 배치가 이전에 보았던 것과 달랐을 때도 마찬가지였습니다.

연구진은 또한 로봇이 하드웨어를 파손할 위험 없이 빠르게 학습할 수 있는 디지털 세계인 시뮬레이션 환경에서도 이 아이디어를 테스트했습니다. 시뮬레이션에서 그들은 새로운 과업을 위해 인간 데이터만을 사용하여 학습할 경우, 로봇이 기존 과업을 수행하는 능력을 잃어 성공률이 90% 이상에서 17% 미만으로 떨어지는 것을 발견했습니다. 연구진이 로봇이 스스로 생성한 연습 데이터를 섞어서 사용하자, 기존 과업을 수행하는 능력이 70% 이상으로 회복되었으며, 동시에 새로운 과업에 대한 성능도 향상되었습니다. 이는 로봇의 시도, 즉 실패한 시도일지라도 그것이 물리적 세계에 대한 일종의 기억을 담고 있어 유연성을 유지하는 데 도움이 된다는 점을 시사합니다. 연구진은 이 접근 방식이 특히 유용한데, 왜냐하면 로봇을 처음 학습시키는 데 사용된 거대 데이터셋에 접근할 필요가 없기 때문입니다. 이러한 데이터셋은 종종 이를 만든 기업들에 의해 비밀로 유지됩니다. 대신, 로봇은 공장 현장이나 가정에서 직접 자신의 학습 자료를 생성합니다.

가장 놀라운 발견 중 하나는 이 방법이 학습하지 않은 과업을 처리하는 로봇의 능력을 얼마나 잘 보존하는가 하는 점이었습니다. 연구진은 인간의 시연 데이터나 스스로 생성한 연습 데이터 모두에 포함되지 않은 '밀기(pushing)'라는 기술을 테스트했습니다. 물체를 집고 놓는 것에 대해서만 인간 데이터를 학습한 로브는 밀라는 지시를 무시하고 대신 물체를 집으려고 시도하여 과업에 실패했습니다. 그러나 자기 지도 학습법으로 학습한 로봇은 밀라는 지시를 정확히 이해하고 동작을 70%의 확률로 실행했습니다. 이는 자기 지도 학습 방식이 로봇이 좁은 습관에 의해 기존 지식이 덮어씌워지는 대신, 움직임에 대한 더 넓은 이해를 유지하도록 돕는다는 것을 나타냅end. 연구진은 로봇이 물체가 보이지 않을 때 뒤를 돌아보는 것과 같은 복잡한 상황까지도 처리할 수 있음을 관찰했는데, 이는 인간 데이터로만 학습한 로봇은 보이지 않는 행동이었습니다.

이 연구는 로봇을 새로운 환경에 적응시키는 방식의 근본적인 변화를 강조합니다. 연구진은 로봇의 실패를 쓸모없는 노이즈로 보는 대신, 이를 하나의 자원으로 취급했습니다. 로봇의 행동을 일종의 복습 과정으로 활용함으로써, 그들은 적응력이 뛰어나고 견고한 시스템을 만들었습니다. 연구진은 아주 적은 양의 인간 가이드와 로봇 자신의 연습을 결합하면, 단 하나의 정책(policy)으로 새로운 기계에서 매우 다양한 과업을 수행하는 법을 배울 수 있음을 입증했습니다. 이 접근 방식은 새로운 것을 배우는 것이 시스템이 이전에 알고 있던 모든 것을 잃게 만드는 '파괴적 망각(catastrophic forgetting)' 문제를 해결합니다. 연구진은 이 방법이 블록 쌓기와 같은 단순한 과업뿐만 아니라, 움직이는 보드에 기어를 끼워 넣는 것과 같이 접촉이 많은 복잡한 과업에서도 작동하며, 성공률이 30%에서 90%로 향상됨을 발견했습니다.

이 방법이 강력하긴 하지만, 연구진은 이것이 완벽하지는 않다고 인정합니다. 로봇은 때때로 물체를 집었다 놓았다 하는 루프에 빠지거나, 빨래를 넣으려고 할 때 바구니 가장자리를 끌어당기는 것과 같이 스스로 생성한 데이터로부터 작은 특이한 습관을 물려받기도 합니다. 이러한 문제는 로봇이 자신의 불완전한 시도로부터 배우기 때문에 발생합니다. 부적절한 행동을 방지하기 위해 연구진은 학습에 사용하기 전 최악의 사례들을 수동으로 걸러냈지만, 이 과정을 자동화하는 것이 기술을 확장하는 데 필수적인 단계가 될 것이라고 언급했습니다. 그럼에도 불구하고, 이 연구는 로봇을 더 실용적이고 배치하기 쉽게 만드는 유망한 경로를 제시합니다. 이는 다재다능한 로봇의 핵심이 단순히 더 많은 인간 데이터를 수집하는 것이 아니라, 기계가 자신의 경험으로부터 배우도록 가르쳐서, 과업을 옮겨 다닐 때 지식을 함께 가져갈 수 있도록 하는 데 있음을 시사합니다.