로봇에게 현실 세계에서 정교한 물리적 과업을 수행하도록 가르치는 것은 매우 어려운 일로 알려져 있습니다. 완벽한 디지털 진공 상태에서 실행되는 컴퓨터 프로그램과 달리, 물리적인 기계는 단 한 번의 잘못된 움직임이 부품을 파손하거나, 기계를 손상시키거나, 혹은 단순히 기계를 멈추게 할 수 있는 무질서한 환경을 헤쳐 나가야 합니다. 이러한 함정을 피하는 법을 배우기 위해 로봇은 전통적으로 강화 학습에 의존해 왔습니다. 이는 기계가 어떤 행동을 시도하고, 그 결과를 확인한 뒤, 보상 신호에 따라 자신의 행동을 조정하는 시행착오 과정입니다. 하지만 물리적인 세계에서 이 과정은 느리고 위험합니다. 만약 로봇이 플러그를 소켓에 끼우려다 실패한다면, 메커니즘을 끼이게 하거나 표면에 흠집을 낼 수 있습니다. 더욱이 성공에 대한 '보상'은 흔히 드물게 나타납니다. 로봇은 우연히 플러그를 끼우기 전까지 수천 번을 시도해야 할 수도 있으며, 이는 학습 과정을 매우 비효율적으로 만듭니다. 이를 가속화하기 위해 연구자들은 이전에 인간 교사에게 도움을 구하여, 로봇에게 과업을 수행하는 방법을 보여주거나 로봇이 막혔을 때 물리적으로 안내하는 방식을 사용했습니다. 그러나 이 접근 방식에는 중대한 결함이 있습니다. 모든 훈련 세션마다 인간이 옆에서 지켜보고 있어야 한다는 점인데, 이는 매우 지치고 비용이 많이 들며 규모를 키우는 것이 불가능합니다.

연구진은 단 한 번의 시연만으로 인간의 감시 없이도 로봇을 가르칠 수 있는 AutoSERL이라는 새로운 시스템을 개발하여 이 문제를 해결했습니다. 이 시스템은 인간이 과업을 성공적으로 완료하는 데 기록된 단 하나의 사례를 가져와, 이를 로봇의 학습을 안내하는 자동 규칙 세트로 변환하는 방식으로 작동합니다. 연구진은 이를 플러그 삽입, 물체 걸기, 서랍 당기기 등 여섯 가지의 어려운 과업에 테스트했습니다. 모든 경우에서 로봇은 단 하나의 초기 예시만을 사용하여 과업을 완벽하게 수행하는 법을 배웠으며, 결과적으로 스무 개의 예시로 훈련되었거나 지속적인 인간의 감독에 의존했던 시스템들보다 뛰어난 성능을 보였습니다. 핵심 혁신은 로봇이 자신이 경로를 벗어나거나 막혔을 때를 인식하는 법을 배우고, 단일 시연을 다시 참조함으로써 스스로를 자동으로 수정한다는 점이며, 이는 사실상 인간 교사의 필요성을 대체합니다.

연구진이 해결하고자 했던 핵심 과제는 인간이 끊임없이 지켜보지 않고도 어떻게 로봇을 안전하고 올바른 경로로 유지하느냐는 것이었습니다. 기존 방식에서는 로로봇이 실수를 할 때마다 인간이 개입하여 로봇을 안전한 위치로 물리적으로 되돌리거나 목표를 향해 유도했습니다. 이러한 '인간 참여형(human-in-the-loop)' 접근 방식은 효과적이었지만 장기적인 훈련에는 실용적이지 않았습니다. 새로운 시스템인 AutoSERL은 이 개입 과정을 자동화합니다. 이 시스템은 로봇의 손이 과업의 시작부터 끝까지 움직이는 기록인 하나의 시연 궤적(demonstration trajectory)에서 시작합니다. 이 하나의 기록으로부터 시스템은 로봇이 학습할 때 가이드 역할을 할 세 가지 특정 메커니즘을 추출합니다.

첫 번째 메커니즘은 움직이는 가이드 레일 역할을 하는 슬라이딩 윈도우(sliding window)입니다. 로봇이 과업을 시도함에 따라, 시스템은 로봇의 현재 위치를 단일 시연에서 보여준 경로와 끊임없이 비교합니다. 만약 로봇이 올바른 경로에서 너무 멀어지면, 시스템은 로봇을 시연 선상의 가장 가까운 지점으로 부드럽게 밀어 넣습니다. 결정적으로, 이 가이드는 로봇을 경로를 따라 앞으로만 끌어당길 뿐, 이미 방문했던 지점으로 뒤로 끌어당기지는 않습니다. 이는 로봇이 혼자서 어려운 과업을 배우려고 할 때 흔히 발생하는 실패 모드인, 제자리에서 앞뒤로 왔다 갔다 하며 루프에 빠지는 현상을 방지합니다. 원래의 시연이 안전하게 기록되었으므로, 그 경로를 따르는 것은 로봇이 환경 내의 장애물에 부딪히는 것을 피하도록 보장합니다.

두 번째 메커니즘은 부품이 끼었거나 로봇이 물체를 어색한 각도로 잡고 있는 경우처럼 로봇이 물리적으로 갇힌 상황을 처리합니다. 시스템은 로봇의 진행 상황을 모니터링하며, 로봇이 움직임을 멈췄거나 물체와 상호작용하는 데 어려움을 겪고 있는지 감지할 수 있습니다. 이런 일이 발생하면, 시스템은 로봇을 원래 시연에 정의된 특정 안전 회복 지점으로 자동으로 안내합니다. 그 지점부터는, 해당 안전 지점에서 다음 단계로 성공적으로 이동하는 방법을 보여주는 시연의 구간을 재생합니다. 이를 통해 로봇은 인간이 문제를 인지하고 개입할 때까지 기다리지 않고 즉각적으로 교착 상태에서 벗어날 수 있습니다.

세 번째 메커니즘은 도움을 주는 것을 멈출 시점을 결정하는 규칙입니다. 훈련의 목표는 로봇이 결국 스스로 과업을 배울 수 있도록 하는 것이므로, 시스템은 로봇이 충분히 학습했다고 판단되면 자동 가이드를 끄도록 설계되었습니다. 시스템은 한 훈련 세션 동안 얼마나 많은 개입이 발생했는지 계산합니다. 만약 로봇이 아주 적은 개입만으로 과업을 성공적으로 완료한다면, 시스템은 로봇이 기술을 습득했다고 가정하고 모든 추가 가이드를 비활성화합니다. 이를 통해 로봇은 시연에 의해 제약받지 않고 자신의 움직임을 탐색하고 정교화할 수 있으며, 결과적으로 견고하고 독립적인 정책을 개발할 수 있게 됩니다.

연구진은 두 대의 로봇 팔을 사용하여 여섯 가지의 서로 다른 과업에 대해 이 프레임워크를 테스트했습니다. 이 과업들은 정밀한 물리적 접촉을 요구하며 오차 범위가 매우 좁은 것들로 선정되었습니다. 과업에는 플러그를 소켓에 삽입하기, USB 드라이브 꽂기, 수정 테이프·옷걸이·숟가락을 고리에 걸기, 그리고 갈고리가 달린 서랍 당기기가 포함되었습니다. 삽입 과업에서 AutoSERL을 사용하여 단 하나의 시연으로 훈련한 로봇은 100퍼센트의 성공률을 달성했습니다. 다른 방법들과 비교했을 때 결과는 명확했습니다. 스무 개의 시연으로 훈련된 시스템은 동일한 시간 내에 같은 수준의 성공률에 도달하지 못했습니다. 단순히 인간의 움직임을 복제하기만 한 시스템은 위치의 미세한 변화에 적응하지 못했습니다. 심지어 로봇이 막힐 때마다 인간이 개입해야 하는 시스템조차 자동화된 시스템보다 학습하는 데 더 오랜 시간이 걸렸거나, 비슷한 결과를 얻기 위해 동일한 시간을 필요로 했습니다.

연구진은 또한 환경의 변화에 로봇이 얼마나 잘 대응할 수 있는지도 살펴보았습니다. 한 테스트에서 연구진은 로봇이 꽂아야 할 물체의 시작 위치를 몇 센티미터 옮겼습니다. 이러한 변화에도 불구하고, AutoSERL로 훈련된 로봇은 자동 가이드 없이 훈련된 로봇보다 더 빠르게 학습하고 더 높은 성공률을 보였습니다. 이는 시스템이 단순히 인간이 취한 정확한 경로를 암기하는 것이 아니라, 과업의 근본적인 논리를 학습하여 새로운 시작 지점에 적응할 수 있음을 시사합니다. 또한 연구진은 시스템이 다양한 무작위 시작 조건에 대해서도 견고하며, 훈련이 어떻게 초기화되든 상관없이 일관되게 높은 성공률을 달리는 것을 발견했습니다.

이러한 결과가 인상적이긴 하지만, 연구진은 시스템의 한계도 인정하고 있습니다. 회복 메커니즘은 단 하나의 시연에 포함된 정보에 의존합니다. 만약 로봇이 원래의 기록에 전혀 나타나지 않은 형태의 실패 모드에 직면한다면, 시스템은 어떻게 회복해야 할지 모를 수 있습니다. 예를 들어, 로봇이 원래의 과업과는 완전히 다른 방식으로 끼이게 된다면 자동 가이드가 해결책을 갖지 못할 수 있습니다. 연구진은 향-후 연구에서 더 다양한 종류의 실수를 처리할 수 있는 더 견고한 회복 시스템을 만들기 위해 여러 개의 시연을 사용하는 방안을 제시했습니다. 또한, 현재 시스템은 로봇의 손이 6자유도로 움직이는 과업을 위해 설계되었으며, 더 많은 움직이는 부품이 포함된 더 복잡한 동작에 얼마나 잘 작동할지는 아직 불분명합니다.

이러한 제한 사항에도 불구하고, 이번 연구 결과는 로봇 학습을 실용적으로 만드는 데 있어 중요한 진전을 의미합니다. 인간 교사의 필요성을 스마트한 자동화 시스템으로 대체함으로써, 연구진은 로봇이 어렵고 정교한 물리적 과업을 효율적이고 안전하게 배울 수 있다는 것을 입증했습니다. 이 시스템은 인간의 지도라는 안전성과 로봇이 스스로 학습하는 데 필요한 독립성 사이의 간극을 성공적으로 메웠습니다. 테스트된 여섯 가지 과업에서 자동화된 접근 방식은 인간 감독형 훈련의 성능과 일치했을 뿐만 아니라 종종 다른 자동화된 기준들을 능가했으며, 이는 잘 구조화된 단 하나의 시연만으로도 현실 세계의 로봇 학습 잠재력을 끌어올리기에 충분하다는 것을 증명했습니다.