당신이 로봇에게 인간이 하는 것을 관찰하여 샌드위치를 만들거나 서랍을 여는 것과 같은 복잡한 작업을 가르치려 한다고 상상해 보세요. 이 분야를 모방 학습(Imitation Learning), 더 구체적으로는 **행동 클로닝(Behavioral Cloning)**이라고 부릅니다. 이것은 마치 학생이 선생님의 숙제를 베끼는 것과 같습니다. 로봇은 인간의 팔이 움직이는 영상을 보고, 스스로 똑같이 할 수 있도록 그 규칙을 배우려고 노력합니다.

여기서 큰 문제는 세상이 매우 무질서하다는 점입니다. 만약 로봇이 아주 작은 실수라도 한다면, 다음 순간은 학습 영상에서 보았던 것과는 완전히 다르게 보일 수 있습니다. 이것은 마치 외줄 타기를 하는 것과 같습니다. 발을 헛디디면 경로에서 완전히 벗어나 떨어질 수 있기 때문입니다. 이를 해결하기 위해 과학자들은 종종 **액션 청킹(Action Chunking)**이라는 기술을 사용합니다. 로봇에게 "손을 앞으로 1인치 움직여라"라고 말하고 다음 명령을 내리기 전에 기다리는 대신, "손을 앞으로 1인치 움직이고, 그다음 또 1인치, 그다음 또 1인치 움직여라"라고 한꺼번에 말하는 방식입니다. 이는 로봇에게 단어 하나가 아니라 문장 전체의 명령을 주는 것과 같습니다. 이것은 로봇이 잘 작동하게 만드는 비결이었지만, 왜 이것이 단순히 한 번에 하나의 명령을 주는 것보다 훨씬 더 잘 작동하는지 정확히는 아무도 몰랐습니다.

이 논문은 이 미스터리에 대한 심층적인 탐구입니다. 저자들(UC 버클리 및 폴리테크니코 디 밀라노와 같은 대학의 연구진)은 탐정이 되기로 했습니다. 그들은 알고 싶었습니다. 로봇이 더 일관되게 움직이기 때문인가? 아니면 더 멀리 내다보기 때문인가? 아니면 아예 다른 이유가 있는가? 그들은 컴퓨터 시뮬레이션과 실제 실험실의 로봇을 사용하여 수백 번의 실험을 수행하며 액션 청킹의 마법 뒤에 숨겨진 진짜 이유를 찾아냈습니다.

위대한 "왜"에 대한 조사

오랫동안 사람들은 로봇에게 "청크(덩어리)" 형태의 행동을 주는 것이 도움이 되는 세 가지 주요 이유가 있다고 생각했습니다:

1. 시간적 일관성(Temporal Consistency): 인간은 부드럽게 움직이며, 청킹이 한 번에 한 단계씩만 생각하는 로봇보다 그 부드러움을 더 잘 모방하도록 돕는다는 아이디어입니다.
2. 호라이즌 감소(Horizon Reduction): 여러 단계를 앞서 계획함으로써, 로봇이 먼 미래에 발생할 실수에 대해 걱정할 필요가 없어지고, 이로 인해 길을 잃을 확률이 줄어든다는 아이디어입니다.
3. 표현 학습(Representation Learning): 일련의 움직임을 예측하려고 노력하는 과정이 로봇의 뇌가 세상에 대한 더 나은 "특징(features)"을 학습하도록 도와, 전반적으로 더 똑똑하게 만든다는 아이디어입니다.

저자들은 이 아이디어들을 테스트하기 위해 나섰습니다. 그들은 한 번에 20개의 행동 덩어리를 예측할 수 있는 특수한 종류의 로봇 정책(로봇이 어떻게 행동할지에 대한 규칙 세트)을 구축했습니다. 그런 다음, 이 정책의 "지연된(delayed)" 버전을 만들었습니다. 지연된 정책은 지금 무엇을 할지 결정하기 위해 5초 또는 10초 전의 관찰 내용을 살펴보는 로봇과 비슷합니다. 이 모델은 전체 미래 시퀀스를 예측하는 것이 아니라, 과거의 관찰을 바탕으로 바로 다음 동작만을 예측합니다.

반전: 이 아이디어들을 테스트했을 때, 그들은 처음의 두 가지 인기 있는 이론이 틀렸거나, 적어도 전부가 아니라는 것을 발견했습니다.

• 그들은 시간적 일관성이 주인공이 아니라는 것을 발견했습니다. 과거를 바라보는 로봇(지연된 정책)도 전체 청크를 예측하는 로봇만큼이나 인간의 부드러움을 잘 모방할 수 있었습니다.
• 또한 호라이즌 감소가 주된 이유가 아님을 발견했습니다. 청크를 예측하는 것이 호라이즌(미래를 계획하는 거리)을 줄여주기는 하지만, 지연된 정책 역시 전체 시퀀스를 계획하지 않고도 오류를 줄이는 동일한 효과를 낼 수 있었습니다.

그렇다면 그 유명한 이론들이 답이 아니라면, 진짜 정답은 무엇일까요?

진짜 비밀: "암시적 앙상블(Implicit Ensemble)"

이 논문은 액션 청킹의 진정한 초능력이 저자들이 **암시적 앙상블(Implicit Ensembling)**이라고 부르는 것임을 밝혀냈습니다.

당신이 날씨를 예측하려고 한다고 상상해 보세요. 매 시간 창밖을 내다보는 친구 한 명에게 물어볼 수도 있습니다. 또는 서로 다른 시간에 창밖을 보는 다섯 명의 친구에게 물어볼 수도 있습니다. 한 명은 9:00에, 한 명은 9:05에, 한 명은 9:10에 보는 식입니다. 비록 그들이 모두 같은 하늘을 보고 있더라도, 그들의 서로 다른 관점은 당신이 더 나은 예측을 할 수 있도록 도와줄 수 있습니다.

이것이 바로 액션 청킹을 사용하는 로봇이 하는 일입니다. 20개의 행동 시퀀스를 예측하도록 학습할 때, 로봇은 비밀리에 문제에 대한 20개의 서로 다른 "관점"을 동시에 배우고 있는 것입니다.

• 첫 번째 행동을 예측하기 위해, 로봇은 현재의 관찰을 봅니다.
• 두 번째 행동을 예측하기 위해, 로봇은 현재의 관찰을 보되 (그것이 미래의 한 단계라고 가정하고) 봅니다.
• 세 번째 행동을 예측하기 위해, 로봇은 현재의 관찰을 봅니다 (두 단계 뒤의 미래를 상상하며).

이처럼 다양한 시간 차이를 둔 관계들을 동시에 학습함으로써, 로봇은 자신의 뇌 안에 효과적으로 전문가 팀을 구축하게 됩니다. 이는 마치 20명의 서로 다른 로봇이 구성된 위원회와 같아서, 각 로봇이 세상을 보는 약간씩 다른 "지연(delay)"을 가지고 다음 행동에 대해 투표하는 것과 같습니다. 이 "위원회" 효과 덕분에 로봇은 훨씬 더 견고해지고 어처구니없는 실수를 저지를 확률이 낮아집니다.

"아하!" 모먼트와 새로운 해결책

이 논문의 가장 흥iral한 부분은 이 발견을 가지고 그들이 무엇을 했느냐 하는 것입니다. 그들은 마법의 핵심이 "청크" 자체가 아니라, 청크가 서로 다른 시간적 관점을 가진 "위원회"를 만들어낸다는 사실을 깨달았습니다. 그래서 그들은 질문했습니다. 청크를 전혀 사용하지 않고도 이와 같은 이점을 얻을 수 있을까?

그들은 **무작위 지연 앙상블(Randomized Delay Ensembles)**이라는 영리한 트릭을 시도했습니다. 하나의 로봇에게 청크를 예측하도록 훈련시키는 대신, 그들은 그룹 형태의 로봇들을 훈련시켰습니다. 그룹 내의 각 로봇은 "지연된" 정책이었지만, 서로 다른 지연 시간을 가지고 과거를 보도록 훈련되었습니다 (어떤 로봇은 1단계 전을 보고, 다른 로봇은 2단계 전을 보고, 또 다른 로봇은 3단계 전을 보는 식입니다). 행동할 시간이 되면, 그들은 단순히 하나의 로봇을 선택하는 것이 아니라 그룹 중에서 하나를 무작위로 선택하여 결정을 내렸습니다.

결과는 놀라웠습니다. 컴퓨터 시뮬레이션과 실제 환경 테스트(당근을 그릇에 넣거나 토스터에서 빵을 꺼내는 작업 등)에서, 이 "무작위 지연" 팀은 전통적인 액션 청킹 로봇만큼 잘 수행했습니다. 어떤 경우에는 오히려 더 뛰어난 성능을 보이기도 했습니다!

이것이 미래에 의미하는 바

이 논문은 로봇을 똑똑하게 만들기 위해 반드시 긴 행동 시퀀스를 예측하도록 강요할 필요는 없다는 점을 시사합니다. "청크"는 단지 전문가 팀을 우연히 만들어내기 위한 편리한 방법이었을 뿐입니다. 서로 다른 시간 지연을 사용하여 그 팀을 명시적으로 구축함으로써, 우리는 동일하거나 심지어 더 나은 결과를 얻을 수 있습니다.

이것이 액션 청킹이 쓸모없다는 뜻은 아닙니다. 다만 이제 우리는 그것이 왜 작동하는지 이해하게 되었다는 뜻입니다. 자동차 엔진이 작동하는 이유가 페인트 색깔 때문이 아니라 점화 플러그 때문이라는 것을 깨달은 것과 같습니다. 이제 우리가 점화 플러그(앙상블 효과)가 핵심이라는 것을 알았으므로, 빠르게 달리기 위해 무겁고 복잡한 페인트칠(긴 액션 청크)을 할 필요가 없는 더 나은 엔진을 만들 수 있습니다.

저자들은 로봇이 다루는 복잡한 현실 세계에서, 과거를 다양한 각도에서 바라보는 것이 학습을 위한 강력한 방법임을 보여주었습니다. 그들은 90가지의 작업이 포함된 컴퓨터 시뮬레이션과 실제 로봇이 물리적 작업을 수행하는 실험을 통해 이를 증명했습니다. 비록 이 방법이 세상의 모든 로봇 문제를 해결할 것이라고 약속할 수는 없지만, 그들의 실험은 로봇 학습의 미래가 먼 미래를 예측하는 것이 아니라, 지금 당장 무엇을 할지 결정하기 위해 다양한 "시간 여행" 전문가 팀을 구축하는 것에 달려 있음을 강력하게 시사합니다.