LePlanner: An Iterative Amortized Controller For World Models

실제 세계를 움직일 수 있는 기계를 구축하려는 탐구 과정에서, 과학자들은 오랫동안 "월드 모델(world models)"이라 불리는 전략에 의존해 왔습니다. 로봇이 단순히 그 순간 보이는 것에 반응하는 것이 아니라, 세상이 어떻게 돌아가는지에 대한 정신적 시뮬레이션을 구축한다고 상상해 보십시오. 로봇은 근육을 단 한 번 움직이기 전에, 원하는 결과를 이끌어낼 수 있는 행동이 무엇인지 확인하기 위해 수천 가지의 가상 시나리오를 머릿속에서 실행합니다. 이러한 접근 방식은 마치 사람이 붐비는 방을 지나가기 전 경로를 시각화하는 것처럼, 에이전트가 앞을 내다보며 계획을 세울 수 있게 해줍니다. 그러나 이 과정에는 지속적인 병목 현상이 존재합니다. 이러한 정신적 시뮬레이션을 유용하게 만들기 위해서는, 로봇이 가능한 모든 경로를 계산하는 데 엄청난 시간을 소비하여 느리고 둔해지거나, 혹은 쉬운 상황에서는 잘 작동하지만 복잡하거나 정밀한 물리적 접촉이 필요한 상황에서는 자주 실패하는 단순하고 미리 학습된 습관에 의존해야만 합니다.

인도 공과대학교 루르키(IIT Roorkee)의 연구진은 이 간극을 메우는 'LePlanner'라는 새로운 방법을 개발했습니다. 그들은 무차별 대입 계산이나 경직된 모방이 아니라, 일련의 빠르고 반복적인 조정을 통해 스스로 계획을 정교화하는 법을 배우는 시스템을 만들었습니다. 연구팀은 T자형 물체를 미는 로봇 팔부터 두 개의 연결된 방을 통과하는 캐릭터에 이르기까지 네 가지 서로 다른 시뮬레이션 환경에서 이 시스템을 훈련시켰습니다. 이 테스트에서 LePlanner는 특정 작업에 대해 최대 100%의 성공률을 달est하며, 가장 계산 집약적인 계획 방법의 성능과 일치하면서도 예측 모델 호출 횟수는 수백 배 더 적게 소모했습니다. 이 성공의 핵심은 시스템이 목표에 도달하도록 가르치는 방식의 변화였습니다. 시스템에 고정된 시간 범위의 끝에 정확히 도착하라고 지시하는 대신, 가능한 한 빨리 목표에 도달하고 그곳에 머물도록 보상했습니다. 이러한 단순한 훈련 방식의 전환은 로봇이 망설이거나 도착을 지연하는 것을 방지하여, 매 순간 멈춰서 다시 계산할 필요 없이 복잡한 물리적 상황에서도 빠르고 신뢰할 수 있는 결정을 내릴 수 있게 했습니다.

연구진이 해결한 핵심 과제는 인공지능 계획법에서의 근본적인 트레이드오프입니다. '탐색 기반 플래너(search-based planners)'로 알려진 한 계열의 방법들은 수백 또는 수천 개의 잠재적인 미래 경로를 생성하고 각 경로를 평가하여 최선의 옵션을 찾는 방식으로 작동합니다. 이러한 방법들은 매우 정확하지만, 로봇이 단 하나의 결정을 내릴 때마다 월드 모델을 수천 번 실행해야 하기 때문에 매우 느립니다. 이러한 높은 지연 시간은 로봇이 실시간 작업에 대응하기 너무 느리게 만듭니다. 반면, '정책 기반 방법(policy-based methods)'은 상황을 단 한 단계 만에 행동으로 직접 매핑하는 법을 학습합니다. 이들은 빠르지만 취약합니다. 이들은 훈련 데이터에서 본 행동을 단순히 암기하기 때문에, 밀거나 잡는 것과 같은 복잡한 물리적 상호작용이 포함된 작업에서는 상황이 약간만 변해도 적응하지 못하고 자주 실패합니다. 연구진은 두 방식 모두 학습된 정신적 공간 내에서 신뢰할 수 있는 제어를 위해 필요한 속도와 견고함의 이상적인 조합을 제공하지 못한다는 것을 발견했습니다.

이를 해결하기 위해 연구진은 계획 과정을 분할 상환(amortize)하는 반복 제어기를 도입했습니다. 거대한 탐색을 수행하거나 단 한 번의 추측에 의존하는 대신, 시스템은 초기 계획을 가지고 시작한 다음 이를 몇 번 정교화합니다. 이는 마치 사람이 지도 위에 경로를 스케치한 다음 지형에 대해 더 깊이 생각하면서 회전 구간을 조정하는 것과 같습니다. 이러한 정교화는 시스템이 자신의 상상된 미래를 살펴보고, 목표에 얼마나 가까운지 확인하며, 계획에 작은 수정을 가하는 학습된 과정을 통해 이루어집니다. 결정적으로, 이 전체 과정은 빠르고 효율적으로 설계되어 결정당 단 몇 번의 계산만을 요구합니다. 시스템은 '동결된 월드 모델(frozen world model)'을 사용하는데, 이는 물리와 시각에 대한 근본적인 이해는 일정하게 유지되고 사전 훈련된 상태로 두는 반면, 계획 제어기는 그 고정된 이해 안에서 항해하는 법을 배운다는 것을 의미합니다. 이러한 분리는 연구진이 전체 비전 시스템을 다시 훈련할 필요 없이 계획 전략을 개선할 수 있게 하여, 과정을 안정적이고 효율적으로 만듭니다.

논문의 상당 부분은 저자들이 "호라이즌 리셋 프로크래스티네이션(horizon-reset procrastination, 지평선 재설정 미루기)"이라고 명명한 미묘하지만 결정적인 실패 모드에 초점을 맞추고 있습니다. 많은 표준 계획 설정에서 시스템은 고정된 시간 기간의 맨 끝에 목표에 도달하도록 훈련됩니다. 로봇이 실제 세계에서 계획을 실행할 때, 시스템은 다음 순간을 위해 재계획을 하기 전 처음 몇 단계만을 수행하고 멈춥니다. 계획을 세울 때마다 마감 기한이 계속 재설정되기 때문에, 시스템은 목표에 접근하기만 할 뿐 결코 완전히 도착하지 않고 도착 시간을 끊임없이 미래로 미루는 습관을 배우게 됩니다. 연구진은 이러한 행동이 로봇이 물리적으로 목표에 도달할 능력이 있음에도 불구하고 실패를 유발한다는 것을 입증했습니다. 이를 해결하기 위해 그들은 "도착 및 유지(arrival-and-hold)"라는 새로운 훈련 목적 함수를 도입했습니다. 이 방법은 고정된 마감 기한을 기다리는 대신, 가능한 한 빨리 목표에 도달하고 그곳에 머무는 것에 보상을 줍니다. 시스템에 즉각적인 도착과 안정성을 가치 있게 여기도록 가르침으로써, 연구진은 로봇이 경로를 얼마나 자주 재평가하느냐에 관계없이 일관되고 효과적인 계획을 실행할 수 있도록 미루기 행동을 제거했습니다.

실험 결과는 놀라웠습니다. 로봇 팔이 T자형 물체를 특정 위치로 미는 테스트에서, 새로운 시스템은 매 움직임 후에 재계획을 수행했을 때 98%의 성공률을 달성했습니다. 이 성능은 느리고 무거운 탐색 기반 방법들과 대등했으나, 훨씬 적은 계산량으로 달성되었습니다. 구체적으로, 새로운 시스템은 전통적인 탐색 방법보다 결정당 약 2,250배 적은 예측 모델 전이(잠재적 롤아웃)를 필요로 했습니다. 로봇 팔이 목표를 향해 손을 뻗거나 캐릭터가 문을 통과하는 등의 다른 작업에서, 시스템은 각각 100%와 92%의 성공률을 기록했습니다. 이러한 수치는 시스템이 단순히 빠른 것뿐만 아니라, 단순한 모방 전략이 보통 실패하는 복잡하고 접촉이 빈번한 환경에서도 더 신뢰할 수 있음을 나타냅니다. 연구진은 재계획 빈도가 변하더라도 시스템의 성능이 안정적으로 유지된다는 점에 주목했는데, 이는 학습된 행동이 특정 타이밍 일정에 의존하지 않고 견고함을 시사합니다.

연구는 또한 시스템의 행동을 이전에 보았던 범위 내로 유지하는 것의 중요성을 강조했습니다. 연구진은 플래너가 훈련 데이터의 분포에서 너무 벗어난 행동을 제안하는 것을 방지하는 제약 조건을 추가했습니다. 이는 안전 가드레일 역할을 하여, 로봇이 월드 모델이 환각(hallucination)을 일으켰을 수도 있는 불가능하거나 위험한 기동을 시도하지 않도록 보장했습니다. 이러한 제약에도 불구하고, 시스템은 단순히 훈련 데이터의 행동을 복사하는 것이 아니었습니다. 그것은 목표에 도달하기 위해 능동적으로 새로운 계획을 구축했습니다. 한 테스트에서 시스템의 첫 번째 예측 행동은 훈련에 사용된 전문가의 시연과 크게 달랐음에도 불구하고, 여전히 높은 정밀도로 목표에 도달했습니다. 이는 시스템이 단순히 동작의 순서를 암기하는 것이 아니라 추론을 통해 과제를 해결하는 법을 배우고 있음을 증명합니다.

연구진은 네 가지 뚜로 다른 환경에서 동일한 시작 조건을 사용하여 엄격한 테스트를 통해 발견한 바를 검증함으로써, 새로운 방법과 기존 접근 방식 사이의 공정한 비교를 보장했습니다. 그들은 성공률뿐만 아니라 각 결정을 내리는 데 걸리는 시간도 측정했는데, 새로운 시스템이 작업에 따라 전통적인 탐서 방법보다 3배에서 49배 더 빠르다는 것을 발견했습니다. 또한 연구는 로봇이 자신의 미래를 상상하는 상세한 시각화를 포함하였으며, 이를 통해 시스템의 정신적 시뮬레이션이 실제 행동을 안내할 만큼 정확하다는 것을 보여주었습니다. 로봇이 문을 통과하는 경우, 시스템은 문을 통과하는 경로를 정확히 예측한 반면, 다른 방법들은 종종 길을 잃거나 벽과의 충돌을 환각했습니다. 이러한 시각적 점검은 개선 사항이 단순한 통계적 결과물이 아니라, 시스템이 환경을 이해하고 계획하는 방식의 진정한 개선을 반영한다는 것을 확인시켜 주었습니다.

궁극적으로, 이 연구는 계획에 필요한 복잡한 추론의 상당 부분이 가볍고 반복적인 정책으로 학습되고 압축될 수 있음을 보여줍니다. 예측력 있는 월드 모델과 적시 도착을 장려하는 정교한 훈련 목적 함수를 결합함으로써, 연구진은 빠르고 견고한 제어기를 만들어냈습니다. 이 시스템은 결정 순간에 온라인 최적화나 무거운 계산을 필요로 하지 않아, 속도가 중요한 실시간 애플리케이션에 적합합니다. 현재 실험은 시뮬레이션 환경에서 수행되었지만, 이 원칙들은 더 효율적이고 유능한 실제 세계의 로봇 제어를 향한 길을 제시합니다. LePlanner의 성공은 로봇 계획의 미래가 더 빠른 컴퓨터나 더 복잡한 탐색에 있는 것이 아니라, 생각하는 법을 더 스마트하고 효율적으로 배우는 방식에 있다는 것을 시사합니다.