Decoupling Planning and Control for Instructable Agents

인공지능의 세계에는 생각하는 것과 행동하는 것 사이에 지속적인 격차가 존재합니다. 한쪽에는 복잡한 지침을 읽고, 목표를 이해하며, 이를 논리적인 단계로 분해할 수 있는 능력을 갖춘 대규모 언어 모델(LLM)이 있습니다. 이 모델들은 인간이 길을 안내하는 것처럼 고차원적인 추론에는 뛰어나지만, 실제 또는 가상 세계를 탐색하는 데 필요한 찰나의 물리적 움직임을 수행하기에는 너무 느리고 서투른 경우가 많습니다. 다른 한쪽에는 주변 환경에 즉각적으로 반응하여 속도와 정밀함으로 움직일 수 있는 특화된 제어 시스템이 있습니다. 하지만 이들은 추상적인 목표를 이해하거나 대화를 따라가는 능력은 부족합니다. 이들은 마치 빠르게 달릴 수는 있지만 코치가 구체적인 명령을 외치지 않으면 어디로 가야 할지 모르는 숙련된 운동선수와 같습니다. 로봇이나 디지털 에이전트가 복잡하고 변화하는 환경에서 진정으로 유용해지려면 계획하는 능력과 행동하는 능력이 모두 필요하지만, 이 두 가지 서로 다른 역량을 결합하는 것은 역사적으로 어려운 공학적 과제였습니다.

연구진은 'Instruct-to-Act'라고 불리는 새로운 시스템을 통해 이 격차를 해결했으며, 계획하는 작업과 제어하는 작업을 성공적으로 분리했습니다. 하나의 거대한 모델이 모든 것을 한꺼번에 수행하도록 강요하는 대신, 그들은 두 개의 특화된 구성 요소 간의 파트너십을 구축했습니다. 첫 번째는 플래너(planner)로, 사전 학습된 시각-언어 모델을 사용하여 환경과 사용자의 목표를 관찰한 다음, 단순하고 고차원적인 지침을 작성합니다. 두로 컨트롤러(controller)는 이러한 지침을 받아 신속한 물리적 동작의 흐름으로 변환하도록 특별히 훈련된 경량 시스템입니다. 핵심적인 혁신은 이 두 부분이 독립적이면서도 동기화되어 작동한다는 점입니다. 플래너는 시간을 들여 생각하고 추론하며 다른 에이전트와 소통할 수 있는 반면, 컨트롤러는 플래너가 모든 생각을 마칠 때까지 기다리지 않고도 필요한 움직임을 높은 속도로 실행합니다. 이러한 설계 덕분에 이 시스템은 비디오 게임과 시뮬레이션 세계에서 이전의 시도들이 도달하지 못했던 수준의 속도와 신뢰성을 갖추고 복잡하고 장기적인 과제를 처리할 수 있습니다.

연구진은 고전 아케이드 게임부터 여러 에이전트가 협력해야 하는 복잡한 협동 시나리오에 이르기까지 7가지의 서로 다른 환경에서 이 접근 방식을 테스트했습니다. 이 테스트에서 플래너는 세상을 관찰하고 다음에 무엇을 해야 할지 결정하는 '두뇌' 역할을 하고, 컨트롤러는 실시간으로 계획을 수행하는 '손과 발' 역할을 합니다. 컨트롤러에게 지침을 따르는 법을 가르치기 위해 연구진은 인간 전문가가 모든 동작을 시연하는 방식에 의존하지 않았습니다. 대신, 플래너 자체가 컨트롤러의 성공적인 동작을 되돌아보고 무슨 일이 일어나고 있는지 요약하도록 했습니다. 이 과정을 통해 컨트롤러는 모호한 자연어 명령을 정밀한 저수준(low-level) 움직임으로 번로하는 법을 배웠습니다. 그 결과, 이 시스템은 재학습 없이도 다양한 플래너와 결합할 수 있어 매우 유연합니다.

연구 결과는 이러한 역할 분담이 매우 효과적임을 보여줍니다. 연구진이 대규모 언어 모델로부터 직접 동작을 생성하려는 다른 시스템들과 비교했을 때, 이들의 방식이 훨씬 더 빠르고 정확했습니다. 직접 생성 방식은 종종 동작이 너무 느리거나 즉각적인 상황과 무관한 동작을 생성하며 비틀거렸습니다. 반면, Instruct-to-Act 시스템은 복잡한 지침을 따르면서도 높은 실행 속도를 유지했습니다. 두 명 이상의 디지털 캐릭터가 퍼즐을 풀기 위해 협력해야 하는 다중 에이전트 테스트에서, 이 시스템은 그들이 언어를 통해 소통하고, 역할을 협상하며, 서로 방해하지 않고 공동의 목표를 달equiv할 수 있도록 했습니다. 이 시스템은 테스트된 7개 환경 중 6개에서 기존의 가장 강력한 방법들과 대등한 성능을 보였으며, 이는 분리된 접근 방식이 고차원적 추론과 저지연 제어의 요구를 모두 충족할 수 있음을 입증했습니다.

이 연구의 가장 놀라운 측면 중 하나는 효율성입니다. 컨트롤러는 작고 특화된 모델이기 때문에 시각 정보를 처리하고 동작을 초당 수천 번 발행할 수 있는 반면, 플래너는 백그라운드에서 실행되며 필요할 때만 전략을 업데이트합니다. 이는 시스템이 대규모 언어 모델의 느린 처리 시간 때문에 정체되지 않음을 의미합니다. 연구진은 이러한 비동기 설정 덕분에 에이전트가 효과적으로 확장될 수 있음을 발견했습니다. 즉, 협동 과제에 더 많은 에이전트를 추가하더라도 다른 다중 에이전트 시스템을 괴롭히는 통신 병목 현상 없이 성능을 유지했습니다. 컨트롤러는 다양한 작업과 플래너에 걸쳐 86%에서 97% 사이의 정확도를 보이며 지침을 따랐으며, 이는 시스템이 단순히 특정 문구를 암기하는 것이 아니라 단어 뒤에 숨겨진 의도를 이해하는 법을 배웠음을 입명합니다.

또한 연구는 지침의 품질이 결과에 어떤 영향을 미치는지 조사했습니다. 연구진은 지침이 서로 다른 플래너에 의해 생성되었거나 복잡도가 다르더라도 컨트롤러가 적응하여 잘 수행한다는 것을 발견했습니다. 이는 시스템이 단순히 특정 명령 세트를 암기하는 것이 아니라 언어를 해석하는 견고한 방법을 학습했음을 시사합니다. 연구진은 지침이 명확하고 즉각적인 상황에 근거할 때 시스템이 가장 잘 작동하지만, 이전 방식들보다 모호함을 더 잘 처리할 수 있다고 언급했습니다. 계획과 제어 계층을 분리함으로써 연구진은 강력할 뿐만 아니라 모듈화된 프레임워크를 만들었으며, 이를 통해 작업의 특정 요구 사항에 따라 서로 다른 플래너나 컨트롤러를 교체할 수 있게 되었습니다.

궁극적으로 이 연구는 실제 세계에서 작동할 수 있는 지능형 에이전트를 구축하기 위한 실질적인 경로를 제시합니다. 생각하는 것과 행동하는 데 서로 다른 속도와 서로 다른 유형의 지능이 필요하다는 점을 인정함으로써, 연구진은 두 가지의 강점을 모두 활용하는 시스템을 만들었습니다. 플래너는 비전과 전략을 제공하고, 컨트롤러는 속도와 정밀함을 제공합니다. 이러한 접근 방식은 하나의 모델에 모든 것을 강요하려는 함정을 피하여, 스마트하면서도 빠른 시스템을 만들어냈습니다. 연구진은 앞으로 이 프레임워크를 인간-로봇 협업 및 동적인 환경에서의 장기 계획이 필요한 과제를 포함한 더 복잡한 시나리오에 적용할 수 있을 것으로 보고 있습니다. Instruct-to-Act의 성공은 체화된 AI(embodied AI)의 미래가 더 크고 단일한 모델을 만드는 것이 아니라, 서로 다른 유형의 지능 간에 더 스마트하고 효율적인 파트너십을 설계하는 데 있음을 시사합니다.