Towards Zero-Shot Task Transfer with Neurosymbolic World Models

인공지능 에이전트가 마치 걷는 법을 배우는 아이처럼 복잡한 세상을 탐험하며 학습하는 모습을 상상해 보십시오. 머신러니닝 분야에서 이러한 에이전트들은 종종 '세계 모델(world models)'에 의존하는데, 이는 특정 행동을 취했을 때 다음에 어떤 일이 일어날지를 예측할 수 있게 해주는 내부적인 정신적 지도와 같습니다. 이들은 머릿속에서 이러한 미래의 시나리오를 시뮬레이션함으로써, 현실 세계에서 모든 가능성을 직접 물리적으로 시도해 볼 필요 없이 움직임을 계획할 수 있습니다. 이러한 접근 방식은 컴퓨터가 비디오 이미지 스트림과 같은 고차원적인 감각 데이터로부터 학습하여 게임을 정복하거나 로봇을 제어할 수 있게 함으로써 매우 강력한 능력을 발휘해 왔습니다. 그러나 중대한 장애물이 남아 있습니다. 이러한 정신적 지도는 대개 단 하나의 특정한 작업을 위해 구축된다는 점입니다. 만약 목표가 바뀐다면(예를 들어, 빨간 문에 도달하는 것에서 파란 문에 도달하는 것으로), 에이전트는 자신의 세계에 대한 이해 전체를 다시 배워야 할 수도 있습니다. 왜냐하면 내부 지도가 학습 중에 쫓았던 특정 보상과 밀접하게 얽혀 있기 때문입니다.

벨기에 KU 뢰벤(KU Leuven)의 연구진은 이러한 경직성을 해결하기 위해 새로운 접근 방식을 개발하여, 환경과 다시 상호작용하지 않고도 새로운 목표에 즉각적으로 적응할 수 있는 시스템을 만들어냈습니다. 그들의 연구는 '뉴로심볼릭(neurosymbolic)' 세계 모델이라는 유형의 하이브리드 시스템을 도입했는데, 이는 신경망의 패턴 인식 능력과 기호적 추론(symbolic reasoning)의 명확한 논리적 구조를 결외한 것입니다. 이 모델들은 환경의 가공되지 않은 감각적 세부 사항을 성공을 결정짓는 구체적이고 높은 수준의 사실들과 분리하여 학습합니다. 이러한 분리를 통해 에이전트는 세상이 어떻게 움직이고 변화하는지에 대한 이해는 유지하면서, 무엇이 '승리'인지에 대한 규칙만을 간단히 교체할 수 있습니다. 그 결과, 에이전트는 복잡한 환경을 한 번 학습한 후, 동일한 근본적 사실들을 바탕으로 목표를 재정의함으로써 완전히 새로운 작업에 그 지식을 적용할 수 있는 '제로샷 전이(zero-shot transfer)' 능력을 갖추게 됩니다.

핵심 혁신은 모델이 정보를 처리하는 방식에 있습니다. 전통적인 세계 모델은 인간이 해석하기 어렵고 재사용하기도 힘든 압축되고 추상적인 버전의 세계를 학습합니다. 반면, 새로운 뉴로심볼릭 모델은 에이전트의 좌표나 물체의 위치와 같이 상태의 구체적이고 구조화된 속성을 식별하고 예측하도록 강제합니다. 이러한 속성들은 가교 역할을 합니다. 모델은 신경망을 사용하여 무질서한 시각적 세계를 이해하고 이를 명확한 기호적 사실로 번역합니다. 일단 모델이 이러한 사실들을 확보하면, 별도의 논리적 구성 요소를 사용하여 보상을 예측합니다. 보상 예측이 오직 이러한 명확한 사실들에만 의존하기 때문에, 연구자들은 단순히 다른 목표를 겨냥하는 새로운 보상 함수로 교체하기만 하면 모델은 즉시 그 목표를 위한 계획을 세울 수 있습니다. 에이전트는 새로운 목표를 직접 보거나 시도해 볼 필요 없이, 자신이 가진 동일한 내부 지도를 사용하여 새로운 규칙에 따라 정신적 시뮬레이션을 다시 실행하기만 하면 됩니다.

이 아이디어를 테스트하기 위해 연구진은 에이전트가 목표를 찾아야 하는 그리드 기반 내비게이션 작업, 연속적인 움직임이 있는 3D 버전의 동일 작업, 그리고 상자를 특정 지점으로 밀어야 하는 소코반(Sokoban) 퍼즐 게임을 포함한 여러 가지 뚜렷한 환경에서 모델을 훈련시켰습니다. 이 훈련 단계에서 에이전트들은 고정된 목표 위치에 도달하는 것과 같은 특정 목적을 달ert하기 위해 이동하는 법을 배웠습니다. 연구진은 이후 환경의 움직임 규칙은 정확히 동일하지만 목표가 바뀐 새로운 작업들로 모델에 도전 과제를 부여했습니다. 한 시나리오에서는 목표가 다른 방으로 이동할 수도 있고, 다른 시나리오에서는 에이전트가 단일 지점이 아닌 특정 물체들의 배치를 목표로 해야 할 수도 있습니다. 모델들은 실제 환경과의 추가적인 상호작용 없이도 이러한 새로운 목적에 적응할 수 있었습니다. 이들은 두 가지 방법을 통해 이를 달성했습니다. 하나는 머릿속에서 가능성을 탐색하는 탐색 알고리즘을 사용하여 새로운 경로를 계획하는 것이었고, 다른 하나는 내부 시뮬레이션 내에서 의사 결정 정책을 완전히 정교화하는 것이었습니다.

결과에 따르면, 이 접근 방식은 작동할 뿐만 아니라 표준적인 방법보다 더 효율적이었습니다. 뉴로심볼릭 모델은 훈련 작업을 더 적은 사례로 학습했는데, 이는 정보가 구조화된 방식으로 처리되는 방식이 환경을 더 빠르게 파악하는 데 도움을 준다는 것을 시사합니다. 더욱 중요한 점은, 새로운 작업에 직면했을 때 즉각적으로 적응했다는 것입니다. 전통적인 모델은 새로운 목표를 파악하기 위해 재학습 기간이나 방대한 양의 새로운 데이터가 필요하겠지만, 뉴로심볼릭 에이전트는 기존의 세계 지식을 새로운 목표에 단순히 적용했습니다. 이는 연구진이 훈련 중에 이러한 사실들에 대해 부분적인 정보만을 제공했거나, 혹은 모델 자체의 구조에 의존하여 해당 사실들에 대한 직접적인 감독을 전혀 제공하지 않았을 때도 마찬가지였습니다.

이 연구는 더 유연하고 재사용 가능한 인공지능을 향한 중요한 진전을 보여줍니다. 세계가 어떻게 작동하는지에 대한 이해와 에이전트가 달성하고자 하는 구체적인 목표를 분리함으로써, 연구진은 에이전트가 단순한 전문 도구가 아닌 일반적인 학습자처럼 행동하는 시스템을 만들어냈습니다. 에이전트는 단순히 목적지까지의 경로를 암기하는 것이 아니라, 지형과 움직임의 규칙을 학습하여 그 지형 내에서 정의된 어떤 목적지로도 항해할 수 있게 됩니다. 비록 이 시스템이 새로운 목표가 훈련 중에 학습된 동일한 고수준의 사실들을 통해 기술될 수 있어야 한다는 제약이 남아 있지만, 이는 작업이 바뀔 때마다 발생하는 비용이 많이 드는 재학습의 필요성을 제거해 줍니다. 이는 지능형 시스템이 역동적인 환경에 배치되어, 모든 것을 다시 보는 법을 배울 필요 없이 단지 무엇을 찾아야 하는지만 전달받으면 즉시 새로운 도전에 맞설 준비를 마칠 수 있는 미래를 시사합니다.