기술 요약: 계층적 신경 옵션과 추상적 세계 모델의 공동 학습 (AgentOWL)

1. 문제 제기

본 논문은 의사결정 에이전트가 기존 기술을 조합하여 새로운 기술을 누적적으로 습득할 수 있도록 하는 과제를 다룹니다. 옵션 프레임워크는 이를 점점 더 어려운 목표를 달성하는 정책 (옵션) 의 계층 구조를 학습하는 것으로 공식화하지만, 표준적인 모델 프리 계층적 강화 학습 (RL) 접근법은 낮은 샘플 효율성으로 고통받습니다. 습득된 기술의 수가 증가함에 따라 유효 행동 공간이 확장되어, 정책 학습이 새로운 목표에 대해 점점 더 많은 데이터를 요구하며 처리 불가능해집니다.

핵심 문제는 새로운 기술을 빠르게 학습하는 것과 이미 습득된 기술의 수 사이의 트레이드오프입니다. 표준 모델 프리 방법은 학습이 진행됨에 따라 기하급수적으로 더 많은 샘플을 필요로 합니다. 저자들은 모델 기반 RL이 세계 모델을 사용하여 실제 실행 전에 옵션을 계획하고 배제함으로써 이를 해결할 수 있다고 제안합니다. 그러나 기존 세계 모델링 접근법은 제한된 샘플로부터 복잡한 역학을 학습하는 데 필요한 데이터 효율성이 부족하거나, 계획을 처리 가능하게 만들기 위해 필요한 시간적 및 상태 추상화를 제공하지 못하는 경우가 많습니다.

2. 방법론: AgentOWL

저자들은 AgentOWL(Option and World model Learning Agent) 을 제안합니다. 이는 샘플 효율적인 방식으로 계층적 신경 옵션 집합과 추상적 세계 모델을 공동으로 학습하는 시스템입니다.

2.1 추상적 세계 모델링

이 시스템은 상태와 시간을 모두 추상화하는 세계 모델을 학습하기 위해 전문가 곱 (Product-of-Experts, PoE-World) 프레임워크를 사용합니다.

• 상태 추상화: 모델은 원시 픽셀 전이를 예측하는 대신, 목표 술어 $f(s) = (g_1(s), g_2(s), \dots)$로 정의된 미래 추상 상태를 예측합니다. 이는 예측 작업의 차원을 축소합니다.
• 기호적 표현: 세계 모델은 전문가들의 곱으로 표현되며, 각 전문가는 대규모 언어 모델 (LLM) 이 생성한 짧은 기호 프로그램(Python 스니펫) 입니다. 이러한 프로그램들은 독립적인 인과 메커니즘을 모델링합니다.
• 프레임 공리 사전 (Frame Axiom Prior): 샘플 효율성을 유지하기 위해 모델은 "프레임 공리 사전"을 통합합니다. 이는 옵션 $o_i$가 해당 특징 $f_i$를 주로 변경하고 다른 특징 $f_j$ ($j \neq i$) 는 변경하지 않는다고 가정하도록 모델을 편향시킵니다. 이는 가우시안 사전과 함께 최대 사후 확률 (MAP) 추정을 통해 구현되어, 전이 역학을 학습하는 데 필요한 데이터를 크게 줄입니다.
• 재구성: 추상 모델이 $p(f' | s)$를 예측하므로, 커널 밀도 추정기 (가중치 함수) 를 휴리스틱하게 사용하여 추상 상태 $f'$로부터 전체 상태 $s'$를 샘플링합니다. 이를 통해 에이전트는 완전한 매개변수 생성 모델을 학습하지 않고도 시뮬레이션 환경과 상호작용할 수 있습니다.

2.2 계층적 옵션의 공동 학습

AgentOWL 은 해당 옵션 $\{o_1, \dots, o_n\}$을 학습함으로써 목표 시퀀스 $\{g_1, \dots, g_n\}$을 마스터하도록 반복적으로 훈련됩니다.

• LLM 기반 하위 옵션 가설: 에이전트가 새로운 목표 $g$를 달성해야 하지만 직접적인 옵션이 없는 경우, LLM 에게 새로운 하위 옵션 $o_{h \to g}$를 가설로 세우도록 프롬프트를 보냅니다. LLM 은 기존 옵션 집합 $\Omega$에서 새로운 발판이 될 수 있는 전제 조건 $h$(이전에 학습된 하위 목표) 를 선택합니다. 이 새로운 옵션과 그 가상의 세계 모델이 시스템에 추가됩니다.
• 모델 기반 탐색: 에이전트는 딥 Q-러닝 (DQN) 을 사용하여 추상 세계 모델 내에서 정책 $\pi_{wm}$을 학습합니다. 이 정책은 실제 세계 정책 $\pi_{real}$을 위한 탐색 가이드 역할을 합니다. 결합된 정책은 $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$로 정의됩니다. 탐색률 $\epsilon$은 1 에서 0 으로 감쇠되어, 실제 세계 정책이 안정화됨에 따라 에이전트가 모델 기반 계획에서 완전한 모델 프리 학습으로 전환할 수 있도록 합니다.
• 안정적인 계층적 학습: 하위 옵션 학습으로 인한 비정상성 (이는 상위 옵션이 보는 환경을 변경함) 을 완화하기 위해 시스템은 안정화 메커니즘을 사용합니다. 해당 에피소드에서 실행된 모든 하위 옵션이 "안정적"(즉, 충분한 샘플 $n > n_{threshold}$로 학습되었고 높은 목표 완료율 $\delta > \delta_{threshold}$을 가짐) 일 때만 에피소드 데이터가 학습을 위한 재생 버퍼에 추가됩니다.

3. 주요 기여

1. AgentOWL 프레임워크: 계층적 신경 옵션과 추상적 세계 모델을 공동으로 학습하여 샘플 효율적인 기술 습득을 가능하게 하는 새로운 아키텍처.
2. 기호 프로그램을 갖춘 추상적 세계 모델: PoE-World 와 LLM 생성 기호 프로그램의 통합은 매우 적은 데이터로부터 복잡하고 시간적으로 추상화된 역학을 학습할 수 있게 하여, 저수준 모델의 "한 단계 함정"을 극복합니다.
3. LLM 주도 옵션 발견: 기존 기술을 기반으로 새로운 하위 옵션 (전제 조건) 을 가설로 세우기 위해 LLM 을 사용하는 방법. 이는 하위 목표의 수동 엔지니어링 없이 기술 습득 커리큘럼을 자동화합니다.
4. 안정적인 계층적 DQN: 하위 옵션의 안정성에 기반하여 데이터를 필터링함으로써 심층 옵션 계층의 학습을 안정화시키는 훈련 절차. 이는 계층적 RL 에 내재된 비정상성 문제를 해결합니다.

4. 실험 결과

이 방법은 탐구가 어려운 것으로 알려진 세 가지 객체 중심 아타리 (OCAtari) 게임인 몬테주마의 복수 (Montezuma's Revenge), 핏폴 (Pitfall), **프라이빗 아이 (Private Eye)**에서 평가되었습니다.

• 기술 습득 효율성: AgentOWL 은 Rainbow DQN, 목표 조건부 DQN, 세계 모델이 없는 계층적 DQN 과 같은 베이스라인에 비해 환경 단계가 훨씬 적으면서도 훨씬 더 많은 비율의 옵션을 마스터했습니다. 베이스라인들은 습득된 기술 수가 적은 수준에서 정체되었으나, AgentOWL 은 복잡한 기술을 계속 습득했습니다.
• 어려운 목표에 대한 일반화: 정성적 분석 결과, 베이스라인들은 필요한 긴 행동 시퀀스를 발견하지 못해 어려운 목표 (예: 핏폴에서 특정 방에 도달) 에 대한 옵션을 습득하지 못했습니다. 반면 AgentOWL 은 이러한 시퀀스를 추상적으로 성공적으로 계획하고 계층적으로 실행했습니다.
• 암묵적 학습: 실험은 에이전트가 상위 목표에 대해서만 보상을 받을 때에도 AgentOWL 이 하위 옵션을 암묵적으로 개선함을 보여주었습니다. 목표에 유용한 하위 옵션은 성공률이 증가한 반면, 관련 없는 옵션은 그렇지 않았습니다.
• 제로샷 일반화: 새로운 시작 상태 실험에서 AgentOWL 은 새로운 시작 지점에서 원래 시작 지점으로 이동할 수 있는 단일 새로운 옵션만 제공받으면, 추가 훈련 없이 기존 옵션을 조합하여 이전에 마스터한 목표를 달성할 수 있었습니다. 추상적 세계 모델과 계층적 조합이 없는 베이스라인들은 제로샷 적응에 실패했습니다.

5. 중요성과 주장

본 논문은 옵션 학습과 세계 모델 학습이 깊이 연관되어 있다고 주장합니다. 옵션의 효과를 포착하는 추상적 세계 모델을 학습함으로써 에이전트는 효율적으로 계획할 수 있으며, 이는 다시 새로운 기술의 발견과 정제를 촉진합니다.

저자들은 AgentOWL 이 다음을 입증한다고 강조합니다.

• 샘플 효율성: 모델 프리 베이스라인에 비해 훨씬 적은 데이터로 복잡한 기술 계층을 달성합니다.
• 구성적 일반화: 학습된 기술을 결합하여 새로운 문제를 해결 (제로샷 일반화) 하고, 상위 목표에 필요한 하위 기술을 암묵적으로 학습하는 능력.
• 계획의 확장성: 추상적이고 시간적으로 확장된 모델을 사용하면 저수준 모델로는 처리 불가능한 긴 시간 범위에 걸친 계획이 가능해집니다.

본 논문은 현재 한계 (예: 순차적 목표 시퀀스와 기호 입력의 필요성) 가 존재하지만, 이 접근법이 기술 습득과 세계 모델링의 상호작용을 통해 에이전트가 지식과 역량을 누적적으로 확장할 수 있는 유망한 방향을 제시한다고 결론지었습니다.