기술 요약: 심볼릭 세계 모델을 통한 이레벨 정책 학습으로 장거리 계획 수행

문제 정의

본 논문은 다양한 개체 수를 가진 연속 상태 및 행동 공간에서 장거리 계획 문제를 신뢰성 있게 해결할 수 있는 구체화된 AI 에이전트 구축이라는 과제를 다룹니다. 시연에서의 모방 학습은 저수준 (LL) 운동 제어 및 조작에 효과적이임이 입증되었으나, 효율적인 장거리 계획을 생성하는 데는 어려움을 겪습니다. 반면, 고수준 (HL) 심볼릭 계획기는 장거리 추론에 효과적이지만, 다양한 감각 모달리티, 부분 관측성, 복잡한 저수준 역동성을 가진 환경으로 일반화하는 데는 종종 실패합니다.

저자들은 문제를 목표 조건부 정책 $\pi(all | s_{ll}, g_{hl})$을 학습하는 것으로 공식화하여, 고수준 목표 ($g_{hl}$) 를 달성하기 위해 저수준 행동 ($a_{ll}$) 을 선택하도록 합니다. 학습 입력은 다음과 같습니다:

1. LL 시연: HL 목표와 짝을 이룬 상태 및 행동의 궤적.
2. 추상화 언어 ($D$): 술어와 행동 스키마를 정의하는 도메인 이론.
3. 레이블링 함수 ($L$): LL 관측치를 HL 심볼릭 상태로 매핑하는 함수.

목표는 임의의 개체 수와 오픈 월드 조건을 처리하며, 제로샷 (zero-shot) 방식으로 보이지 않는 상태와 목표에 일반화되는 정책을 학습하는 것입니다.

방법론

저자들은 신경 모방 학습과 심볼릭 추상화 및 귀납적 일반화를 결합하여 이레벨 정책 $(\pi_{hl}, \pi_{ll})$을 학습하는 시스템 BISON을 제안합니다.

1. 이레벨 정책 아키텍처

시스템은 문제를 두 가지 명확한 정책으로 분해합니다:

• 고수준 (HL) 정책 ($\pi_{hl}$): 추상 상태 ($s_{hl}$) 와 목표 ($g_{hl}$) 를 기반으로 작동하여 HL 행동 ($a_{hl}$) 을 제안하는 심볼릭 정책.
• 저수준 (LL) 정책 ($\pi_{ll}$): 현재 LL 상태 ($s_{ll}$), 제안된 HL 행동 ($a_{hl}$), 그리고 목표 ($g_{hl}$) 를 입력받아 연속적인 LL 행동 ($a_{ll}$) 을 출력하는 신경 정책 (그래프 신경망).

정책은 다음과 같이 구성됩니다: $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$.

2. 고수준 정책 ($\pi_{hl}$) 학습

HL 정책은 LL 시연을 통해 3 단계 과정 (그림 2 에 도시됨) 으로 학습됩니다:

1. HL 궤적 구성: 레이블링 함수 $L$을 LL 시연에 적용하여 추상적인 HL 궤적 (HL 상태 및 행동의 시퀀스) 을 추출합니다.
2. 목표 회귀: 저자들은 이러한 궤적에 목표 회귀 (전상사상 재작성 기법) 를 적용합니다. 이는 행동이 목표를 달성하는 최소 조건을 계산합니다. 궤적을 통해 목표를 뒤로 회귀시킴으로써 시스템은 구체적인 조건 - 행동 규칙을 추출합니다.
3. 귀납적 일반화: 구체적인 규칙은 특정 개체를 변수로 대체함으로써 1 차 논리로 승격됩니다. 이는 목표 근접성에 기반한 우선순위 값을 가진 조건 $\mapsto$ 행동 규칙의 컴팩트한 집합을 생성합니다. 이러한 규칙은 해석 가능하며 임의의 개체 수에 일반화될 수 있습니다.

결과적으로 생성된 HL 정책은 1 차 규칙의 집합입니다. 실행은 현재 상태와 달성되지 않은 목표 조건을 만족하는 가장 낮은 우선순위 값 (가장 높은 우선순위) 을 가진 적용 가능한 규칙을 찾는 것을 포함합니다.

3. 저수준 정책 ($\pi_{ll}$) 학습

LL 정책은 33,000 개 미만의 매개변수를 가진 **그래프 신경망 (GNN)**으로 구현됩니다.

• 입력 인코딩: GNN 은 LL 상태 (에이전트 상태 및 개체 상태), HL 행동 스키마, 그리고 HL 목표 사실을 인코딩합니다.
• 아키텍처: 개체 노드, 행동 노드, 그리고 전역 노드 간의 메시지 전달을 활용하여 정보를 집계합니다.
• 학습: GNN 은 시연에서 파생된 $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ 튜플 데이터셋에서 모방 학습 (행동 복제) 을 통해 훈련되며, 예측된 행동과 실제 행동 간의 평균 제곱 오차 (MSE) 를 최소화합니다.

4. 이론적 보장

본 논문은 HL 문제의 모든 해가 LL 문제의 해로 정제될 수 있음을 보장하는 **비결정적 하향 정제 속성 (NDRP)**을 확립합니다. 또한, 정리 1은 C-유계 목표 독립성 (목표 구성 요소가 유계 정책 크기로 임의의 순서로 독립적으로 달성될 수 있는 조건) 하에서 학습된 HL 정책이 임의의 개체 수와 계획 기간을 가진 문제에 일반화됨을 증명합니다.

주요 기여

1. BISON 시스템: 도메인 이론과 레이블링 함수를 활용하여 HL 목표와 짝을 이룬 LL 시연으로부터 이레벨 정책 $(\pi_{hl}, \pi_{ll})$을 학습하는 접근법.
2. 심볼릭 HL 학습: 목표 회귀와 귀납적 일반화를 적용하여 컴팩트하고 표현력 있는 HL 정책을 학습. 이러한 정책은 1 차 조건 - 행동 규칙으로 표현되어 오픈 월드 및 부분 관측 환경에서 작동하고 임의의 개체 수에 일반화될 수 있게 함.
3. 효율적인 LL 학습: HL 행동에 조건부인 컴팩트한 GNN(33k 미만 매개변수) 을 통한 LL 정책 구현.
4. 실증적 검증: 비전 - 언어 - 행동 (VLA) 모델, 엔드 - 투 - 엔드 방법, 심볼릭 계획 베이스라인과 비교하여 확장된 MetaWorld 벤치마크에서 수행된 광범위한 실험 (21,600 에피소드) 을 통해 뛰어난 효율성, 일반화 능력, 장거리 계획 능력을 입증.

실험 결과

저자들은 외부적, 내부적, 상태 불확실성 등 다양한 불확실성을 가진 8 개 환경에서 BISON 을 8 개의 베이스라인 (SmolVLA, PureNN, PddlNN 및 다양한 재계획 전략 포함) 과 비교 평가했습니다.

• 일반화: BISON 은 훈련에서 본 것보다 더 많은 개체 (최대 10 개) 와 더 긴 계획 기간을 가진 환경에 성공적으로 일반화되었으며, 6 개 개체 이상에서 성능이 크게 저하된 엔드 - 투 - 엔드 GNN 베이스라인을 능가했습니다.
• 견고성: BISON 은 대부분의 환경에서 가장 높은 평균 성공률을 달성했으며, 특히 재계획 베이스라인이 어려움을 겪거나 실패한 복잡한 시나리오에서 두드러졌습니다.
• 효율성: BISON 은 엔드 - 투 - 엔드 및 재계획 방법과 비교하여 훈련 및 추론 모두에서 시간 및 메모리 효율성이 우수함을 입증했습니다.
• 확장성: LL 실행을 무시할 때, BISON 의 심볼릭 HL 정책은 1 분 미만으로 10,000 개의 개체를 가진 계획 문제를 해결했으며, 수백 개의 개체에서도 어려움을 겪었던 최첨단 PDDL 계획기 LAMA 를 크게 능가했습니다.
• VLA 성능: 사전 훈련된 VLA 모델 (SmolVLA) 은 벤치마크에서 어떤 작업도 해결하지 못했으며, 이는 특정 아키텍처 적응 없이 장거리 및 다중 개체 조작에 직접 적용하는 것의 어려움을 강조합니다.

중요성 및 주장

본 논문은 BISON 이 신경 모방 학습과 심볼릭 추론 간의 간극을 효과적으로 연결함으로써 장거리 계획이라는 오랜 과제를 해결하는 새로운 솔루션을 제공한다고 주장합니다.

• 검색 없는 계획: 심볼릭 추상화 위에 HL 계획을 검색한 후 이를 정제하는 전통적인 이레벨 계획 시스템과 달리, BISON 은 시연에서 직접 HL 정책을 귀납적으로 일반화하여 실행 중 검색이 필요하지 않습니다.
• 오픈 월드 능력: 정책을 1 차 조건 - 행동 규칙으로 인코딩함으로써 오픈 월드 환경에서의 계획을 용이하게 하고 부분 관측성을 처리하여 순수 심볼릭 계획기의 한계를 해결합니다.
• 효율성 및 확장성: 이 접근법은 컴퓨팅적으로 효율적이고 막대한 수의 개체로 확장 가능한 컴팩트한 정책을 생성하며, 이는 순수 신경 및 순수 심볼릭 접근법 모두에서 종종 결여된 능력입니다.

저자들은 한계를 인정하며, 이 접근법이 HL 추상화 (학습된 것이든 주어진 것이든) 의 품질에 대한 의존성을 계승하며 LL 정책에 대한 최적성을 보장하지는 않는다고 지적합니다. 그러나 그들은 이 방법이 다양한 개체 수를 가진 복잡하고 장거리 과제를 해결하기 위한 구체화된 에이전트를 위한 견고한 프레임워크를 제공한다고 주장합니다.