기술 요약: 샘플 효율적인 계층적 강화 학습을 위한 점진적 지식을 활용한 뉴로심볼릭 추론

1. 문제 정의

심층 강화 학습(DRL) 에이전트는 희소한 보상(sparse rewards)과 긴 호라이즌(long-horizon) 추론이 특징인 환경에서 어려움을 겪으며, 종종 과도한 샘플 복잡성 문제를 일으킵니다. 계층적 강화 학습(HRL)은 작업을 여러 추상화 수준으로 분해함으로써 이를 완화하지만, 표준적인 접근 방식들은 일반적으로 비점진적 지식(non-incremental knowledge, non-InK) 패러다임에 의존합니다. SoRB 및 RGL과 같은 이러한 방법들에서는 상위 수준의 심볼릭 플래너가 어떠한 목표 지향적 행동을 시작하기 전에도, 완전하고 정적인 추상 세계 모델을 구축하기 위해 철저한 탐색 과정을 거쳐야 합니다. 이는 근본적인 비효율성을 초래합니다. 즉, 에이전트는 특정 목표와 상관없이 환경 전체를 탐색해야만 합니다.

또한, 뉴로심볼릭 HRL에서는 상위 수준의 심볼릭 플래너와 하위 수준의 신경망 컨트롤러 사이에 의미론적 격차(semantic gap)가 존재할 수 있습니다. 상위 플래너는 특정 행동이 실행 가능하다고 가정하지만, 하위 수준의 신경망 정책(종종 독립적으로 학습되거나 다른 환경에서 학습됨)은 동적 제약, 확률성 또는 모델링되지 않은 장애물로 인해 해당 행동을 실행하는 데 실패할 수 있습니다. 기존의 뉴로심볼릭 접근 방식들은 하위 수준의 실행 피드백을 기반으로 상위 수준의 세계 모델을 업데이트하는 메커니즘이 부족합니다. 반대로, 로보틱스에서의 고전적인 점진적 지식(InK) 접근 방식(예: Active SLAM, D*)은 실행 중에 세계 모델을 업데이트하지만, 일반적으로 두 수준 모두에 심볼릭 구성 요소가 있다고 가정하며, 신경망 기반 하위 수준 컨트롤러의 정책 의존적 역학을 다루지는 못합니다.

마지막으로, 구조적 사전 지식(예: "알 수 없는 위치에 정확히 하나의 벽이 있다")이 존재하는 경우, D나 베이지안 적응형 MDP 솔버(BAMCP)와 같은 현재의 계획 알고리즘은 최적이 아닙니다. D는 현재 관측을 바탕으로 재계획을 수행하지만, 평균적인 성능을 최적화하기 위해 가능한 세계들의 집합(belief set)을 고려하지 않습니다. BAMCP는 상태-행동 전이 간의 독립성을 가정하는데, 이는 한 장애물의 위치가 다른 장애물의 가능성을 제한하는 구조적 제약을 포착하는 데 실패합니다.

2. 방법론

저자들은 심볼릭 계획과 신경망 제어를 통합하면서 실행 궤적(execution traces)을 기반으로 세계 모델을 지속적으로 업데이트하는 프레임워크인 **점진적 지식을 활용한 뉴로심볼릭 HRL(InK)**을 제안합니다.

2.1 InK를 적용한 뉴로심볼릭 HRL

이 프레임워크는 두 단계의 계층 구조를 사용합니다:

• 상위 수준 (심볼릭): 환경을 심볼릭 상태와 행동의 집합으로 나타내는 업데이트 가능한 추상 세계 모델($M$)을 유지합니다. 이 모델은 서브골(subgoal)을 생성하기 위해 점진적 플래너(예: D*)를 사용하여 계획을 수행합니다. 결정적으로, 이 모델은 하위 수준 실행으로부터의 피드백을 바탕으로 실시간으로 업데이트됩니다.
• 하위 수준 (신경망): 목표 조건부 신경망 정책($\pi_l$)은 상위 수준에서 제공하는 서브골에 도달하기 위해 연속적인 모션 제어를 실행합니다. 이는 센서 역할을 수행합니다. 즉, 이 정책의 성공과 실패는 상위 수준 모델을 업데이트하는 데 필요한 실행 궤적($\rho$)을 제공합니다.
• 조정(Coordination): 상위 플래너는 하위 수준 에이전트에게 서브골로 이동하도록 지시합니다. 만약 하위 수준 에이전트가 실패하면(예: 예상치 못한 벽에 부딪힘), 모니터가 이를 감지하고 상위 수준 모델은 새로운 제약 조건을 반영하여 업데이트됩니다. 그 후 플래너는 다시 계획을 세웁니다. 이는 사전의 철저한 탐색 없이도 첫 번째 에피소드부터 목표 지향적 행동을 가능하게 합니다.

2.2 믿음 세계 트리 탐색 (Belief World Tree Search, BWTS)

가능한 세계들의 집합($W_0$)에 대한 구조적 사전 지식을 활용하지 못하는 표준 점진적 플래너(D* 등)의 한계를 해결하기 위해, 저자들은 **믿음 세계 트리 탐색(BWTS)**을 도입합니다.

• 문제 정식화: 에이전트는 구조적 사전 지식(예: "벽 하나가 존재하지만 위치는 모름")을 인코딩하는 유한한 가능한 세계들의 집합 $W_0$ 내에서 실제 세계 $W_{true} \in W_0$ 내에서 작동합니다. 목표는 모든 $W_0$ 내의 세계들에 대해 평균 비용을 최소화하는 정책 $\pi$를 찾는 것입니다.
• 트리 구조: BWTS는 두 가지 유형의 노드로 구성된 탐색 트리를 구축합니다:
  • 결정 노드(Decision Nodes): 에이전트의 행동 선택을 나타냅니다.
  • 확률 노드(Chance Nodes): 행동의 결과(예: 벽에 의해 경로가 막혔는지 여부)를 나타내며, 믿음 집합 $W$를 부분 집합($W^-$: 벽이 존재하는 경우, $W^+$: 벽이 존재하지 않는 경우)으로 나눕니다.
• 전략적 롤아웃(Strategic Rollouts): 무작위 롤아웃을 사용하는 표준 몬테카를로 트리 탐색(MCTS)과 달리, BWTS는 전략적 롤아웃을 사용합니다. 현재 믿음 집합 내의 모든 세계에 대해 고정된 결정론적 전략(예: "왼쪽 훑기", "오른쪽 훑기", "목표로 이동")을 평가하여 노드 값을 추정합니다 불확실성을 해소하기 위해 브랜치를 우선적으로 확장합니다.
• 선택 및 확장: 알고와리즘은 탐색과 활용 사이의 균형을 맞추기 위해 UCB 스타일의 공식을 사용합니다. 불확실성을 해소하기 위해 더 많은 탐색이 필요한, 믿음 집합이 큰 브랜치를 우선적으로 확장합니다.
• 수렴: 트리가 완전히 확장된다는 전제하에, BWTS는 반복 횟수가 증가함에 따라 InK 문제에 대한 최적의 정책으로 수렴한다는 것이 이론적으로 증명되었습니다.

3. 주요 기여

1. InK를 적용한 뉴로심볼릭 HRL: 하위 수준 신경망 컨트롤러에 의해 가이드되는 업데이트 가능한 세계 모델을 유지하는 계층적 프레임워크를 제안했습니다. 이 접근 방식은 하위 수준 실행 피드백을 사용하여 상위 수준의 추상화를 정교화함으로써, 사전의 철저한 탐색 없이도 샘플 효율적인 학습을 가능하게 하여 의미론적 격차를 해소합니다.
2. 믿음 세계 트리 탐색 (BWTS): 구조적 의존성을 가진 가능한 세계들의 집합에 대해 평균적인 성능을 최적화하는 계획 알고리즘을 개발했습니다. BWTS는 MCTS를 적응시켜 구조적 사전 지식이 있는 완전히 관측 가능하지만 역학은 미지의 환경을 처리하며, 이는 BAMCP의 독립성 가정과 D*의 믿음 집합 활용 부족을 극복합니다.
3. 경험적 검증: 다양한 내비게이션 작업(고차원 연속 제어인 Ant-Maze 포함)에서 InK HRL이 비InK(non-InK) 베이스라인보다 높은 샘플 효율성을 보임을 입증했습니다.

4. 실험 결과

저자들은 Point-Maze 환경(Four Rooms, Medium Maze, Hard Maze)과 고차원 Ant-Maze U-Room을 사용하여 내비게이션 작업을 평가했습니다.

• InK vs. Non-InK (RGL):

  • 샘플 효율성: InK는 RGL보다 목표에 도달하기 위해 30배에서 100배 적은 샘플을 필요로 했습니다. 예를 들어, Hard Maze에서 InK는 약 209단계만에 목표에 도달한 반면, RGL은 약 17,456단계가 걸렸습니다.
  • 학습 효율성: RGL이 광범위한 학습 단계(100k+ 샘플)를 완료한 후에도, InK는 단 75개의 목표를 달 통한 지식 베이스 구축 이후에도 더 효율적이었습니다. InK는 18% 적은 샘서와 20배 적은 시간당 목표 달성 시간을 기록했습니다.
  • 고차원 제어: 29차원의 Ant-Maze에서 InK는 D*를 사용할 때 약 1,500단계, BWTS를 사용할 때 약 1,134단계 만에 목표에 도달한 반면, 비InK 베이스라인은 전체 추상 모델을 구축하는 데 약 10,000단계가 필요했습니다.

• 심볼릭 플래너 비교 (D vs. BWTS vs. BAMCP):*

  • BWTS vs. D:* 구조적 사전 지식(예: 단일 수평 벽)이 있는 합성 그리드 월드에서, BWTS는 백트래킹을 피하기 위해 믿음 집합을 활용함으로써 D*보다 낮은 기대 비용(예: 수평 벽 시나리오에서 15.7% 개선)을 달성했습니다. 그러나 명확한 구조적 이점이 없는 복잡한 시나리오에서는 BWTS의 실행 시간 오버헤드가 미미한 이득에 비해 컸습니다.
  • BWTS vs. BAMCP: BAMCP는 확률적 롤아웃에 의존하고 구조적 의존성(예: "A에 벽이 있다면 B에는 없다")을 모델링하지 못해 성능이 저조했습니다(D*의 약 24단계 대비 28단계 이상 소요). BWTS의 전략적 롤아웃과 명시적인 구조적 제약 모델링은 우수한 성능을 냈습니다.
  • 사전 지식: 사전 지식(예: 알려진 세 가지 마제 유형의 집합)이 있을 때, InK-BWTS는 InK-D*에 비해 샘플 수를 절반으로 줄였으나, 계획 단계에서의 계산 실행 시간은 더 높았습니다.

5. 의의 및 주장

본 논문은 InK를 적용한 뉴로심볼릭 HRL이 복잡하고 보상이 희소한 환경에서 샘플 효율적인 학습을 제공하는 실용적인 접근 방식임을 주장합니다. 심볼릭 플래너의 구조적 추론과 신경망 컨트롤러의 적응성을 결적으로 결합함으로써, 이 프레임워크는 에이전트가 부분적인 지식만으로 행동하고 새로운 정보가 획득됨에 따라 결정을 정교화할 수 있게 하며, 이는 인간의 추론 방식을 모방합니다.

저자들은 다음을 강조합니다:

• 샘플 효율성: 이 접근 방식은 Point Maze 환경에서 최첨단 비InK 방법론에 비해 100,000단계 이상의 환경 스텝 이득을 제공합니다.
• 불확실성 하의 최적성: BWTS는 믿음 세계에 대한 평균적 최적 계획을 제공하여, (사전 지식을 무시하는) 점진적 재계획기와 (독립성을 가정하는) 베이지안 플래너 사이의 간극을 메웁니다.
• 범용성: 이 프레임워크는 목표 조건부 하위 수준 정책이 사전 학습되거나 학습될 수 있다면 저차원 및 고차원 연속 제어 문제 모두에 적용 가능합니다.

결론적으로, BWTS가 계산 오버헤드를 발생시키기는 하지만, 구조적 사전 지식을 활용할 수 있을 때 그 트레이드오프는 정당화됩니다. 또한 InK 프레임워크 자체는 이러한 사전 지식이 없더라도 전통적인 HRL에 비해 상당한 효율성 이득을 제공합니다. 향후 연구로는 InK를 조작(manipulation) 작업으로 확장하고, 구조적 및 확률적 사전 지식을 단일 알고리즘으로 통합하는 것이 제안되었습니다.