Probabilistic Recurrent Intention Switching Model

기술 요약: 확률적 순환 의도 전환 모델 (PRISM)

문제 제기
표준 역강화학습 (IRL) 은 단일 고정된 보상 함수가 에이전트의 행동을 주도한다고 가정합니다. 그러나 실제 세계의 에이전트 (예: 미로 탐색을 하는 생쥐) 와 인공 에이전트 (예: 원격 조종 로봇) 모두 단일 에피소드 내에서 서로 다른 목표나 전략을 빈번하게 전환합니다. 기존 다중 의도 IRL 접근법은 이러한 전환을 효과적으로 모델링하는 데 어려움을 겪습니다:

• 동적 IRL (DIRL) 은 매끄럽고 연속적인 보상 변화를 가정하여, 이산적 전략 전환에 대한 증거와 모순되며, 계산적으로 비용이 큰 추론 ($T$ 번의 벨만 해결) 을 요구합니다.
• 계층적 역 Q-러닝 (HIQL) 은 의도 전환을 마르코프 체인으로 모델링하여, 피로나 포만감 같은 요인으로 인한 역사 의존적 전환을 포착하지 못합니다. 또한, Baum–Welch 알고리즘으로 인해 추론이 $O(nK^2)$으로 확장되어 성능이 저하됩니다.
• SWIRL 은 상태 확장을 통해 역사를 통합하지만, 이로 인해 상태 공간이 지수적으로 폭발 ($|S|^L$) 하여 실용적인 역사 길이를 제한합니다.

결과적으로, 기존 방법 중 해석 가능한 이산적 의도를 복원하면서 대규모 비마르코프 환경에 자연스럽게 확장되는 방법은 없습니다.

방법론: PRISM
저자들은 고정된 전환 모델과 수동 상태 확장을 경량 순환 신경망 (RNN) 으로 대체하는 확률적 순환 의도 전환 모델 (PRISM) 을 제안합니다.

1. 모델 아키텍처:

   • 잠재 의도 MDP (HI-MDP): 환경을 잠재 의도 공간 $Z = \{1, \dots, K\}$을 가진 MDP 로 모델링합니다.
   • 순환 게이팅: 매 시간 단계에서 관측 역사 $\phi_{1:t}$를 의도에 대한 소프트 확률 분포로 매핑하는 매개변수 함수 $f_\theta$(RNN, LSTM 또는 Transformer) 를 사용합니다. 이를 통해 명시적 상태 확장 없이 복잡하고 역사 의존적인 전환 메커니즘을 포착할 수 있습니다.
   • 의도별 보상: 각 의도 $k$는 특정 보상 함수 $r_k$와 연관됩니다. 의도 $k$ 하의 전문가 정책은 $r_k$에서 유도된 볼츠만 최적 정책으로 가정됩니다.

2. 추론 및 최적화:

   • EM 분해: 저자들은 PRISM 에 대한 기대값 - 최대화 (EM) 목적 함수가 변분 근사가 필요 없이 독립적인 하위 문제로 정확히 분해됨을 증명합니다.
     • E-Step: 각 시간 단계에 대한 사후 책임 $P(z_t=k | \xi, \psi, \Theta)$를 계산합니다. 사후 확률의 분해로 인해 이 단계는 궤적당 $O(nK)$으로 선형적으로 확장되어, 마르코프 체인 기반 방법의$O(nK^2)$ 비용보다 크게 개선됩니다.
     • M-Step:
       • 보상 업데이트: 각 보상 함수 $r_k$는 폐쇄형으로 가중치 역행동 - 가치 반복 (IAVI) 문제를 해결하여 독립적으로 업데이트됩니다.
       • 네트워크 업데이트: 게이팅 네트워크 매개변수 $\theta$는 할당된 의도의 가능성을 최대화하도록 경사 하강법을 통해 업데이트되며, 희소한 전환을 장려하는 $\ell_1$ 및 부드러운 전환을 장려하는 KL-발산으로 정규화됩니다.

3. 학습 목적:
   손실 함수는 의도 할당의 음의 로그 가능도와 시간적 부드러움 패널티를 결합하여, 필요할 때 전환할 수 있는 능력을 유지하면서 불규칙한 전환을 방지합니다.

주요 기여

1. PRISM 프레임워크: 순환 네트워크를 사용하여 의도 역학을 모델링하는 새로운 다중 의도 IRL 방법으로, 수동 상태 확장 없이 역사 의존적 전환의 엔드 - 투 - 엔드 학습을 가능하게 합니다.
2. 이론적 보장: EM 목적 함수가 독립적인 의도별 보상 하위 문제로 정확히 분해되며, IAVI 를 통해 폐쇄형으로 해결 가능함을 증명합니다.
3. 계산 효율성: 사후 확률 분해를 통해 달성된 $O(nK)$ E-Step 은 마르코프 기반 접근법에서 사용되는 순방향 - 역방향 알고리즘의 2 차 복잡도를 피합니다.
4. 최초 대규모 로봇 적용: BridgeData V2 로봇 조작 데이터셋에 다중 의도 IRL 을 적용하여, 신경과학을 넘어선 방법의 일반화 능력을 입증했습니다.
5. 해석 가능성: 세 가지 서로 다른 도메인의 레이블 없는 시연에서 이름 붙일 수 있고 시간적으로 일관된 의도 및 보상 지도를 복원했습니다.

실험 결과
PRISM 은 복잡도가 증가하는 세 가지 데이터셋에서 평가되었습니다:

1. 짜증 그리드월드 (비마르코프 검증):

   • 설정: 에이전트가 숨겨진 "짜증 카운터"(엄격한 비마르코프 상태) 에 기반하여 전략을 전환하는 통제된 환경.
   • 결과: PRISM 은 HIQL, IAVI, MaxEnt IRL 대비 가장 높은 테스트 로그 가능도와 가장 낮은 기대 가치 차이를 달성했습니다. 특히, PRISM 은 누적되는 짜증을 성공적으로 추적하고 의도를 날카롭게 전환한 반면, 기억이 없는 HIQL 은 전환의 누적 특성을 포착하지 못했습니다.

2. 생쥐 미로 (생물학적 데이터):

   • 설정: 물이 제한된 생쥐가 127 노드 미로를 탐색하는 실제 세계 데이터.
   • 결과: PRISM 은 테스트 로그 가능도에서 SWIRL 및 기타 베이스라인을 능가했습니다. 물 탐색, 귀가, 탐색이라는 세 가지 뚜렷하고 해석 가능한 의도를 복원했습니다. 복원된 보상 지도와 분할 경계는 알려진 생물학적 동기와 행동 사건 (예: 물 포트 방문) 과 일치했습니다.

3. BridgeData V2 (로봇 조작):

   • 설정: 고차원 시각 관측을 가진 인간 원격 조종 로봇 조작 작업의 대규모 데이터셋.
   • 결과: 어떤 감독이나 의도에 대한 사전 지식 없이도, PRISM 은 접근/이탈, 파지, 운반, 유휴라는 네 가지 시간적으로 일관된 조작 단계를 발견했습니다. 이 방법은 베이스라인보다 높은 홀드 - 아웃 로그 가능도를 달성하여, 이산적 의도 전환이 생물학적 및 인공 에이전트 모두에서 목표 지향적 행동의 일반적인 특성임을 입증했습니다.

의의 및 주장
이 논문은 PRISM 이 순차적 행동에서 잠재적 목표를 복원하기 위한 확장 가능하고 이론적으로 근거 있는 솔루션을 제공한다고 주장합니다. EM 목적 함수가 정확히 분해됨을 증명함으로써, 저자들은 복잡한 역사 의존적 전환을 폐쇄형 보상 복원의 계산적 실용성을 희생하지 않고 모델링할 수 있음을 보여줍니다.

그 의의는 다음을 입증하는 데 있습니다:

• 이산적 목표 전환은 생물학적 및 인공 에이전트 모두에서 광범위하게 존재합니다.
• 역사 의존적 전환 (비마르코프 역학) 은 수동 특징 공학이나 상태 확장 없이 엔드 - 투 - 엔드로 학습될 수 있습니다.
• 복원된 보상 지도는 복잡한 시연 뒤에 숨겨진 잠재적 목표를 이해하기 위한 구조화되고 해석 가능한 렌즈를 제공하며, 단순한 정책 모방을 넘어 에이전트가 특정 순간에 행동하는 이유를 이해하는 단계로 나아갑니다.

저자들은 현재 이산 MDP 에 의존한다는 점 (시각 데이터의 경우 이산화 필요) 과 오프라인 작동이라는 한계를 인정합니다. 향후 연구는 모델 프리 확장 (IAVI 를 모델 프리 역 Q-러닝으로 대체) 과 실시간 의도 모니터링을 위한 온라인 확장을 탐구할 수 있다고 제안합니다.