Latent Perspective-Taking via a Schrödinger Bridge in Influence-Augmented Local Models

기술 요약: 영향력 증강 국소 모델 내 슈뢰딩거 브리지를 통한 잠재적 관점 수용

문제 정의
인간과 함께 환경에서 작동하는 로봇은 외생적 역학뿐만 아니라 타인의 숨겨진 정신 모델과 정신 상태에 대해서도 추론해야 하며, 이는 불확실성 하에서의 의사결정을 필요로 한다. I-POMDP(Interactive POMDPs) 및 BToM(Bayesian Theory of Mind)과 같은 프레임워크가 원칙적인 접근 방식을 제공하지만, 이들은 심각한 한계에 직면해 있다: 정밀한 중첩 믿음(nested-belief) 추론은 계산적으로 매우 복잡하며(level-0에서 PSPACE, 최악의 경우 EXPSPACE), 수작업으로 지정된 기호 모델은 확률적 역학이 존재하는 개방형 환경에서 취약하다. 반대로, 표준적인 확률적 순차 의사결정은 불확실성을 다루지만 일반적으로 규정된 모델에 의존하며 여전히 "중첩 믿음 폭발(nested-belief explosion)" 문제를 겪는다. 핵심 과제는 기호적 지식 표현과 확률적 의사결정을 통합하여 구조화된 정신 모델과 타인의 정신 상태에 대한 실행 가능한 추정기를 학습하는 것이다.

방법론
저자들은 **영향력 증강 국소 모델(Influence-Augmented Local Models, IALMs)**을 사용하여 사회적 인지 로봇 작업을 분해하고, **아모티제이션된 슈뢰딩거 브리지(amortized Schrödinger Bridge, SB)**를 통해 관점 수용을 수행하는 데이터 기반 아키텍처를 제안한다.

1. 영향력 증강 국소 모델 (IALM):
   저자들은 영향력 기반 추상화(Influence-Based Abstraction, IBA) 프레임워크를 바탕으로, 전역 상태를 국소 역학, 사회적 영향력, 외생적 요인으로 분해하는 IALM을 구현한다. 이 모델은 행동-국소-상태 이력으로부터 최소 $d$-분리 집합($D_t$)을 정의하며, 이는 영향력 분포를 예측하기 위한 충분 통계량 역할을 한다. 이를 통해 에이전트는 전체 전역 공간에 대해 추론하지 않고도 고정된 외부 정책에 대한 정확한 최적 대응(best response)을 계산할 수 있다.

2. 뉴로-심볼릭 월드 모델 (Neuro-Symbolic World Model):
   IALM은 Gumbel-Softmax를 사용하는 이산 변이형 오토인코더(dVAEs)의 계층 구조로 구성된 뉴로-심볼릭 월드 모델로 구현된다. 이 아키텍처는 분해된 이산 동적 베이지안 네트워크(2DBN)를 엔드투엔드로 학습한다.

• 인코딩: 가공되지 않은 관측값은 이산적 요인들의 잠재 공간으로 인코딩된다.
• 전이: 국소적이고 영향력에 무관한 전이 모델($\dot{T}$)은 현재의 분해된 상태와 행동을 다음 잠재 상태로 매핑한다. 이는 $\alpha$-entmax 교차 주의 집중(cross-attention)을 활용하여 데이터 기반의 희소성(exact-zero)을 유도함으로써 잠재적 부모-자식 구조를 명시적으로 모델링한다.

3. 관점 전환 연산자 (슈뢰딩거 브리지):
   타인의 믿음을 추정하기 위해 저자들은 아모티제이션된 슈뢰딩거 브리지로 모델링된 관점 전환 연산자 $\Phi_{SB}$를 도입한다. 이 연산자는 분해된 자기 중심적 믿음($b_0$)을 학습된 국소 역학 위에서 타인 중심적 믿음($\hat{b}_i$)으로 운송한다.

• 메커니즘: SB는 동적 엔트로피 최적 운송 문제로 정식화된다. 이는 참조 역학($\dot{T}$)에 대한 경로 KL 발산을 최소화하면서 특정 시작 및 종료 주변 분포(믿음)를 만족하는 새로운 전이 법칙($\bar{T}$)을 찾는다.
• 구현: 브리지는 이력에서 유도된 컨텍스트($c_t$)에 의해 조종되는 순방향($\phi$) 및 역방향($\psi$) 포텐셜에 의해 Doob $h$-변환을 통해 실현된다. 이러한 포텐셜은 "인식론적 반사실(epistemic counterfactuals, 샘플링된 타인 중심적 믿음)"을 사용하여 오프라인에서 학습된다.
• 추론: 결정 시점에 에이전트는 학습된 아모티제이션된 포텐셜을 사용하여 참조 역학 $\dot{T}$를 "기울임(tilt)"으로써 타인의 정신 상태 역학을 시뮬레이션하고, 결과적으로 정신 상태 공간에서의 모델 예측 제어(MPC)를 효과적으로 수행한다.

주요 기여
본 논문은 세 가지 주요 기여를 기술한다:

1. 사회적 과업을 위한 국소 역학을 사회적 영향력으로부터 분리하는 실용적인 영향력 증강 분해.
2. 데이터로부터 구조화된 정신 모델을 학습하는 분해된 이산 뉴로-심볼릭 월드 모델.
3. 결정 시점에 중첩된 추론을 요구하지 않고 모델 기반 믿음 공간 계획을 가능하게 하는 아모티제이션된 슈뢰딩거 브리지를 통한 관점 수용 메커니즘.

예비 결과
이 접근 방식은 에이전트가 사회적 규범을 준수하면서 목표를 향해 고정 정책 에이전트를 따라가야 하는 "사람 추적(person-following)" 과업이 포함된 다중 에이전트, 부분 관측 가능 Minigrid 환경에서 평가되었다.

• 베이스라인: 방법론은 (i) 완벽 정보 베이스라인(진정한 현재 믿음), (ii) 정보 없음 베이스라인(균등 분포), (iii) 참조 베이스라인(국소 역학의 다단계 롤아웃)과 비교되었다.
• 결과: SB 기반의 관점 수용 방식은 정보 없음 및 참조 롤아웃을 포함한 모든 베이스라인보다 더 빠르게 학습되었으며 더 높은 에피소드 수익을 달了. 결과는 결정 시점의 컨텍스트 인식 정신 상태 계획이 컨텍스트가 없는 추정보다 우수한 성능을 낸다는 것을 시사한다.

의의 및 주장
저자들은 이 아키텍처가 기호적 표현과 확률적 의사결정 사이의 간극을 메운다고 주장한다. 관점 수용을 학습된 국소 역학 위의 슈뢰딩거 브리지를 통한 믿음 운송으로 정의함으로써, 시스템은 국소 역학과 호환되면서도 타인 에이전트의 정신 상태에 대한 "만약에(what-if)" 시나리오를 고려하는 타인 중심적 믿음을 생성한다. 본 논문은 이를 전통적인 I-POMDP의 다루기 힘든 중첩 믿음 추론에 대한 실행 가능한 대안으로서, 지식 표현과 순차적 의사결정을 통합하는 단계로 제시한다. 본 연구는 예비적인 단계로 제시되었으며, 타인 에이전트의 지각 및 행동 모델의 이질성을 다루는 것을 향후 연구 방향으로 식별하였다.