Latent Perspective-Taking via a Schrödinger Bridge in Influence-Augmented Local Models

Resumen Técnico: Toma de Perspectiva Latente mediante un Puente de Schrödinger en Modelos Locales Aumentados por Influencia

Declaración del Problema
Operar en entornos junto a humanos requiere que los robots tomen decisiones bajo incertidumbre, lo que exige razonar no solo sobre la dinámica exógena, sino también sobre los modelos mentales y estados mentales ocultos de otros. Si bien marcos como los POMDPs Interactivos (I-POMDPs) y la Teoría de la Mente Bayesiana (BToM) proporcionan enfoques fundamentados, enfrentan limitaciones significativas: la inferencia de creencias anidadas exactas es computacionalmente intratable (PSPACE en el nivel-0, EXPSPACE en los peores escenarios), y los modelos simbólicos especificados a mano son frágiles en entornos de mundo abierto con dinámicas estocásticas. Por el contrario, la toma de decisiones secuenciales probabilísticas estándar maneja la incertidumbre, pero típicamente depende de modelos prescritos y sigue sufriendo de la "explosión de creencias anidadas". El desafío central es unificar la representación del conocimiento simbólico con la toma de decisiones probabilística para aprender modelos mentales estructurados y un estimador tratable para los estados mentales de otros.

Metodología
Los autores proponen una arquitectura basada en datos que descompone tareas de robótica socialmente conscientes utilizando Modelos Locales Aumentados por Influencia (IALM) y realiza la toma de perspectiva a través de un Puente de Schrödinger (SB) amortizado.

1. Modelo Local Aumentado por Influencia (IALM):
   Basándose en el marco de Abstracción Basada en la Influencia (IBA), los autores instancian un IALM para factorizar el estado global en dinámica local, influencias sociales y factores exógenos. El modelo define un conjunto de separación-$d$ mínimo ($D_t$) a partir de la historia de acciones y estados locales, el cual sirve como un estadístico suficiente para predecir la distribución de influencia. Esto permite al agente computar una mejor respuesta exacta para políticas externas fijas sin razonar sobre todo el espacio global.

2. Modelo de Mundo Neuro-Simbólico:
   El IALM se implementa como un modelo de mundo neuro-simbólico compuesto por una jerarquía de autoencodificadores variacionales discretos (dVAEs) con Gumbel-Softmax. Esta arquitectura aprende una Red Bayesiana Dinámica (2DBN) factorizada y discreta de extremo a extremo.

   • Codificación: Las observaciones crudas se codifican en un espacio latente de factores discretos.
   • Transición: Un modelo de transición local e ingenuo respecto a la influencia ($\dot{T}$) mapea los estados factorizados actuales y las acciones hacia el siguiente estado latente. Utiliza atención $\alpha$-entmax para inducir una dispersión (sparsity) exacta basada en datos, modelando explícitamente las estructuras de padre-hijo latentes.

3. Operador de Cambio de Perspectiva (Puente de Schrödinger):
   Para estimar las creencias de otros, los autores introducen un operador de cambio de perspectiva, $\Phi_{SB}$, modelado como un Puente de Schrödinger amortizado. Este operador transporta las creencias egocéntricas factorizadas ($b_0$) hacia creencias centradas en el otro ($\hat{b}_i$) sobre la dinámica local aprendida.

   • Mecanismo: El SB se formula como un problema de transporte óptimo entrópico dinámico. Busca una nueva ley de transición ($\bar{T}$) que minimice la divergencia KL de trayectoria respecto a las dinámicas de referencia ($\dot{T}$) mientras satisface las marginales de inicio y fin específicas (creencias).
   • Implementación: El puente se realiza mediante la transformación $h$ de Doob, dirigida por potenciales de avance ($\phi$) y retroceso ($\psi$). Estos potenciales están parametrizados por el contexto ($c_t$) derivado de la historia, y se entrenan fuera de línea (offline) utilizando "contrafácticos epistémicos" (creencias centradas en el otro muestreadas).
   • Inferencia: En el momento de la decisión, el agente "inclina" las dinámicas de referencia $\dot{T}$ utilizando los potenciales amortizados aprendidos para simular la dinámica de los estados mentales de otros, realizando efectivamente un control predictivo basado en modelo en el espacio de estados mentales.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Una descomposición aumentada por influencia práctica para tareas sociales que separa la dinámica local de las influencias sociales.
2. Un modelo de mundo neuro-simbólico, factorizado y discreto que aprende modelos mentales estructurados a partir de datos.
3. Un mecanismo de toma de perspectiva mediante un Puente de Schrödinger amortizado, que permite la planificación de creencias basada en modelos en el espacio de decisiones en tiempo de ejecución sin requerir inferencia anidada exacta.

Resultados Preliminares
El enfoque fue evaluado en un entorno Minigrid multi-agente y parcialmente observable involucrando una tarea de "seguimiento de persona", donde un agente debe seguir a un agente de política fija hacia un objetivo mientras cumple con normas sociales.

• Líneas de base (Baselines): El método se comparó contra (i) una línea de base de Información Perfecta (creencia actual real), (ii) una línea de base de Sin Información (distribución uniforme) y (iii) una línea de base de Referencia (rollout de múltiples pasos de la dinámica local).
• Hallazgos: El enfoque de toma de perspectiva basado en SB aprendió más rápido y logró retornos episódicos más altos que todas las líneas de base, incluyendo los rollouts de No-Información y de Referencia. Los resultados sugieren que la planificación de estados mentales consciente del contexto en el tiempo de decisión produce un rendimiento superior a las estimaciones independientes del contexto.

Significancia y Reivindicaciones
Los autores afirman que esta arquitectura cierra la brecha entre la representación simbólica y la toma de decisiones probabilística. Al plantear la toma de perspectiva como un transporte de creencias mediante un Puente de Schrödinger sobre las dinámicas locales aprendidas, el sistema produce creencias centradas en el otro que son compatibles con la dinámica local pero que dan cuenta de los escenarios de "qué pasaría si" de los estados mentales de otros agentes. El artículo posiciona esto como un paso hacia la unificación de la representación del conocimiento y la toma de decisiones secuenciales, ofreciendo una alternativa tratable a la intratable inferencia de creencias anidadas de los I-POMDPs tradicionales. El trabajo se presenta como preliminar, identificando direcciones futuras para abordar la heterogeneidad en la percepción y los modelos de acción de otros agentes.