Probabilistic Recurrent Intention Switching Model

Resumen Técnico: Modelo Probabilístico de Conmutación de Intenciones Recurrente (PRISM)

Enunciado del Problema
El Aprendizaje por Refuerzo Inverso (IRL) estándar asume que una única función de recompensa estacionaria impulsa el comportamiento de un agente. Sin embargo, los agentes del mundo real, tanto biológicos (por ejemplo, ratones navegando laberintos) como artificiales (por ejemplo, robots teleoperados), conmutan frecuentemente entre objetivos o estrategias distintos dentro de un solo episodio. Los enfoques existentes de IRL de múltiples intenciones luchan por modelar estas conmutaciones de manera efectiva:

• DIRL (IRL Dinámico) asume una variación suave y continua de la recompensa, lo que entra en conflicto con la evidencia de conmutación de estrategias discretas y requiere inferencia computacionalmente costosa ($T$ resoluciones de Bellman).
• HIQL (Aprendizaje Inverso Jerárquico de Q) modela las transiciones de intención como una cadena de Markov sin memoria, fallando en capturar conmutaciones dependientes de la historia impulsadas por factores como la fatiga o la saciedad. Su inferencia escala pobremente ($O(nK^2)$) debido al algoritmo de Baum–Welch.
• SWIRL incorpora la historia mediante la augmentación de estados, pero esto provoca que el espacio de estados explote exponencialmente ($|S|^L$), limitando las longitudes de historia prácticas.

En consecuencia, ningún método existente escala naturalmente a entornos grandes y no markovianos mientras recupera intenciones discretas e interpretables.

Metodología: PRISM
Los autores proponen el Modelo Probabilístico de Conmutación de Intenciones Recurrente (PRISM), un marco que reemplaza los modelos de transición fijos y la augmentación manual de estados con una red neuronal recurrente (RNN) ligera.

1. Arquitectura del Modelo:

   • MDP de Intención Oculta (HI-MDP): El entorno se modela como un MDP con un espacio de intención latente $Z = \{1, \dots, K\}$.
   • Conmutación Recurrente: Una función paramétrica $f_\theta$ (una RNN, LSTM o Transformer) mapea la historia de observaciones $\phi_{1:t}$ a una distribución de probabilidad suave sobre las intenciones en cada paso de tiempo. Esto permite que el modelo capture mecanismos de conmutación complejos y dependientes de la historia sin augmentación explícita de estados.
   • Recompensas por Intención: Cada intención $k$ se asocia con una función de recompensa específica $r_k$. Se asume que la política del experto bajo la intención $k$ es una política óptima de Boltzmann derivada de $r_k$.

2. Inferencia y Optimización:

   • Descomposición EM: Los autores demuestran que el objetivo de Expectación-Maximización (EM) para PRISM se descompone exactamente en subproblemas independientes, sin requerir aproximación variacional.
     • Paso E: Calcula la responsabilidad posterior $P(z_t=k | \xi, \psi, \Theta)$ para cada paso de tiempo. Debido a la factorización de la posterior, este paso escala linealmente como $O(nK)$ por trayectoria, una mejora significativa sobre el costo $O(nK^2)$ de los métodos basados en cadenas de Markov.
     • Paso M:
       • Actualización de Recompensa: Cada función de recompensa $r_k$ se actualiza independientemente resolviendo un problema de Iteración Inversa de Valor-Acción (IAVI) ponderado en forma cerrada.
       • Actualización de la Red: Los parámetros de la red de conmutación $\theta$ se actualizan mediante descenso de gradiente para maximizar la verosimilitud de las intenciones asignadas, regularizados por $\ell_1$ (para fomentar conmutaciones dispersas) y la divergencia KL (para fomentar transiciones suaves).

3. Objetivo de Entrenamiento:
   La función de pérdida combina la log-verosimilitud negativa de las asignaciones de intenciones con penalizaciones de suavidad temporal para prevenir conmutaciones erráticas, preservando al mismo tiempo la capacidad de conmutar cuando sea necesario.

Contribuciones Clave

1. Marco PRISM: Un método novedoso de IRL de múltiples intenciones que utiliza una red recurrente para modelar la dinámica de intenciones, permitiendo el aprendizaje de extremo a extremo de conmutaciones dependientes de la historia sin augmentación manual de estados.
2. Garantías Teóricas: Una demostración de que el objetivo EM se descompone exactamente en subproblemas de recompensa por intención independientes, resolubles en forma cerrada mediante IAVI.
3. Eficiencia Computacional: Un paso E de $O(nK)$ logrado mediante la factorización posterior, evitando la complejidad cuadrática de los algoritmos hacia adelante-hacia atrás utilizados en enfoques basados en Markov.
4. Primera Aplicación Robótica a Gran Escala: La aplicación de IRL de múltiples intenciones al conjunto de datos de manipulación robótica BridgeData V2, demostrando la capacidad del método para generalizar más allá de las neurociencias.
5. Interpretabilidad: La recuperación de intenciones nombrables y temporalmente coherentes, así como mapas de recompensa, a partir de demostraciones sin etiquetar en tres dominios distintos.

Resultados Experimentales
PRISM fue evaluado en tres conjuntos de datos de complejidad creciente:

1. Frustration Gridworld (Validación No Markoviana):

   • Configuración: Un entorno controlado donde un agente cambia de estrategia basado en un "contador de frustración" oculto (un estado estrictamente no markoviano).
   • Resultado: PRISM logró la mayor log-verosimilitud de prueba y la menor diferencia de valor esperada en comparación con HIQL, IAVI y MaxEnt IRL. Crucialmente, PRISM rastreó con éxito la frustración acumulativa y conmutó intenciones de manera aguda, mientras que HIQL (sin memoria) falló en capturar la naturaleza acumulativa de la conmutación.

2. Laberinto de Ratones (Datos Biológicos):

   • Configuración: Datos del mundo real de ratones restringidos de agua navegando un laberinto de 127 nodos.
   • Resultado: PRISM superó a SWIRL y otras líneas base en log-verosimilitud de prueba. Recuperó tres intenciones distintas e interpretables: búsqueda de agua, regreso al nido y exploración. Los mapas de recompensa recuperados y los límites de segmentación se alinearon con impulsos biológicos conocidos y eventos conductuales (por ejemplo, visitas a puertos de agua).

3. BridgeData V2 (Manipulación Robótica):

   • Configuración: Un conjunto de datos a gran escala de tareas de manipulación robótica teleoperadas por humanos con observaciones visuales de alta dimensión.
   • Resultado: Sin ninguna supervisión o conocimiento previo de intenciones, PRISM descubrió cuatro fases de manipulación temporalmente coherentes: Acercarse/Despedirse, Agarrar, Transportar e Inactivo. El método logró una mayor log-verosimilitud en datos retenidos que las líneas base, demostrando que la conmutación de intenciones discretas es una propiedad general del comportamiento orientado a objetivos en agentes tanto biológicos como artificiales.

Significado y Afirmaciones
El artículo afirma que PRISM proporciona una solución escalable y teóricamente fundamentada para recuperar objetivos latentes en comportamientos secuenciales. Al demostrar que el objetivo EM se descompone exactamente, los autores muestran que la conmutación compleja dependiente de la historia puede modelarse sin sacrificar la viabilidad computacional de la recuperación de recompensas en forma cerrada.

El significado radica en la demostración de que:

• La conmutación de objetivos discretos es prevalente tanto en agentes biológicos como artificiales.
• La conmutación dependiente de la historia (dinámicas no markovianas) puede aprenderse de extremo a extremo sin ingeniería manual de características o augmentación de estados.
• Los mapas de recompensa recuperados ofrecen una lente estructurada e interpretable para comprender los objetivos latentes detrás de demostraciones complejas, avanzando más allá de la simple imitación de políticas hacia la comprensión de por qué un agente actúa en momentos específicos.

Los autores reconocen limitaciones, incluida la dependencia actual de MDPs discretos (que requieren discretización para datos visuales) y la operación fuera de línea. Sugieren que el trabajo futuro podría explorar extensiones sin modelo (reemplazando IAVI con aprendizaje inverso de Q sin modelo) y extensiones en línea para el monitoreo de intenciones en tiempo real.