🤖 AI

Toward Learning POMDPs Beyond Full-Rank Actions and State Observability

Este artículo presenta un método para aprender las matrices de transición y observación explícitas de un Proceso de Decisión de Markov Parcialmente Observable (POMDP) a partir de datos secuenciales mediante el aprovechamiento de enfoques espectrales y la descomposición de tensores bajo supuestos de rango leves, permitiendo que los agentes planifiquen para diversos objetivos al tiempo que se demuestra que aprender más allá de una partición de estados específica es teóricamente imposible.

Autores originales: Seiji Shaw, Travis Manderson, Chad Kessens, Nicholas Roy

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seiji Shaw, Travis Manderson, Chad Kessens, Nicholas Roy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a navegar por una mansión espeluznante y completamente oscura. No puedes ver las habitaciones, pero puedes oír crujidos, sentir corrientes de aire y chocar con muebles. Cada vez que el robot da un paso, obtiene una pequeña pista de dónde podría estar. Este es el mundo de los sistemas "parcialmente observables": el agente (el robot) sabe qué acciones puede realizar y qué puede percibir, pero no conoce el mapa real de la casa ni sabe exactamente en qué punto se encuentra en cada momento. Para actuar con inteligencia, el robot necesita construir un modelo mental de este mundo oculto. Durante décadas, los científicos han desarrollado formas de adivinar este modelo, pero a menudo se topaban con un muro: los modelos que construían eran como "cajas negras". Podían predecir qué pasaría después, pero no podían explicar por qué o cambiar fácilmente sus planes si el objetivo cambiaba (como pasar de "buscar al gato" a "buscar el tesoro").

Este artículo aborda este problema de la caja negra. Los investigadores, que trabajan en el MIT y en el Laboratorio de Investigación del Ejército, querían enseñar a los agentes a aprender las "reglas del juego" reales: las probabilidades específicas de moverse de una habitación oculta a otra y las pistas específicas que cada habitación emite. Se centran en un tipo especial de rompecabezas matemático llamado POMDP (Proceso de Decisión de Markov Parcialmente Observable). Piensa en un POMDP como un juego de mesa donde no puedes ver el tablero, solo los lanzamientos de dados y las piezas en las que caes. El objetivo es descifrar la disposición del tablero simplemente jugando al juego una y otra vez. La gran pregunta que plantean es: ¿Podemos aprender el diseño exacto del tablero, incluso cuando algunas habitaciones se ven exactamente iguales desde el exterior?

El principal descubrimiento del equipo es una nueva y astuta forma de aprender estos mapas ocultos, pero con un matiz muy importante. Descubrieron que si las acciones del robot son de "rango completo" (una forma elegante de decir que las acciones son lo suficientemente diversas como para sacudir el sistema y no quedarse atrapado en bucles), el robot puede aprender las verdaderas probabilidades de moverse entre grupos de habitaciones. Sin embargo, demostraron que si dos habitaciones diferentes emiten exactamente las mismas pistas para cada acción posible, el robot nunca podrá distinguirlas simplemente caminando por ahí. Es como intentar distinguir a dos gemelos idénticos que visten la misma ropa y hablan con la misma voz; no importa cuántas preguntas les hagas, no podrás estar seguro de quién es quién.

Entonces, ¿qué hicieron realmente? Combinaron dos trucos matemáticos existentes. El primer truco, llamado Representaciones de Estado Predictivo (PSR por sus siglas en inglés), es excelente para adivinar el futuro pero malo para explicar el pasado. El segundo truco, que involucra la "descomposición tensorial", es como un detective de alta tecnología que puede separar señales mezcladas para encontrar las fuentes originales. Los autores se dieron cuenta de que, si utilizaban primero el método PSR para obtener un boceto aproximado del mundo, podrían luego usar el método tensorial para "rotar" ese boceto hasta que coincidiera con la disposición real del mundo.

Aquí está la parte mágica: en muchos escenarios del mundo real, como un brazo robótico intentando recoger una taza, el robot puede fallar a veces (resbalar) o tener éxito otras veces. Estas acciones "desordenadas" son en realidad útiles porque crean suficiente variedad en los datos para que las matemáticas funcionen. Los autores demostraron que, al utilizar estas acciones de rango completo, su método puede aprender las matrices de transición y de observación (las reglas del juego) hasta una "partición". Esto significa que el robot aprende que "la Habitación A y la Habitación B están en el mismo grupo porque se ven idénticas", y aprende las reglas para moverse entre estos grupos. Si cada habitación tiene una huella digital única, el robot aprende el mapa completo perfectamente. Si algunas habitaciones son gemelas, el robot aprende el mapa de los grupos.

El artículo también descarta explícitamente la idea de que podamos aprender la diferencia exacta entre esas habitaciones "gemelas" utilizando solo una sola línea de datos de caminata. Construyeron una prueba matemática que muestra que dos disposiciones de casas completamente diferentes podrían producir la misma secuencia de crujidos y golpes. Si el robot no puede distinguir las diferencias en las pistas, no puede distinguir las diferencias en el mapa. Esto no es un fallo de su algoritmo; es un límite fundamental del universo.

En sus experimentos, probaron esto en varios mundos digitales, incluyendo un juego del "Tigre" (donde hay un tigre detrás de una de dos puertas) y un dominio de "Sentir-Flotar-Reiniciar" (un robot moviéndose en una línea). Descubrieron que su método aprendía con éxito las probabilidades correctas de movimiento entre los "grupos" de estados. Más importante aún, debido a que aprendieron las reglas reales del juego en lugar de solo un predictor de caja negra, podían cambiar el objetivo del robot después de haber completado el aprendizaje. Por ejemplo, podrían decirle al robot: "Ahora, ve a la habitación ruidosa del medio", y el robot podría averiguar cómo llegar allí utilizando el mapa que ya había construido. Los métodos anteriores habrían necesitado empezar de cero para aprender un nuevo objetivo.

Los autores sugieren que este enfoque es un paso significativo hacia adelante para los robots que necesitan ser flexibles. Permite aprender un modelo del mundo que es interpretable y reutilizable. Sin embargo, advierten con cuidado que esto funciona mejor cuando el robot tiene un conjunto diverso de acciones para probar. Si el robot es demasiado torpe o el entorno es demasiado estático, las matemáticas podrían no ser capaces de separar los estados ocultos. También señalan que su método actual funciona mejor para sistemas con un número pequeño de estados ocultos, ya que las matemáticas se vuelven muy pesadas para mundos enormes y complejos. Pero por ahora, han demostrado que podemos mirar detrás de la cortina de los estados ocultos, siempre y cuando aceptemos que algunos gemelos siempre serán indistinguibles.

Resumen Técnico: Hacia el aprendizaje de POMDPs más allá de las acciones de rango completo y la observabilidad de estados

Planteamiento del problema
El artículo aborda el desafío de permitir que los agentes autónomos aprendan y razonen sobre sistemas con estados ocultos, modelando estos sistemas específicamente como Procesos de Decisión de Markov Parcialmente Observables (POMDP) discretos. El agente recibe los espacios de acción y observación, pero carece de conocimiento previo del espacio de estados, la dinámica de transición o los modelos de observación. El objetivo es estimar el número de estados ocultos y las matrices explícitas de transición y observación a partir de una secuencia de acciones y observaciones recolectadas mediante exploración aleatoria.

Si bien los métodos espectrales como las Representaciones de Estado Predictivo (PSR) pueden aprender estadísticas suficientes para predecir resultados futuros, funcionan como modelos de caja negra. No proporcionan verosimilitudes explícitas de transición y observación, lo que dificulta la manipulación del modelo para nuevas tareas de planificación (por ejemplo, cambiar las funciones de recompensa) sin volver a aprender todo el sistema. Por el contrario, los métodos existentes de descomposición tensorial para recuperar modelos POMDP completos dependen de supuestos estrictos: que las matrices de transición son de rango completo y que cada estado tiene una distribución de observación única para cada acción. Estos supuestos fallan en muchos escenarios del mundo real que involucran el alias de estados (donde distintos estados comparten distribuciones de observación idénticas) o acciones que pueden fallar probabilísticamente.

Metodología
Los autores proponen un método que combina la descomposición espectral con la descomposición tensorial para aprender los parámetros de un POMDP bajo supuestos más leves. El enfoque procede en tres etapas principales:

Construcción de la Matriz de Hankel y Aprendizaje de PSR:
El método comienza construyendo una matriz de Hankel a partir de las trayectorias observadas de acción-observación. Esta matriz codifica las verosimilitudes conjuntas de observaciones pasadas y futuras. Al realizar una factorización de rango (vía Descomposición de Valores Singulares) en esta matriz, el algoritmo deriva una Representación de Estado Predictivo (PSR) lineal. Esto produce un conjunto de matrices de actualización lineal ( $M_{ao}$ ), un vector inicial ( $m_0$ ) y un vector final ( $m_\infty$ ). Estos componentes representan la dinámica del sistema hasta una transformación de similitud desconocida $P$ .
Recuperación de la Transformación de Similitud:
Para recuperar las matrices explícitas de transición ( $T^a$ ) y observación ( $O_{ao}$ ), el algoritmo debe estimar la transformación de similitud $P$ . Los autores reformulan las técnicas de descomposición tensorial para estimar $P$ .

Primero, marginalizan las observaciones para obtener matrices de transición hasta la transformación: $\sum_o M_{ao} = P T^a P^{-1}$ .
Para acciones con matrices de transición de rango completo, computan el producto $M_{ao} M_a^{-1} = P O_{ao} P^{-1}$ .
Dado que las $O_{ao}$ son diagonales, los autovalores de estos productos corresponden a las entradas diagonales. Para resolver la ambigüedad causada por autovalores repetidos (que ocurren cuando los estados comparten distribaciones de observación), el método emplea una diagonalización conjunta de una suma ponderada de estas matrices. Se muestrean pesos aleatorios para asegurar que los autovalores sean distintos casi con seguridad para los estados con distribuciones de observación únicas a través de todas las acciones de rango completo.

Aprendizaje hasta las Particiones de Observabilidad:
El artículo introduce el concepto de una Partición de Observabilidad de Rango Completo. Si múltiples estados comparten la misma distribución de observación exacta para todas las acciones con transiciones de rango completo, no pueden distinguirse únicamente a partir de datos secuenciales. El algoritmo recupera la transformación de similitud $P$ hasta esta partición. En consecuencia, el modelo aprendido proporciona matrices de transición y observación explícitas entre particiones de estados en lugar de estados individuales. Para los estados dentro de una misma partición, el modelo aprende la dinámica agregada.

Contribuciones Clave

Supuestos Relajados: El método extiende los enfoques de descomposición tensorial para aprender POMDPs donde los estados pueden tener alias (compartiendo distribuciones de observación) y donde las matrices de transición no son necesariamente de rango completo para cada acción, siempre que el producto de las matrices hacia adelante y hacia atrás sea de rango completo.
Recuperación de Modelo Explícito: A diferencia de las PSR, el método recupera matrices explícitas de transición y observación (hasta una partición), lo que permite la especificación de nuevas funciones de recompensa y objetivos tras la fase inicial de aprendizaje sin necesidad de reentrenamiento.
Límites Teóricos: Los autores demuestran que aprender la dinámica de transición y observación más allá de la partición de observabilidad es imposible a partir de una sola trayectoria de datos secuenciales. Construyen un contraejemplo que demuestra dos POMDPs distintos con diferentes dinámicas internas que producen distribuciones de observación idénticas para todas las secuencias de acciones, estableciendo el límite teórico de identificabilidad.

Resultados Experimentales
Los autores evalúan su método en varios dominios, incluyendo el dominio "Sense-Float-Reset" (que presenta alias de estados), el problema del Tigre y el T-Maze.

Convergencia: El método recupera con éxito los modelos de observación subyacentes y las matrices de transición a nivel de partición, convergiendo a los valores de la verdad fundamental a medida que aumentan las interacciones de exploración. En contraste, la Maximización de la Esperanza (EM) a menudo converge a mínimos locales que predicen las observaciones correctamente pero producen parámetros de modelo incorrectos.
Desempeño de la Planificación: Al utilizar un planificador estándar (PO-UCT), los POMDPs aprendidos a nivel de partición logran un desempeño de planificación comparable a los modelos de la verdad fundamental y a las PSR.
Especificación de Recompensa: En los dominios novedosos "Noisy Hallway" y "Directional Hallway", los autores demuestran que las verosimilitudes explícitas de transición y observación permiten que un agente sea dirigido hacia estados latentes específicos (por ejemplo, un estado de pasillo medio con observaciones ambiguas) asignando recompensas a los estados en lugar de solo a los pares acción-observación. Esta capacidad no está disponible en las PSR estándar o en los modelos basados en EM que fallan en recuperar la estructura de estado correcta.

Significancia y Reivindicaciones
El artículo afirma que su método cierra la brecha entre el poder predictivo de las PSR y la interpretabilidad de los modelos POMDP explícitos. Al aprender hasta una partición de observabilidad, el método captura una clase más amplia de sistemas del mundo real (particularmente en la manipulación robótica donde las acciones pueden fallar o los estados pueden tener alias) que los métodos previos basados en tensores.

Los autores afirman modestamente que, si bien su método no puede recuperar la estructura interna exacta de los estados con alias a partir de datos secuenciales, recupera la máxima cantidad de información teóricamente posible. La capacidad de manipular el modelo aprendido para nuevas tareas (mediante la especificación de recompensas explícitas) se destaca como una ventaja primaria sobre los modelos predictivos de caja negra. El trabajo sugiere que, para muchas aplicaciones prácticas, aprender la dinámica entre las particiones de observabilidad es suficiente para una planificación y razonamiento efectivos.

Más como este