📊 statistics

Generalized Linear Markov Decision Process

Este artículo introduce GRASP-MDP, un nuevo marco para el aprendizaje por refuerzo fuera de línea en estudios longitudinales que aborda los desafíos de las recompensas binarias/acotadas y las observaciones de recompensas parciales mediante la separación del modelado de la recompensa y de la transición para aprovechar todos los datos de transición disponibles sin imputación, proporcionando así garantías de muestra finita y un rendimiento empírico mejorado.

Autores originales: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

Publicado 2026-08-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo navegar por un laberinto. En un mundo ideal, el robot recibiría una tarjeta de puntuación perfecta después de cada movimiento: "¡Giraste a la izquierda, encontraste una moneda, +10 puntos!". Pero en el mundo real —como en los hospitales o en las aplicaciones de redes sociales— las cosas son más desordenadas. El robot podría ver exactamente lo que sucedió después (giró a la izquierda y vio una pared), pero la tarjeta de puntuación para ese movimiento específico falta, está retrasada o solo está disponible para unos pocos giros con suerte. Este es el desafío del "aprendizaje por refuerzo fuera de línea" (offline reinforcement learning), donde intentamos enseñar a la IA utilizando datos antiguos y registrados en lugar de dejar que aprenda mediante el ensayo y error en tiempo real.

Para hacer posible este aprendizaje, los científicos suelen utilizar un atajo matemático llamado "Proceso de Decisión de Markov Lineal". Piensa en esto como si asumieras que el laberinto está construido con líneas simples y rectas: si conoces el punto de partida y la dirección, puedes predecir fácilmente el siguiente lugar y los puntos que obtendrás. Esto funciona de maravilla si los "puntos" (recompensas) son números simples. Pero, ¿qué pasa si la recompensa es algo complicado, como la puntuación de salud de un paciente que solo puede ir de 0 a 10, o un resultado binario de "sí/no"? Estas recompensas no siguen líneas simples y rectas; se curvan y se doblan. Además, si desechamos todos los datos donde la tarjeta de puntuación falta, perdemos información valiosa sobre cómo está diseñado realmente el laberinto. Este artículo aborda el problema de enseñar a los robots cuando las reglas son curvas y las tarjetas de puntuación están incompletas.

Los investigadores detrás de este estudio, liderados por Sinian Zhang y sus colegas, introducen un nuevo método llamado GRASP-MDP. Puedes pensar en esto como una estrategia de detective de dos partes para resolver el laberinto. En lugar de intentar adivinar las tarjetas de puntuación faltantes (lo que puede llevar a malas suposiciones), GRASP-MDP separa el misterio en dos pistas distintas: cómo se mueve el mundo y cuál es la recompensa.

Primero, el método observa la parte del "movimiento". Incluso si no conocemos la puntuación de un giro específico, es posible que veamos al robot moverse de un lugar a otro. GRASP-MDP utiliza todos estos registros de movimiento —independientemente de si se adjuntó una puntuación o no— para construir un mapa perfecto del laberinto. Trata las reglas de movimiento como algo simple y lineal, lo que hace que las matemáticas sean fáciles y fiables.

Segundo, aborda la parte de la "recompensa". Dado que las recompensas como las puntuaciones de salud o los resultados binarios son curvas y complejas, el método utiliza una herramienta especial llamada "Modelo Lineal Generalizado" para ajustar la curva. Crucialmente, solo utiliza los datos donde la puntuación sí fue registrada para determinar esta curva. No intenta inventar una puntuación para los datos faltantes; simplemente admite: "No sabemos la puntuación aquí, pero sabemos exactamente cómo funciona el laberinto".

Al mantener estas dos pistas separadas, GRASP-MDP evita la trampa de adivinar puntuaciones erróneas. Dice: "Sabemos que el camino está despejado porque vimos el movimiento, incluso si nos perdimos los puntos". El artículo demuestra matemáticamente que este enfoque funciona mejor que los métodos anteriores que ignoraban los datos faltantes o intentaban rellenar los huecos con suposiciones.

Para probar su idea, el equipo realizó simulaciones computacionales tanto con recompensas simples como complejas. Descubrieron que GRASP-MDP aprendía estrategias consistentemente mejores que los métodos anteriores, especialmente cuando los datos de recompensa estaban incompletos. También lo aplicaron a un conjunto de datos médicos del mundo real que involucraba a 4,295 pacientes con esclerosis múltiple (EM). En este escenario, el "laberinto" era el viaje del paciente a través del tratamiento, y la "recompensa" era su puntuación de discapacidad (EDSS), que solo se revisaba en ciertas visitas. El método utilizó con éxito la vasta cantidad de historial de tratamiento (los datos de movimiento) incluso cuando las puntuaciones de discapacidad faltaban, para recomendar mejores planes de tratamiento. Los resultados mostraron que, al mantener los datos de la "puntuación faltante" para aprender las reglas del movimiento, la IA podía tomar decisiones más inteligentes que si hubiera desechado esos datos.

En resumen, GRASP-MDP es una forma más inteligente de aprender de los datos desordenados del mundo real. Respeta el hecho de que a menudo sabemos qué pasó (la transición) incluso cuando no sabemos qué tan bueno fue (la recompensa), y utiliza ese conocimiento para construir sistemas de toma de decisiones mejores y más fiables sin inventar números falsos.

Resumen Técnico: Proceso de Decisión de Markov de Recompensa Generalizada (GRASP-MDP)

1. Planteamiento del Problema

El aprendizaje por refuerzo (RL) fuera de línea (offline) para estudios longitudinales, particularmente en salud e intervenciones digitales, enfrenta dos desafíos interconectados:

Estructuras de Recompensa No Lineales: Los resultados suelen ser binarios (por ejemplo, recaída) o continuos acotados (por ejemplo, puntuaciones de discapacidad en una escala de 0–10), los cuales se modelan naturalmente mediante Modelos Lineales Generalizados (GLM) en lugar de las suposiciones de recompensa lineal estándar de los Procesos de Decisión de Markov Lineales (MDPs).
Escasez de Datos Semi-supervisados: Aunque las trayectorias de estado-acción-siguiente-estado suelen estar completamente registradas, las observaciones de recompensa correspondientes pueden estar disponibles solo para un subconjunto de trayectorias o puntos temporales específicos. Los métodos existentes descartan los datos de transición (perdiendo información sobre los valores de continuación) o dependen de la imputación de recompensas (introduciendo supuestos no verificados).

Los métodos estándar de MDP Lineales fallan aquí porque una media de recompensa no lineal rompe la recursión de Bellman lineal, y los enfoques semi-supervisados existentes no separan explícitamente la estimación de la dinámica de transición del modelado de la recompensa.

2. Metodología: GRASP-MDP

Los autores proponen GRASP-MDP (Pesimismo de Recompensa Generalizada y Semi-supervisado para Procesos de Decisión de Markov), un marco que desacopla la estimación de la recompensa y la transición manteniendo una estructura de Bellman tratable.

2.1 Supuestos del Modelo

GRASP-MDP asume una estructura híbrida:

Dinámica de Transición: El núcleo de transición permanece lineal en un mapa de características $\phi_p$ :
$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$
Dinámica de Recompensa: La media condicional de la recompensa sigue un Modelo Lineal Generalizado (GLM) con una función de enlace $g$ conocida:
$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$
Aquí, $\phi_r$ y $\phi_p$ son mapas de características distintos, lo que permite que la información relevante para la recompensa y la de transición desempeñen roles estadísticos diferentes.

2.2 Completitud de Bellman No Lineal más Lineal

La idea teórica central es que, si bien la recompensa no lineal rompe la clase de Bellman lineal estándar, el modelo induce una clase de funciones no lineal más lineal $\mathcal{F}$ :
$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$
Los autores demuestran (Proposición 1) que el retroceso de Bellman (Bellman backup) de cualquier función de valor acotada pertenece a esta clase $\mathcal{F}$ . Específicamente, el retroceso se descompone en un término de recompensa no lineal y un término de continuación lineal. Esta estructura permite una completitud de Bellman explícita sin requerir que la recompensa sea lineal.

.3 Algoritmo: Iteración de Valor Pesimista por Componentes

El procedimiento de aprendizaje utiliza una iteración de valor pesimista descompuesta (Algoritmo 1):

Estimación de la Recompensa: El parámetro de recompensa $\theta_h$ se estima utilizando solo el subconjunto de datos donde se observan las recompensas ( $I^r_h$ ) mediante un GLM (por ejemplo, regresión binomial o beta).
Estimación de la Transición: El parámetro de continuación $\beta_h$ se estima utilizando todas las transiciones de estado-acción-siguiente-estado disponibles ( $n + N$ trayectorias), independientemente de si se observó la recompensa. Esto se realiza mediante regresión ridge.
Pesimismo: El algoritmo construye una función Q pesimista restando radios de incertidumbre separados para los componentes de recompensa y transición:
$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$
- $\hat{\Gamma}_{r,h}$ se deriva de la curvatura del GLM y del tamaño del conjunto de recompensas observadas.
- $\hat{\Gamma}_{p,h}$ se deriva de la covarianza de las características de transición y del número total de trayectorias.

Este enfoque asegura que las observaciones de solo transición reduzcan el error de estimación de la transición sin requerir la imputación de recompensas.

3. Principales Contribuciones

Marco Teórico: Establecimiento de la completitud de Bellman para una clase de funciones no lineal más lineal inducida por la separación de recompensa-transición.
Desarrollo de Algoritmos: Un algoritmo de iteración de valor pesimista por componentes que controla por separado las incertidumbres de recompensa y transición.
Garantías de Muestra Finita: Límites teóricos que muestran que la suboptimidad de la política aprendida está gobernada por dos términos distintos:
- Un término de recompensa que escala con $O(\sqrt{d_r/n})$ , donde $n$ es el número de trayectorias con recompensa observada.
- Un término de transición que escala con $O(\sqrt{d_p/(n+N)})$ , donde $n+N$ es el número total de trayectorias.
  Esto demuestra que los datos de solo transición ( $N$ ) mejoran el aprendizaje de la política al reducir la incertidumbre de la transición, incluso cuando las recompensas faltan.
Extensiones: Se muestra que el marco se extiende a la observación de recompensa a nivel de paso (donde las recompensas faltan al azar dentro de las trayectorias) y a recompensas sub-gaussianas con rangos de media finitos.

4. Resultados Empíricos

4.1 Simulaciones

Configuraciones: Los experimentos cubrieron la observación de recompensa completa y parcial con recompensas binarias y continuas acotadas (distribución Beta).
Hallazgos: GRASP-MDP superó consistentemente a las líneas base de MDP Lineales (PEVI, Q-learning local/global) cuando las recompensas eran no lineales. Bajo la observación de recompensa parcial, retener las trayectorias de solo transición mejoró significativamente el rendimiento de la política en comparación con los métodos que las descartaban o utilizaban solo datos etiquetados.

4.2 Aplicación en el Mundo Real: Esclerosis Múltiple (EM)

Contexto: Aprendizaje de estrategias de Tratamiento Modificador de la Enfermedad (DMT) utilizando Registros Médicos Electrónicos (EHR).
Datos: Una cohorte de 4,295 pacientes de los registros EHR de Mass General Brigham y CLIMB. Las recompensas se basaron en la Escala de Estado de Discapacidad Expandida (EDSS), que es acotada (0–10) y se observa de forma intermitente (faltante en aproximadamente el 40% de los periodos de los pacientes).
Resultado: La política de GRASP-MDP que utiliza datos con recompensas faltantes (reteniendo las trayectorias de solo transición) logró estimaciones numéricamente favorables para el EDSS promedio y los meses con EDSS $\le$ 4 en comparación con los métodos que utilizan solo datos etiquetados o líneas base lineales estándar. Esto demostró el beneficio práctico de aprovechar la información de solo transición en entornos clínicos con informes de resultados dispersos.

5. Significado y Reivindicaciones

El artículo afirma que GRASP-MDP proporciona una solución fundamentada para el RL fuera de línea en entornos con resultados estructurados e intermitentemente observados. Su importancia radica en:

Preservación de la Tractabilidad: Mantiene la tractabilidad computacional y estadística de los MDP Lineales mientras acomoda las estructuras de recompensa no lineales comunes en los datos del mundo real.
Utilización Eficiente de Datos: Justifica formalmente el uso de observaciones de solo transición para el aprendizaje de políticas sin imputar recompensas, evitando así el sesgo introducido por los supuestos de imputación.
Separación de la Incertidumbre: Al controlar por separado los errores de recompensa y transición, el método proporciona garantías de muestra finita que delinean claramente el valor de los datos de transición adicionales frente a los datos de recompensa adicionales.

Los autores señalan que el método depende de supuestos estándar como la ausencia de datos al azar (missing-at-random) para las recompensas y la cobertura suficiente (positividad) de las regiones de estado-acción. Reconocen que la ausencia de datos no ignorable y los cambios en la distribución entre las trayectorias de recompensa etiquetada y las de solo transición siguen siendo desafíos abiertos. También se menciona que el marco soporta extensiones en línea (GLSVI-UCB) con garantías de regret sublineal.