📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

Este artículo presenta LURE, el primer método para el aprendizaje por refuerzo fuera de línea con acciones ocultas, el cual aprovecha las variables de estado siguiente como proxies para permitir una estimación del valor de la política múltiplemente robusta y estadísticamente válida en procesos de decisión markovianos de horizonte infinito.

Autores originales: Zeyu Bian, Ying Zhou, Yifan Cui

Publicado 2026-07-29

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zeyu Bian, Ying Zhou, Yifan Cui

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo jugar un juego complejo, como navegar por una ciudad o gestionar la salud de un paciente. No haces que el robot pase por el juego en tiempo real; en su lugar, le entregas un libro de registro gigante de intentos pasados realizados por un jugador humano. Este es el mundo del Aprendizaje por Refuerzo (RL), una rama de la inteligencia artificial donde las computadoras aprenden mediante ensayo y error para tomar las mejores decisiones posibles a lo largo del tiempo. El objetivo suele ser averiguar: "Si siguiéramos un conjunto específico de reglas (una política) en el futuro, ¿qué tan bien nos iría, basándonos en este viejo libro de registro?".

Sin embargo, hay un inconveniente. En el mundo real, los libros de registro rara vez son perfectos. A veces, la persona que escribió las notas cometió un error, o el sistema que registró los datos falló. En el lenguaje de este artículo, la "acción" que el humano realmente tomó (como administrar un medicamento específico) podría estar oculta, y todo lo que vemos es un "proxy" o una suposición ruidosa de lo que sucedió (como una nota médica que dice "se administró medicina" cuando en realidad no se hizo, o viceversa). Si intentas enseñar a tu robot usando un libro de registro lleno de estos errores, aprenderá las lecciones equivocadas, lo que llevará a malas decisiones más adelante. Este artículo aborda el complicado problema de cómo aprender eficazmente cuando la parte más importante de la historia —la verdadera acción— falta o está disfrazada.

El misterio de la jugada perdida

En el artículo titulado "Learning from the Unseen" (Aprendiendo de lo invisible), los autores, Zeyu Bian, Ying Zhou e Yifan Cui, se enfrentan a una historia de detectives donde la pista principal falta. Imagina que eres un detective tratando de resolver un crimen mirando un video de seguridad. Pero aquí está el giro: el video muestra la sombra del sospechoso, no al sospechoso mismo. Puedes ver la sombra moverse, pero no sabes exactamente qué estaban haciendo las manos del sospechoso. En el mundo de la ciencia de datos, esto se llama tener "acciones ocultas".

Normalmente, cuando los científicos intentan evaluar una estrategia utilizando datos pasados (un proceso llamado Evaluación Fuera de la Política o Off-Policy Evaluation), asumen que el libro de registro es perfecto. Asumen que si el registro dice "Se realizó la Acción A", entonces la Acción A fue definitivamente realizada. Pero en escenarios del mundo real desordenados —como registros hospitalarios donde un médico podría anotar un tratamiento horas después, o un sistema que accidentalmente etiqueta erróneamente la pulsación de un botón— esta suposición es una trampa. Si ignoras los errores, tu evaluación de la estrategia estará sesgada, como juzgar las habilidades culinarias de un chef basándose en un menú que tiene los ingredientes incorrectos listados.

La magia del siguiente paso

El gran avance de los autores es darse cuenta de que, incluso si no puedes ver la "acción" directamente, a menudo puedes ver su sombra en el momento siguiente.

Piénsalo de esta manera: Si un mago agita una varita (la acción oculta), es posible que no veas la varita claramente debido a una mancha en la cámara. Pero sí puedes ver al conejo aparecer en el sombrero (el siguiente estado). El conejo no apareció de la nada; apareció debido al movimiento de la varita. Al estudiar la relación entre el "siguiente estado" (el conejo) y la "nota ruidosa" (el video empañado), los autores descubrieron cómo reconstruir matemáticamente lo que el mago realmente hizo.

Llaman a su nuevo método LURE (Learning from the Unseen: Robust Estimator - Aprendiendo de lo invisible: Estimador Robusto). Es como un detective superinteligente que no solo mira la foto borrosa del sospechoso, sino que también mira las huellas dejadas atrás y el reporte del clima para deducir exactamente qué sucedió.

Cómo funciona LURE: El sistema de "doble verificación" y el kit de herramientas del detective

El artículo presenta una forma ingeniosa de estimar el valor de una estrategia sin dejarse engañar por los errores. Utilizan un concepto llamado Robustez Múltiple.

Imagina que estás tratando de adivinar la temperatura exterior, pero tu termómetro está roto. Tienes otras tres pistas: un perro mojado, un árbol balanceándose y una formación de nubes.

Si tu termómetro está roto, aún puedes adivinar correctamente si tu pista del "perro mojado" es precisa.
Si el perro está seco pero el árbol se balancea, aún puedes adivinar correctamente.
El sistema es "robusto" porque no necesita que todas las pistas sean perfectas; solo necesita que alguna combinación de ellas sea correcta.

LURE funciona de la misma manera. Construye un modelo matemático que verifica diferentes partes de los datos. Incluso si el modelo para la "acción ruidosa" es ligeramente incorrecto, o el modelo para el "siguiente estado" es ligeramente erróneo, el estimador aún puede encontrar el valor real de la estrategia siempre que al menos una de las otras partes sea correcta. Esto hace que la respuesta final sea mucho más confiable que los métodos anteriores, que se desmoronarían si solo una parte de los datos fuera desordenada.

Pero hay una complejidad oculta en cómo LURE resuelve este rompecabezas. Dado que las acciones reales nunca se ven, la computadora tiene que adivinar las probabilidades de lo que realmente sucedió. Para hacer esto, los autores desarrollaron un algoritmo especial iterativo (basado en un método llamado Esperanza-Maximización, o EM). Piensa en esto como un detective que sigue refinando su teoría:

La suposición (paso E): La computadora comienza con una suposición sobre cuáles fueron las acciones ocultas.
La actualización (paso M): Usando esa suposición, actualiza sus modelos de cómo las acciones conducen a recompensas y siguientes estados.
El refinamiento: Luego utiliza estos modelos actualizados para hacer una mejor suposición sobre las acciones ocultas, y repite el ciclo hasta que la historia tenga sentido perfecto.

Sin embargo, hay un último giro. Debido a que la computadora está adivinando, podría accidentalmente intercambiar las etiquetas. Podría decidir que la "Acción 0" es en realidad la "Medicina" y la "Acción 1" es "No Medicina", cuando en realidad es exactamente lo opuesto. La matemática funciona de ambas formas, pero el significado se invierte. Para solucionar esto, los autores incluyen un paso crucial de alineación de etiquetas. Antes de dar la respuesta final, el sistema verifica qué "suposición" tiene más sentido con los datos ruidosos (por ejemplo, qué acción oculta es más probable que resulte en la nota observada de "Medicina"). Luego, invierte las etiquetas si es necesario para asegurar que el informe final coincida con la realidad.

Probando la teoría

Los autores no solo escribieron una teoría; la pusieron a prueba de tres maneras diferentes:

Simulaciones simples: Crearon un mundo pequeño y ficticio (un "MDP Tabular") con solo tres estados y dos acciones. Intencionalmente arruinaron los datos etiquetando erróneamente las acciones del 5% al 30% de las veces. Mientras que otros métodos se confundieron y dieron respuestas incorrectas, LURE se mantuvo en el objetivo, adivinando correctamente el valor de la estrategia.
Simulaciones complejas: Pasaron a un mundo continuo más complejo (como un robot moviéndose en un espacio suave) y encontraron el mismo resultado: LURE manejó los errores con eleg manera, mientras que otros fallaron.
Datos del mundo real: Probaron LURE en una base de datos masiva de registros reales de pacientes de un hospital (MIMIC-III), específicamente analizando cómo tratar la sepsis (una reacción potencialmente mortal a una infección). En este escenario del mundo real, compararon LURE contra los métodos estándar. Los resultados fueron impactantes: los métodos estándar sugerían que un tratamiento era mejor que otro, pero LURE, al contabilizar los errores ocultos en los registros médicos, sugirió un ranking diferente y más confiable. De hecho, los intervalos de confianza (el rango de respuestas probables) de los métodos estándar se superponían tanto que no podían distinguir la diferencia, mientras que LURE proporcionó una respuesta clara y distinta.

La conclusión

El artículo concluye que ignorar las acciones ocultas es una apuesta peligrosa. Al usar el "siguiente estado" como una pista natural para descubrir la verdad, y al construir un sistema que es robusto a los errores en diferentes partes del modelo, finalmente podemos evaluar estrategias con precisión incluso cuando nuestros datos son imperfectos.

Esto no es solo una victoria teórica; es una herramienta práctica para el futuro. Ya sea para decidir tratamientos médicos, gestionar semáforos o entrenar agentes de IA, LURE ofrece una forma de aprender del pasado sin dejarse engañar por el ruido. Los autores demuestran que, con el trabajo de detective matemático adecuado, podemos ver lo invisible y tomar mejores decisiones para el mañana.

Resumen Técnico: Aprendizaje de lo Invisible: Aprendizaje por Refuerzo Offline con Acciones Ocultas

1. Formulación del Problema

Los algoritmos estándar de Aprendizaje por Refuerzo (RL) offline y de Evaluación de Políticas Fuera de Política (OPE) suelen asumir que las acciones registradas en el conjunto de datos se observan sin error. Sin embargo, en muchas aplicaciones del mundo real —particularmente en el cuidado de la salud utilizando Registros Electrónicos de Salud (EHR)— las acciones verdaderas ( $A_t$ ) no son observadas (son latentes). En su lugar, solo se dispone de proxies o sustitutos ruidosos ( $\tilde{A}_t$ ) debido a errores de anotación, retrasos en el registro, sistemas de gestión imperfectos o el desvanecimiento de datos para preservar la privacidad.

El artículo aborda el problema de evaluar una política objetivo $\pi$ en un proceso de decisión markoviano (MDP) de horizonte infinito y descuento donde el espacio de acciones es parcial o totalmente latente. El objetivo es estimar el valor de la política $V(\pi)$ utilizando datos históricos generados por una política de comportamiento $b$ , donde los datos observados consisten en trayectorias $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ en lugar de las verdaderas $\{(S_t, A_t, R_t, S_{t+1})\}$ . Sustituir ingenuamente la acción sustituta observada $\tilde{A}_t$ por la acción verdadera $A_t$ en los métodos de OPE existentes conduce a estimaciones sesgadas porque la función Q y las razones de densidad se definen con respecto a la acción verdadera latente.

2. Metodología

2.1 Estrategia de Identificación

Los autores establecen que el valor de la política $V(\pi)$ es identificable a partir de la distribución de los datos observados bajo supuestos específicos. La idea central es aprovechar el siguiente estado ( $S'$ ) como un proxy natural para la acción no observada. Dado que la dinámica de transición depende de la acción verdadera, $S'$ contiene información sobre la acción oculta que puede ser explotada para la identificación.

La identificación se basa en cuatro supuestos clave (Supuesto 3.1):

Cobertura: El soporte de la política objetivo está contenido dentro del soporte de la política de comportamiento.
Relevancia: La recompensa $R$ , el sustituto $\tilde{A}$ y el siguiente estado $S'$ no son condicionalmente independientes de la acción verdadera $A$ dado el estado $S$ .
Independencia Condicional: Dado la acción verdadera $A$ y el estado $S$ , el sustituto $\tilde{A}$ , la recompensa $R$ y el siguiente estado $S'$ son mutuamente independientes.
Calidad del Sustituto: El sustituto proporciona más información que una suposición aleatoria (por ejemplo, para acciones binarias, la probabilidad de observar $\tilde{A}=0$ es menor cuando $A=1$ que cuando $A=0$ ).

Bajo estas condiciones, los autores demuestran (Teorema 1) que $V(\pi)$ está unívocamente identificado.

2.2 El Estimador LURE

Para estimar el valor, el artículo propone LURE (Learning from the Unseen: Robust Estimator). El estimador se construye basado en una función de influencia de datos observados derivada de la función de influencia eficiente de datos completos.

La función de influencia $\phi_\pi(O)$ se define como:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
donde:

$\omega(S, a)$ es la razón de densidad marginal entre las políticas objetivo y de comportamiento.
$\theta_R(S, a)$ es la función de recompensa.
$M V^\pi(S, a)$ es el valor futuro esperado.
$g_a$ y $g'_a$ son funciones constructoras que actúan como estimadores "puente" que reemplazan la función indicadora $\mathbb{I}(A=a)$ usando el sustituto observado $\tilde{A}$ y el proxy del siguiente estado $S'$ . Específicamente, son razones que involucran las expectativas condicionales de $\tilde{A}$ y $S'$ dados $S$ y $A$ .

2.3 Procedimiento de Estimación (Algoritmo EM)

Dado que la acción verdadera $A$ es latente, no se puede aplicar directamente el aprendizaje supervisado estándar para estimar las funciones de molestia ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ). Los autores proponen un novedoso algoritmo iterativo de tipo Esperanza-Maximización (EM) (Algoritmo 2):

Inicialización: Inicializar la probabilidad posterior $\eta(O; a) = P(A=a | O)$ .
Paso M (Aprendizaje Supervisado Ponderado): Tratar la posterior $\eta$ como pesos conocidos. Actualizar las funciones de molestia (política de comportamiento, modelo de medición, modelos de recompensa/transición y razón de densidad) mediante regresión ponderada o optimización minimax ponderada (para la razón de densidad $\omega$ ).
Paso E (Actualización de la Posterior): Actualizar la probabilidad posterior $\eta(O; a)$ utilizando la regla de Bayes y las estimaciones actualizadas de las funciones de molestia.
Iteración: Repetir hasta la convergencia.

Además, el artículo aborda la alineación de etiquetas, ya que el algoritmo EM puede intercambiar arbitrariamente las etiquetas de las clases latentes (por ejemplo, mapear la acción verdadera $A=0$ al componente 1). Se realiza un paso de alineación de etiquetas post-estimación basado en la probabilidad condicional del sustituto para asegurar una interpretación consistente.

2.4 Cross-Fitting

Para mitigar el sesgo de sobreajuste y controlar los remanentes del proceso empírico, los autores emplean un procedimiento de K-fold cross-fitting. Las funciones de molestia se estiman en pliegues de entrenamiento y se evalúan en pliegues de retención (held-out folds).

3. Contribuciones Teóricas Clave

Robustez Múltiple: El estimador LURE es multivariante robusto. Como se muestra en el Corolario 1, el estimador permanece consistente ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) si al menos una de varias combinaciones específicas de componentes de molestia está correctamente especificada. Por ejemplo, la consistencia se mantiene si la función puente de recompensa $\theta_R$ es consistente junto con la regresión de la acción latente $\theta_{\tilde{A}}$ o la regresión del siguiente estado $\theta_{S'}$ , siempre que el error del valor de continuación sea negligible.
Normalidad Asintótica: Bajo condiciones de regularidad y tasas de convergencia de los estimadores de molestia (específicamente requiriendo que el producto de los errores decaiga más rápido que $n^{-1/2}$ ), el estimador es asintóticamente normal (Teorema 4). Esto permite la construcción de intervalos de confianza de tipo Wald válidos.
Límites de Error: El artículo proporciona límites de error de muestra finita (Teorema 3) que descomponen el error de estimación en el promedio de la función de influencia, un remanente de selección de etiquetas y un segundo orden de remanente que involucra productos de los errores de estimación de las funciones de molestia.

4. Resultados Experimentales

Los autores evalúan LURE a través de simulaciones y una aplicación en el mundo real:

MDPs Tabulares y Generales: En entornos sintéticos con tasas de misclasificación variables ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ), los métodos de OPE estándar (SIS, FQE, LSTD, MIS, DRL) que ignoran la estructura latente exhiben un sesgo significativo que empeora con mayores tasas de misclasificación. LURE permanece centrado alrededor del verdadero valor de la política.
OpenAI Gym (CartPole): En un entorno de estado continuo, LURE supera a los baselines, manteniendo tasas de cobertura precisas para los intervalos de confianza (cercanas al nivel nominal del 95%), mientras que los baselines muestran un sesgo sustancial o coberturas inestables.
Análisis de Sepsis en MIMIC-III: El método se aplica a un conjunto de datos de gestión de sepsis. El estudio evalúa tres políticas: "Siempre IV", "Sin IV" y una regla "adaptada a SOFA".
- LURE estima que la política "Siempre IV" tiene el puntaje SOFA esperado más bajo (62.10), lo que sugiere que es la política óptima.
- El intervalo de confianza del 95% para "Siempre IV" [60.16, 64.04] no se solapa con los intervalos de las otras políticas.
- En contraste, el estimador DRL estándar produce intervalos de confianza que se solapan para todas las políticas, fallando en distinguirlas. Esto resalta que ignorar las acciones ocultas puede conducir a conclusiones empíricas erróneas en entornos clínicos.

5. Significado y Reivindicaciones

El artículo afirma ser el primer trabajo en estudiar el aprendizaje por refuerzo offline en el escenario de acciones ocultas. Su importancia radica en:

Abordar una Brecha Crítica: Proporciona un marco con principios para la OPE cuando los datos de acción son ruidosos o latentes, un problema común en los estudios basados en EHR que los métodos de RL estándar no pueden manejar de manera confiable.
Rigor Teórico: Establece condiciones de identificación y deriva una función de influencia que tiene en cuenta la naturaleza secuencial de RL, distinguiéndolo de los marcos de tratamiento oculto estáticos.
Utilidad Práctica: Al demostrar la robustez múltiple y la normalidad asintótica, LURE permite la inferencia estadística válida (intervalos de confianza y pruebas de hipótesis) en entornos donde los métodos anteriores producirían estimaciones de punto sesgadas.
Impacto en el Mundo Real: La aplicación a la base de datos MIMIC-III ilustra que tener en cuenta las acciones ocultas puede alterar fundamentalmente las clasificaciones de políticas y las recomendaciones clínicas, sugiriendo que las evaluaciones de RL estándar en el cuidado de la salud pueden ser poco fiables sin tales correcciones.

Los autores mantienen un tono modesto, señalando que, aunque el marco es generalizable a acciones categóricas, el presente trabajo se centra en acciones binarias para mayor claridad, y que el método depende del supuesto específico de que el siguiente estado sirve como un proxy válido para la acción oculta.