🤖 machine learning

Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning

Este artículo presenta el Aprendizaje Q de n-pasos con expectiles (ENQ), un algoritmo de aprendizaje por refuerzo fuera de política que emplea una pérdida de expectil asimétrica para mitigar el sesgo pesimista inherente a los retornos de múltiples pasos, ofreciendo garantías teóricas de contracción y un rendimiento empírico superior en diversas tareas en comparación con métodos existentes como el Aprendizaje Q de largo horizonte.

Autores originales: Abdelghani Ghanem, Mounir Ghogho

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Abdelghani Ghanem, Mounir Ghogho

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a navegar por un laberinto gigante y complejo. No puedes recorrer cada camino con él; en su lugar, le entregas un cuaderno de bitácora con los trayectos realizados por otros robots, algunos de los cuales eran expertos y muchos de los cuales simplemente deambulaban sin rumbo. Este es el mundo del aprendizaje por refuerzo fuera de línea (offline reinforcement learning): una rama de la inteligencia artificial donde un agente aprende de datos pasados en lugar de mediante el ensayo y error en vivo. El objetivo es determinar los mejores movimientos para alcanzar una recompensa, como encontrar la salida o agarrar un objeto.

Para aprender rápidamente, estos robots utilizan un truco llamado retornos de n-pasos (multi-step returns). En lugar de mirar solo un paso adelante para ver si un movimiento fue bueno, miran varios pasos a la vez, como leer un capítulo entero de una historia para entender la trama, en lugar de solo una oración. Esto ayuda a que las recompensas se propaguen más rápido a través del sistema. Sin embargo, hay un inconveniente: si el cuaderno de bitácora contiene muchos caminos malos tomados por robots torpes, mirar demasiado hacia adelante puede hacer que el aprendiz sea excesivamente pesimista. Empieza a pensar: "Si tomo este paso, terminaré en uno de esos caminos terribles", y se niega a correr riesgos, incluso si existe un buen camino. Este artículo aborda ese problema específico: cómo mantener la velocidad de mirar lejos hacia adelante sin quedarse atrapado en el pesimismo de los malos datos pasados.

Los investigadores proponen un nuevo método llamado Q-learning de n-pasos con expectiles (ENQ). Piensa en aprender de un cuaderno de bitácora como intentar adivinar el marcador final de un partido de deportes basándote en una temporada de partidos pasados. Un enfoque estándar podría tomar el promedio de todos los juegos que siguen a una jugada específica. Pero si el cuaderno de bitácora está lleno de juegos donde el equipo perdió estrepitosamente, ese promedio será bajo, lo que desanima al jugador a intentar esa jugada de nuevo. ENQ cambia las reglas del juego. En lugar de calcular el promedio, calcula un "expectil superior". En lenguaje sencillo, esto significa que ignora los peores resultados y se enfoca en los escenarios mejores, más optimistas, que sí ocurrieron en el cuaderno de bitácora. Es como un entrenador que, al revisar la historia de un jugador, dice: "Ignora los días en que jugaste mal; enfoquémonos en los días en que jugaste bien y descubramos cómo llegar allí de nuevo".

El artículo muestra que este método es matemáticamente sólido. Los autores demuestran que el sistema ENQ es estable y eventualmente se asentará en una estrategia confiable, incluso cuando mira lejos hacia el futuro. También demuestran que, bajo ciertas condiciones, este método puede recuperar perfectamente la mejor estrategia posible si los datos contienen al menos un buen camino. En el mundo real, probaron ENQ en 27 tareas diferentes, que iban desde brazos robóticos apilando cubos hasta robots humanoides navegando por laberintos gigantes. Encontraron que ENQ es competitivo con, y a menudo mejor que, el método actual de vanguardia (llamado LQL), especialmente cuando utiliza un gran equipo de "críticos" (múltiples modelos de IA trabajando juntos) para tomar decisiones.

Uno de los hallazgos más interesantes trata sobre la velocidad. Debido a que ENQ es más simple y no necesita revisar cada uno de los pasos de un camino largo como otros métodos, funciona más rápido. En sus pruebas, ENQ procesó pasos de entrenamiento aproximadamente entre 1.27 y 1.77 veces más rápido que la competencia, dependiendo de cuántos modelos de IA había en el equipo. Esto sugiere que, al ser más inteligentes sobre qué partes de los datos pasados enfocarse, el robot aprende más rápida y efectivamente.

Los autores también exploraron qué tan "optimista" debe ser el método. Probaron una configuración donde el método mira los mejores resultados (un nivel de "expectil" alto) frente a una visión más equilibrada. Encontraron que, si bien ser muy optimista funciona bien para algunas tareas, puede ser arriesgado para otras si los datos tienen ruido. Sin embargo, una configuración de punto medio (específicamente un nivel de expectil de 0.8) funcionó consistentemente bien en casi todas las tareas sin necesidad de ser ajustada para cada laberinto o robot específico.

En resumen, este artículo introduce una forma ingeniosa de enseñar a los robots a partir de registros antiguos, ignorando los peores escenarios y enfocándose en los mejores que realmente ocurrieron. Es un método que está matemáticamente probado que es estable, más rápido de ejecutar y altamente efectivo para enseñar a los robots a navegar entornos complejos, ofreciendo un camino prometedor hacia la creación de agentes de IA que puedan aprender de manera eficiente a partir de experiencias pasadas imperfectas.

Resumen Técnico: Aprendizaje por Diferencia de Q de Pasos Múltiples con Expectiles Superiores para Aprendizaje por Refuerzo Fuera de Política

Planteamiento del Problema

El aprendizaje por refuerzo (RL) basado en valores fuera de política (off-policy) tiene como objetivo aprender políticas mejoradas a partir de la experiencia registrada por políticas previas o por operadores humanos. Si bien los retornos de múltiples pasos (n-step TD) aceleran la propagación de recompensas al acortar la cadena de bootstrapping efectiva, introducen un desafío significativo en entornos fuera de política: el sesgo pesimista.

En el n-step TD estándar, el objetivo para un par estado-acción $(s_t, a_t)$ incorpora las recompensas de las acciones registradas subsiguientes $a_{t+1:t+n-1}$ , las cuales son generadas por una política de comportamiento $\pi_\beta$ en lugar de la política objetivo que se está aprendiendo. Esto vincula la evaluación de la decisión inicial a las continuaciones subóptimas que le siguen. En datos fuera de política heterogéneos, esto induce un sesgo pesimista sistemático que crece con el horizonte $n$ , lo que potencialmente degrada el rendimiento en horizontes largos.

Los remedios existentes enfrentan limitaciones:

Variantes de Muestreo de Importancia (IS) (ej. Retrace, V-trace): Requieren verosimilitudes de acción, que a menudo no están disponibles o son costosas de calcular para políticas generativas expresivas (ej. modelos de difusión o de ajuste de flujo/flow-matching).
Aprendizaje de Q de Largo Horizonte (LQL): Utiliza desigualdades de optimalidad a nivel de trayectoria para restringir las estimaciones de valor. Aunque es efectivo, requiere evaluar los críticos en múltiples posiciones dentro de una trayectoria y construir restricciones por pares, lo que aumenta la carga computacional.

Los autores preguntan: ¿Se puede retener la rápida propagación de los backups de n-pasos reduciendo al mismo tiempo el sesgo fuera de política, utilizando únicamente las dos evaluaciones del crítico realizadas por una actualización estándar de n-pasos?

Metodología: Aprendizaje de Q de Pasos Múltiples con Expectiles (ENQ)

El artículo propone el Aprendizaje de Q de Pasos Múltiples con Expectiles (ENQ), una modificación del n-step TD estándar que reemplaza la pérdida de error cuadrático simétrico de la diferencia temporal (TD) por una pérdida de expectil asimétrica.

Mecanismo Central

En lugar de minimizar el error cuadrático del residuo TD, ENQ minimiza la pérdida de expectil asimétrica $\ell_\tau$ sobre el error del valor de acción:
$\ell_\tau(u) \triangleq |\tau - \mathbb{I}(u < 0)| u^2$
donde $\tau \in (0, 1)$ es el nivel del expectil.

Construcción del Objetivo: Para un segmento de longitud $n$ , el objetivo $Y_{t,n}$ se construye como la suma del retorno parcial $G_{t:t+n}$ y el valor de bootstrapping en $s_{t+n}$ :
$Y_{t,n} = G_{t:t+n} + \gamma^n \bar{Q}^\rho_\theta(s_{t+n}, a^*(s_{t+n}))$
donde $\bar{Q}^\rho_\theta$ es un promedio de conjunto (ensemble) conservador de los críticos de objetivo.
Función de Pérdida: El crítico $Q_\theta$ se entrena para ajustarse al $\tau$ -expectil de la distribución de estos objetivos de n-pasos condicionados a $(s_t, a_t)$ .
$L_{ENQ}(\theta) = \mathbb{E}_D \left[ v_t \cdot \frac{1}{K} \sum_{i=1}^K \ell_\tau(\delta_i) \right]$
donde $\delta_i = \text{sg}[Y_{t,n}] - Q_{\theta,i}(s_t, a_t)$ .

Decisiones de Diseño Clave

Ponderación Asimétrica: Para $\tau > 0.5$ , los residuos positivos (subestimación) reciben un peso $\tau$ , mientras que los negativos (sobreestimación) reciben un peso $1-\tau$ . Esto obliga al crítico a rastrear la cola superior de la distribución de los objetivos de n-pasos registrados, ignorando efectivamente las continuaciones deficientes causadas por acciones de comportamiento subóptimas, mientras retiene la señal de recompensa de múltiples pasos.
Sobrecarga Mínima: A diferencia de LQL, ENQ evalúa el crítico solo en el par inicial $(s_t, a_t)$ y en el estado de bootstrapping final $s_{t+n}$ . No requiere evaluaciones intermedias, verosimilitudes de acción, ni penalizaciones de pareja a nivel de trayectoria.
Hiperparámetros: El método introduce un único hiperparámetro específico del método, el nivel del expectil $\tau$ , además del horizonte de backup estándar $n$ .

Contribuciones Teóricas

El artículo proporciona un análisis teórico riguroso del operador ENQ $T^n_\tau$ :

Propiedad de Contracción: Se demuestra que el operador ENQ es una $\gamma^n$ -contracción para cualquier $\tau \in (0, 1]$ , asegurando la existencia de un punto fijo único y acotado $Q^n_\tau$ alcanzable mediante iteración.
Análisis de Dinámicas Deterministas:
- Descomposición del Sesgo: Bajo dinámicas deterministas, el pesimismo del n-step TD estándar (en $\tau=0.5$ ) se descompone exactamente en una suma de brechas de suboptimalidad descontadas de las acciones registradas intermedias.
- Optimalidad en $\tau=1$ : En $\tau=1$ , el sesgo del operador desaparece en los pares cubiertos en el soporte (donde la política de comportamiento coloca una probabilidad positiva en las continuaciones óptimas). El punto fijo $Q^n_1$ satisface la desigualdad de cota inferior utilizada por LQL mediante la construcción.
- Monotonicidad: El punto fijo $Q^n_\tau$ es no decreciente con respecto a $\tau$ y está acotado superiormente por la función de valor óptima $Q^*$ .
Análisis de Dinámicas Estocásticas:
- El sesgo del operador admite cotas de dos lados con constantes de ruido independientes del horizonte. El sesgo está acotado inferiormente por la deriva conductual (pesimismo) y superiormente por un término dependiente de la varianza de los retornos y el nivel del expectil $\tau$ .
- Se deriva un umbral de "seguridad" $\tau_{safe}$ para asegurar que el sesgo del operador permanezca no positivo (pesimista) bajo dinámicas estocásticas.

Resultados Experimentales

Los autores evaluaron ENQ en 27 instancias de tareas de OGBench y RoboMimic, cubriendo dominios de manipulación y navegación.

Configuración

Líneas Base: Comparación contra 1-step TD, n-step TD estándar y Long-Horizon Q-learning (LQL).
Configuración: Se utilizó un $\tau$ fijo de $0.8 $y$ n=4$ en todas las tareas sin ajuste específico de la tarea.
Extracción de Política: Evaluado con Flow Q-Learning (FQL) y variantes de fragmentos de acción (action-chunked).

Hallazgos Clave

Rendimiento: ENQ logró la mayor tasa de éxito media agregada en 4 de 5 comparaciones contra LQL. Se observaron ganancias notables en dominios complejos como cube-triple, humanoid-md y antmaze-giant.
Capacidad de Procesamiento (Throughput): En un estudio de perfilado controlado con horizontes y tamaños de lote emparejados, ENQ demostró un throughput de entrenamiento de 1.27x a 1.77x mayor que LQL. Esto se atribuye a que ENQ requiere menos evaluaciones del crítico por actualización (solo estados inicial y final vs. múltiples puntos en una trayectoria).
Escalado de Conjuntos (Ensemble): En un experimento de escalado aumentando el tamaño del conjunto del crítico de $K=2$ a $K=10$ , ENQ se benefició más significativamente que LQL, alcanzando una tasa de éxito del 78.0% frente al 59.1% de LQL en cube-triple.
Ablaciones:
- Nivel de Expectil: Los expectiles superiores ( $\tau > 0.5$ ) generalmente superaron a la línea base simétrica ( $\tau=0.5$ ). El $\tau$ óptimo tendió a aumentar con el horizonte $n$ .
- Colocación: Aplicar directamente la pérdida de expectil al error del valor de acción (ENQ) superó sustancialmente a una línea base de estilo IQL de n-pasos que dirigía la asimetría a través de una función de valor de estado auxiliar.
- Robustez: Bajo alto ruido estocástico ( $\sigma=0.25$ ), ENQ mantuvo un rendimiento superior (59.0% de éxito) comparado con LQL (5.4%) y el n-step TD estándar (48.4%).

Significado y Reivindicaciones

El artículo afirma que ENQ ofrece una alternativa simple, flexible y computacionalmente eficiente para los métodos existentes de múltiples pasos fuera de política. Su importancia radica en:

Reducción del Pesimismo sin Verosimilitudes: Mitiga el sesgo inducido por las acciones registradas subóptimas sin requerir verosimilitudes de acción o pesos de importancia, lo que lo hace compatible con las clases de políticas generativas modernas.
Eficiencia Computacional: Al evitar las restricciones a nivel de trayectoria y las evaluaciones intermedias del crítico, logra un mayor throughput de entrenamiento que los métodos basados en restricciones como LQL.
Fundamentación Teórica: Proporciona un vínculo teórico claro entre el nivel del expectil $\tau$ y la reducción del sesgo pesimista, mostrando que el punto fijo de $\tau=1$ satisface desigualdades de optimalidad similares a las impuestas por LQL, pero a través de un operador más simple.

Los autores concluyen que ENQ es un reemplazo competitivo y directo para el n-step TD simétrico que equilibra eficazmente la velocidad de propagación de recompensas con la reducción del sesgo en el aprendizaje por refuerzo fuera de política.