🤖 machine learning

Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation

Este artículo propone un marco ligero llamado Conservative Query and Adaptive Regularization under Uncertainty Estimation, el cual aprovecha una red Morse para estimar la incertidumbre de la acción con el fin de guiar consultas de preferencia informativas y ajustar dinámicamente las restricciones a nivel de datos, mejorando así el rendimiento del aprendizaje por refuerzo fuera de línea en el benchmark D4RL.

Autores originales: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a caminar, pero no puedes dejar que practique en el mundo real. Tal vez es demasiado caro, demasiado peligroso o el robot podría romper algo. En su lugar, le das al robot una biblioteca gigante de videos de alguien más caminando. Este es el mundo del Aprendizaje por Refuerzo Fuera de Línea (Offline Reinforcement Learning). El robot tiene que aprender una estrategia solo observando estos videos viejos, sin tener que dar ni un paso por su cuenta. La parte difícil es que el robot podría intentar copiar un movimiento que vio en el video, pero si intenta hacer algo ligeramente diferente que no estaba en la biblioteca, podría confundirse o caerse. Esto se llama el problema del "desplazamiento de distribución" (distribution shift): el robot está adivinando sobre cosas que no ha visto antes.

Para hacer al robot más inteligente, los científicos a veces le permiten pedir ayuda a un experto humano. Imagina que el robot dice: "¿Debería dar un paso a la izquierda o a la derecha?", y el experto dice: "Izquierda es mejor". Esto se llama una consulta de preferencia de acción (action preference query). Es como recibir una pista sin tener que salir realmente a probar el movimiento por ti mismo. Sin embargo, hay un inconveniente: si el robot pregunta por un movimiento que es demasiado extraño o lejano de lo que vio en el video, el consejo del experto podría realmente confundir la matemática interna del robot, haciendo que aprenda lo incorrecto. La gran pregunta es: ¿cómo pedimos el tipo correcto de ayuda sin meter al robot en problemas?

Este artículo presenta un nuevo y astuto sistema llamado CQ2L (Q-Learning de Consulta Conservadora) para resolver exactamente ese problema. Los autores, Li-Rong Zhou, Qin-Wen Luo y Sheng-Jun Huang, de la Universidad de Aeronáutica y Astronáutica de Nanjing, se dieron cuenta de que los métodos anteriores eran un poco temerarios. Pedían consejos sobre cualquier movimiento que el robot pensara, incluso si ese movimiento era totalmente ajeno a los videos de entrenamiento. Esto a menudo causaba que el robot se "emborrachara" con malos consejos y tropezara.

Los autores proponen una red de seguridad de dos partes para solucionar esto. Primero, utilizan una herramienta especial llamada red neuronal Morse. Piensa en esto como un "detector de rarezas". Antes de que el robot pida ayuda, este detector comprueba: "¿Es este nuevo movimiento algo que hemos visto antes, o es totalmente ajeno?". Si el movimiento es demasiado ajeno (fuera de la distribución), el sistema dice: "No, no preguntes sobre eso; es demasiado arriesgado". Solo permite que el robot pregunte por movimientos que estén cerca de los que hay en la biblioteca de videos. Esta es la Consulta Conservadora.

Segundo, incluso cuando el robot recibe un buen consejo, el sistema necesita saber cuánto escucharlo. Los autores crearon un sistema de Regularización Adaptativa. Imagina que el robot tiene una perilla de volumen para el consejo del experto. Si el robot está haciendo algo muy familiar (seguro), el volumen se baja porque el robot puede aprender perfectamente de los datos del video por sí solo. Pero si está intentando algo ligeramente nuevo pero aún seguro, el volumen se sube para dejar que el consejo del experto lo guíe. Si el robot intenta algo peligroso, el sistema sube el volumen al máximo para obligarlo a volver a la seguridad. Este ajuste dinámico evita que el robot sea demasiado obstinado o demasiado influenciable.

Los investigadores probaron esta idea en un benchmark famoso llamado D4RL, que incluye tareas como hacer que un guepardo virtual corra o que una hormiga navegue por un laberinto. Compararon su método contra otros algoritmos de alto nivel. Los resultados mostraron que su enfoque de "preguntas inteligentes" funcionó mejor que el aprendizaje fuera de línea estándar. De hecho, funcionó tan bien como, o a veces incluso mejor que, los métodos que se les permite practicar en el mundo real durante mucho tiempo, pero lo hicieron con muchísimas menos "preguntas" (solo 90,000 consultas de preferencia frente a los 250,000 pasos de práctica en el mundo real de otros métodos).

El artículo argumenta explícitamente en contra de la vieja forma de simplemente pedir consejo sobre cualquier movimiento aleatorio, mostrando que esto conduce a un aprendizaje inestable y malos resultados. Sugieren que, al ser cuidadosos con qué preguntas y cómo escuchas, puedes obtener lo mejor de ambos mundos: la seguridad de aprender de una biblioteca estática y el impulso de la guía de un experto, sin el riesgo de que el robot se estrelle. Sus experimentos en el benchmark D4RL sugieren que este enfoque es una forma sólida y confiable de hacer que el aprendizaje fuera de línea sea más inteligente y seguro.

Resumen Técnico: Consulta Conservadora y Regularización Adaptativa para RL Offline bajo Estimación de Incertidumbre

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Offline tiene como objetivo aprender políticas efectivas a partir de conjuntos de datos estáticos sin interacción adicional con el entorno. Sin embargo, el rendimiento está fundamentalmente limitado por la cobertura del conjunto de datos. Un desafío principal es el desplazamiento de distribución (distribution shift), donde la política aprendida selecciona acciones fuera de la distribución (OOD), lo que conduce a estimaciones de valor inexactas y a la propagación de errores.

Si bien los mecanismos de consulta de preferencia de acción (action preference query) ofrecen una forma de mejorar las políticas utilizando la retroalimentación de un experto (comparando pares de acciones) sin interacción online, los métodos existentes (por ejemplo, OAP [41]) enfrentan dos limitaciones críticas:

Desplazamiento de Consulta (Query Shift): Las estrategias existentes seleccionan las acciones consultadas basándose únicamente en la distancia euclidiana al conjunto de datos. Esto puede resultar en la selección de acciones muy alejadas de la distribución del conjunto de datos (OOD). En los métodos de regularización de valor, esto induce una estimación de valor inexacta y actualizaciones de política inestables, ya que el término de regularización puede elevar erróneamente los valores Q de las acciones OOD.
Explotación Ineficiente: Los enfoques actuales tratan las preferencias consultadas como restricciones estáticas durante todo el entrenamiento. No logran ajustar dinámicamente la dependencia de estas preferencias a medida que la política mejora, aplicando a menudo restricciones innecesarias a acciones fiables o fallando en aprovechar el potencial optimista de las actualizaciones de Bellman para acciones dentro de la distribución.

2. Metodología

Los autores proponen un marco ligero que integra Consulta Conservadora y Regularización Adaptativa bajo Estimación de Incertidumbre. Los componentes principales son:

A. Estimación de Incertidumbre mediante Redes Neuronales Morse
El método emplea una Red Neuronal Morse [10, 4, 45, 33] como un estimador de incertidumbre pre-entrenado.

Entrenamiento: La red se entrena en el conjunto de datos offline $D$ para producir una "puntuación Morse" $M_\phi(s, a) \in [0, 1]$ . Una puntuación de 1 indica que la acción se encuentra en la subvariedad del modo de la distribución de los datos, mientras que puntuaciones más bajas indican desviación (mayor incertidumbre/grado OOD).
Mecanismo: La red minimiza la divergencia KL entre la distribución de los datos y la salida de la red, cuantificando efectivamente la certeza de que un par estado-acción se origina en el conjunto de datos offline.

B. Consulta Conservadora Impulsada por la Incertidumbre
Para prevenir el desplazamiento de consulta, el marco filtra las acciones candidatas antes de consultar a un oráculo (por ejemplo, la función Q de una política más fuerte).

Estrategia de Selección: En lugar de una selección simple basada en la distancia, el método clasifica las acciones candidatas por su divergencia respecto al conjunto de datos pero las filtra utilizando un umbral consciente del conjunto de datos $\delta = \mu - n\sigma$ (donde $\mu$ y $\sigma$ son la media y la desviación estándar de las puntuaciones Morse en el conjunto de datos).
Restricción: Solo las acciones con $M_\phi(s, \hat{a}) > \delta$ se retienen para la consulta de preferencias. Esto asegura que las acciones consultadas permanezcan cerca de la distribución del conjunto de datos, preservando la estabilidad de las actualizaciones de Bellman y evitando la sobreestimación de los valores OOD.

C. Regularización Adaptativa Consciente de la Incertidumbre
Para utilizar eficazmente la información de preferencia, el método reemplaza los coeficientes de regularización fijos por otros dependientes de los datos.

Modulación Dinámica: La fuerza de la regularización $\alpha(s, a)$ $α (s, a)$ se ajusta dinámicamente basándose en la puntuación Morse de la acción de la política actual.
- Alta Confianza In-Distribution: Si una acción está cerca del conjunto de datos (alta puntuación Morse), la fuerza de la regularización se reduce (acercándose a 0), permitiendo que la política se beneficie plenamente de las actualizaciones optimistas de Bellman.
- Baja Confianza In-Distribution: Si una acción es OOD (baja puntuación Morse), se aplica una regularización más fuerte para guiar la política de vuelta hacia la distribución del conjunto de datos.
Escalamiento No Lineal: Para asegurar un poder discriminativo (ya que el escalamiento lineal suele resultar en restricciones débiles), se introduce una función de escalamiento no lineal para modular la fuerza de la regularización basada en la distribución de las puntuaciones Morse.

D. Integración con CQL
El marco se integra en Conservative Q-Learning (CQL), un algoritmo representativo de regularización de valor. El algoritmo resultante, Conservative Query Q-Learning (CQ2L), modifica el objetivo de CQL para incluir el término de regularización adaptativa y actualiza las acciones preferidas $\tilde{a}$ basándose en el mecanismo de consulta conservadora.

3. Contribuciones Clave

Estimación de Incertidumbre Basada en Morse: La introducción de Redes Neuronales Morse para cuantificar el grado OOD de las acciones candidatas en relación con el conjunto de datos offline, sirviendo como base tanto para la consulta como para la regularización.
Consulta Conservadora Impulsada por la Incertidumbre: Un mecanismo que filtra los candidatos de consulta para asegurar que permanezcan dentro de la distribución del conjunto de datos, mitigando el desplazamiento de consulta y estabilizando la estimación de valor en los marcos de regularización de valor.
Regularización Adaptativa Consciente de la Incertidumbre: Un mecanismo de restricción dinámica que equilibra la regularización pesimista con las actualizaciones optimistas de Bellman basándose en la fiabilidad de las acciones de la política actual, evitando restricciones ineficaces en las acciones in-distribution.
Extensión a la Regularización de Valor: Extensión exitosa del paradigma de consulta de preferencia de acción desde los métodos de restricción de política hacia los métodos de regularización de valor (específicamente CQL), un dominio donde los métodos de consulta previos presentaban dificultades.

4. Resultados Experimentales

El método fue evaluado en el benchmark D4RL, cubriendo tareas de locomoción de MuJoCo y navegación de AntMaze.

Rendimiento Offline: CQ2L logró un rendimiento superior o competitivo comparado con los baselines de estado del arte de RL offline (incluyendo AWAC, IQL, CQL, TD3+BC) y el método previo de consulta de preferencia de acción (OAP). Notablemente, logró una puntuación normalizada promedio de 91.4 en tareas de MuJoCo y 75.8 en tareas de AntMaze, superando a OAP (89.9 y 69.3 respectivamente en el esquema offline).
Eficiencia de Offline-to-Online (O2O): En el escenario O2O, CQ2L utilizó solo 90,000 consultas de preferencia (significativamente menos que los 250,000 pasos de interacción online utilizados por los baselines de ajuste fino y menos que las 100,000 consultas de OAP). A pesar de esto, superó a la mayoría de los baselines que pasaron por un extenso ajuste fino online y logró resultados comparables o mejores que el CQL ajustado con precisión.
Estudios de Ablación: Los experimentos confirmaron que tanto el componente de Consulta Conservadora (CQ) como el de Regularización Adaptativa (AR) son esenciales.
- En tareas de recompensa densa y baja dimensión (MuJoCo), la Regularización Adaptativa fue crucial para aprovechar las actualizaciones de Bellman.
- En tareas de recompensa dispersa y alta dimensión (AntMaze), la Consulta Conservadora fue vital para prevenir la sobreestimación de acciones OOD y facilitar el "ensamblaje de trayectorias" (trajectory stitching) dentro de la variedad de los datos.

5. Significado y Reivindicaciones

El artículo afirma que el marco propuesto aborda la inestabilidad fundamental de integrar consultas de preferencia de acción en métodos de regularización de valor. Al aprovechar la estimación de la incertidumbre, el método:

Mitiga el Desplazamiento de Consulta (Query Shift): Asegura que las consultas de preferencia no desestabilicen la función de valor al restringir las consultas a la región in-distribution.
Optimiza la Utilización de la Información: Equilibra dinámicamente el compromiso entre las restricciones conservadoras y la naturaleza optimista de las actualizaciones de Bellman, asegurando que la información de preferencia se utilice de manera efectiva sin obstaculizar el aprendizaje en las acciones fiables.
Amplía la Aplicabilidad: Demuestra que las consultas de preferencia de acción pueden adaptarse con éxito a algoritmos de regularización de valor, ofreciendo una nueva dirección para mejorar el rendimiento de RL offline sin los costos y riesgos de la interacción online.

Los autores concluyen que su método proporciona una solución robusta y ligera que logra un rendimiento superior en diversas tareas, validando la efectividad de combinar la consulta impulsada por la incertidumbre con la regularización adaptativa.