Resumen Técnico: Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning (DROL)

1. El Problema: El Conflicto de la "Correspondencia Punto a Punto"

En el Aprendizaje por Refuerzo (RL) fuera de línea (offline RL), el objetivo es mejorar una política utilizando un conjunto de datos fijo, asegurándose de que la nueva política no se desvíe hacia regiones de acciones que el conjunto de datos no respalda (evitando el distributional shift).

Los métodos actuales de extracción de un solo paso (one-step extraction) intentan destilar una política "maestra" iterativa (más potente pero lenta) en una política "estudiante" rápida. El problema identificado por los autores es que estos métodos imponen una correspondencia punto a punto entre el ruido latente ($z$) y la acción del maestro ($\tilde{a}$).

Esto crea un conflicto estructural: durante el entrenamiento, la misma salida de la red debe cumplir dos funciones contradictorias:

1. Mejorar el valor Q (moverse hacia acciones con mayor recompensa esperada).
2. Mantenerse cerca del maestro (reconstrucción de la acción original).

Si la acción que maximiza $Q$ es cercana pero distinta a la del maestro, la pérdida de entrenamiento obliga a la política a un "compromiso" mediocre, impidiendo que la política aproveche mejoras locales que aún están dentro del soporte de los datos.

2. Metodología: DROL (Dynamic Routing)

Los autores proponen DROL, un método que cambia el enfoque de "preservar la correspondencia con el maestro" a "preservar el soporte local de las acciones".

El mecanismo de Enrutamiento Dinámico (Dynamic Routing):

En lugar de intentar que un solo ruido latente $z$ produzca una acción específica, DROL utiliza un conjunto de candidatos durante el entrenamiento:

1. Generación de Candidatos: Para cada estado $s$, el actor genera un conjunto de $K$ acciones candidatas $\{\hat{a}_1, \dots, \hat{a}_K\}$ mediante diferentes muestras de un espacio latente acotado.
2. Enrutamiento (Routing): Para cada par $(s, a)$ del conjunto de datos, se identifica cuál de los $K$ candidatos es el más cercano en términos de distancia euclidiana:
   $$k^*(s, a) = \arg \min_{k \in [K]} \|\hat{a}_k - a\|^2_2$$
3. Actualización Selectiva (Winner-only update): Solo el candidato "ganador" (el más cercano) recibe la actualización de gradiente. La pérdida combina:
   • Behavior Cloning (BC): Para anclar al ganador al soporte de los datos.
   • Guía del Crítico (Q-improvement): Para empujar al ganador hacia acciones de mayor valor.

Propiedad de Transferencia de Responsabilidad:

A diferencia de los métodos tradicionales, en DROL la "propiedad" de una región de acciones puede cambiar. Si un candidato se mueve hacia una acción con mayor $Q$, otro candidato puede "heredar" la responsabilidad de cubrir la región de datos que el primero dejó atrás. Esto permite que la política se optimice sin perder el soporte de los datos.

3. Contribuciones Clave

• Identificación de una restricción innecesaria: Demuestran que la correspondencia fija entre latente y maestro es un obstáculo para la optimización en entornos multimodales.
• Nuevo paradigma de regularización: Introducen el uso de conjuntos de candidatos con enrutamiento dinámico como un sustituto del soporte local.
• Eficiencia en inferencia: Aunque el entrenamiento es complejo (usa $K$ candidatos), la inferencia sigue siendo de un solo paso (un solo muestreo latente), lo que la hace extremadamente rápida y barata para despliegue.

4. Resultados Experimentales

El método fue evaluado en los benchmarks OGBench (multimodal y complejo) y D4RL.

• Rendimiento en OGBench: DROL es altamente competitivo con los métodos de múltiples pasos (iterativos), que son mucho más lentos. Supera significativamente a la línea base FQL en múltiples grupos de tareas, especialmente en entornos de navegación complejos como antmaze-giant.
• Escalabilidad con $K$: Los experimentos muestran que aumentar el número de candidatos ($K$) no causa el colapso de la política (donde todos los candidatos se vuelven iguales), sino que permite una mejor cuantización del soporte local y una mayor capacidad de especialización.
• Eficiencia: DROL mantiene el costo de inferencia de un modelo de un solo paso, mientras que los métodos iterativos son órdenes de magnitud más lentos.

5. Significado y Conclusión

La importancia de este trabajo radica en su capacidad para desacoplar la mejora de la política de la restricción de reconstrucción. Al permitir que la responsabilidad de representar los datos "fluya" entre diferentes candidatos latentes, DROL permite que las políticas de un solo paso alcancen niveles de rendimiento que antes solo eran posibles con métodos de muestreo iterativo costosos. Es un avance crucial para la implementación de agentes de RL rápidos y capaces en entornos del mundo real.