Resumen Técnico: Representaciones Basadas en Modelos Desviadas para Control Continuo Eficiente en Muestras

Declaración del Problema

Los agentes de aprendizaje por refuerzo (RL) a menudo sufren de ineficiencia en el uso de muestras, requiriendo interacciones en línea extensas para aprender políticas efectivas. Si bien los métodos libres de modelos han mejorado la eficiencia mediante diversas técnicas, los enfoques basados en modelos ofrecen una mayor eficiencia en el uso de muestras al aprender la dinámica del entorno, pero incurren en altos costos de entrenamiento. Los enfoques híbridos recientes intentan aprender representaciones basadas en modelos (incrustando dinámicas latentes en representaciones de estado-acción) para alimentar redes actor-crítico aguas abajo, combinando los beneficios de ambos paradigmas.

Sin embargo, los autores identifican dos fuentes críticas de sesgo en los métodos existentes de representación basada en modelos que conducen a un rendimiento subóptimo:

1. Sesgo de Representación: Los métodos existentes típicamente minimizan la desviación numérica (por ejemplo, Error Cuadrático Medio) entre la representación actual de estado-acción ($z_{sa}$) y la representación del siguiente estado ($z_{s'}$). Los autores argumentan que minimizar la distancia euclidiana no maximiza inherentemente la información mutua entre estas representaciones. En consecuencia, las representaciones aprendidas pueden fallar en capturar información relevante suficiente o pueden sobreajustarse a elementos redundantes, particularmente en espacios de alta dimensionalidad.
2. Sesgo de Muestreo: Las estrategias estándar de repetición de experiencias, como el muestreo uniforme o la Repetición Priorizada de Experiencias (PER), son susceptibles al sesgo de primacía. PER favorece las transiciones con grandes errores de diferencia temporal (TD), que a menudo corresponden a experiencias tempranas, potencialmente subóptimas. Esto hace que el agente se sobreajuste a datos tempranos que pueden desviarse significativamente de la distribución actual de la política, lo que conduce a inestabilidad en el entrenamiento y un rendimiento inferior.

Metodología: El Algoritmo DR.Q

Para abordar estos problemas, los autores proponen DR.Q (Representaciones Basadas en Modelos Desviadas para Q-learning), un algoritmo de RL fuera de política diseñado para aprender representaciones basadas en modelos informativas. El marco separa el proceso de aprendizaje en dos fases: (i) aprender representaciones de estado y estado-acción utilizando objetivos basados en modelos, y (ii) optimizar funciones de valor y políticas aguas abajo.

1. Maximización de Información Mutua en el Aprendizaje de Representaciones

DR.Q modifica el objetivo de entrenamiento del codificador para maximizar explícitamente la información mutua entre la representación de estado-acción ($z_{sa}$) y la representación del siguiente estado ($z_{s'}$), además de minimizar su desviación.

• Pérdida de Consistencia Latente: Minimiza el MSE entre la representación del siguiente estado predicha y la representación del siguiente estado objetivo.
• Pérdida de Información Mutua: Para evitar la intratabilidad del cálculo directo de la información mutua, DR.Q emplea la pérdida InfoNCE (una cota inferior de la información mutua). Esta pérdida fomenta que las representaciones no solo estén numéricamente cercanas, sino que también codifiquen conocimiento compartido e informativo sobre las dinámicas latentes.
• Justificación Teórica: Los autores demuestran (Teorema 4.1) que minimizar el MSE no garantiza un aumento de la información mutua. Además, muestran (Lema 4.2) que maximizar la información mutua reduce estrictamente la entropía condicional del siguiente estado dado el estado-acción actual, lo que conduce a un modelo de dinámicas latentes más determinista y discriminativo, lo cual estrecha la cota superior del error de estimación de valor.

2. Repetición Priorizada de Experiencias Desvanecida (Faded PER)

DR.Q introduce una estrategia de muestreo novedosa para mitigar el sesgo de primacía combinando la Repetición Priorizada de Experiencias (PER) con un mecanismo de olvido.

• Mecanismo: La probabilidad de muestreo $P(i)$ para una transición $e_i$ es proporcional al producto de la magnitud de su error TD y un factor de decaimiento basado en su antigüedad en el búfer de repetición:
  $$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$$
  donde $\delta(i)$ es el error TD, $\alpha$ es un coeficiente de suavizado y $\epsilon$ es la tasa de decaimiento.
• Efecto: Esta estrategia asigna alta prioridad a las transiciones que son tanto nuevas (agregadas recientemente) como informativas (grandes errores TD). Asegura que las experiencias más antiguas, incluso si tuvieron grandes errores inicialmente, sean gradualmente despriorizadas a medida que evoluciona la política, evitando que el agente se sobreajuste a datos obsoletos.
• Análisis Teórico: Los autores proporcionan cotas teóricas (Teorema 4.3) que muestran que bajo Faded PER, la probabilidad de muestreo de experiencias antiguas con errores TD idénticos es estrictamente menor que la de las nuevas, y los tiempos de muestreo esperados para experiencias antiguas están acotados.

Contribuciones Clave

1. Algoritmo DR.Q: Un algoritmo general de RL fuera de política que aprende representaciones basadas en modelos utilizando un único conjunto de hiperparámetros en diversos puntos de referencia de control continuo.
2. Aprendizaje de Representaciones Desviadas: La introducción de una pérdida de información mutua basada en InfoNCE para complementar las pérdidas estándar de consistencia latente, asegurando que las representaciones sean suficientemente informativas y expresivas.
3. Repetición Priorizada de Experiencias Desvanecida: Una estrategia de muestreo que equilibra efectivamente los beneficios de priorizar transiciones de alto error con la necesidad de olvidar experiencias obsoletas, mitigando así el sesgo de primacía.
4. Evaluación Exhaustiva: Validación empírica extensa a través de 73 tareas de tres puntos de referencia estándar (MuJoCo, DMC Suite y HumanoidBench), demostrando robustez y generalización.

Resultados Experimentales

Los autores evaluaron DR.Q frente a líneas base sólidas, incluyendo métodos libres de modelos (por ejemplo, SimBaV2, FoG, TD7) y métodos basados en modelos (por ejemplo, MR.Q, TDMPC2, DreamerV3).

• Rendimiento: DR.Q coincide o supera consistentemente a las líneas base más avanzadas. Las mejoras notables incluyen:
  • Una ganancia del 15.5% sobre SimBaV2 en tareas DMC-Hard.
  • Una mejora del 58.9% sobre FoG en tareas de HumanoidBench (con manos dexterosas).
  • Una ventaja del 26.8% sobre MR.Q en tareas DMC-Visual.
• Eficiencia en Muestras: DR.Q logra una eficiencia en muestras superior, superando a menudo a las líneas base por un margen amplio. Por ejemplo, es el primer método reportado que logra un retorno promedio superior a 700 en la desafiante tarea dog-run dentro de 1 millón de pasos del entorno.
• Estudios de Ablación: Los experimentos confirman que eliminar la pérdida InfoNCE o el mecanismo Faded PER conduce a una degradación significativa del rendimiento, particularmente en tareas de alta dimensionalidad con información de estado redundante (por ejemplo, HumanoidBench con manos).
• Calidad de la Representación: Las visualizaciones t-SNE indican que DR.Q aprende clusters más continuos y concentrados en comparación con MR.Q, sugiriendo un mejor aprendizaje estructural del espacio latente.

Significado y Afirmaciones

El artículo afirma que DR.Q representa un paso concreto hacia la construcción de algoritmos de RL libres de modelos de alto rendimiento y generales. Al abordar explícitamente los sesgos en el aprendizaje de representaciones (mediante la maximización de la información mutua) y la repetición de experiencias (mediante Faded PER), DR.Q logra un rendimiento sólido sin requerir ajuste de hiperparámetros específico de la tarea ni cambios arquitectónicos complejos.

Los autores señalan limitaciones, como un rendimiento inferior en tareas específicas como Hopper-v4 (atribuido al uso de hiperparámetros unificados) y desafíos en tareas visales extremadamente difíciles como humanoid-run dentro del presupuesto de entrenamiento limitado. También reconocen que el algoritmo no está diseñado para exploración difícil o tareas no markovianas. A pesar de estas limitaciones, el trabajo demuestra que desviar las representaciones basadas en modelos es un camino viable para mejorar la eficiencia en muestras en el control continuo.