Resumen Técnico: Preentrenamiento Libre de Recompensa mediante la Maximización de la Cobertura de Ocupación

Planteamiento del Problema

Las recompensas dispersas presentan un desafío fundamental en el Aprendizaje por Refuerzo (RL), donde los agentes no reciben retroalimentación informativa hasta alcanzar un objetivo específico. Aunque los métodos de recompensa intrínseca (por ejemplo, novedad, error de predicción, diversidad de habilidades) intentan inyectar señales de supervisión, a menudo dependen de la capacidad de evaluar recompensas extrínsecas ya sea de forma online o mediante el etiquetado offline de las transiciones almacenadas. Esta suposición falla en entornos de múltiples tareas, meta-aprendizaje y aprendizaje continuo donde las interacciones son estrictamente libres de recompensa, y la función de recompensa descendente no está disponible hasta que el agente alcanza realmente un objetivo dependiente de la tarea.

Los objetivos existentes libres de recompensa suelen sufrir de no estacionariedad. Los métodos que optimizan el emparejamiento de la marginal de estados, el error de predicción o la diversidad de habilidades pueden descubrir estados diversos durante el preentrenamiento, pero fallan en mantener una política cuya ocupación de estado descontada esté ampliamente distribuida. En su lugar, la política final tiende a concentrarse en regiones pequeñas o exhibe un comportamiento oscilatorio de "expansión-colapso", no proporcionando una inicialización robusta para tareas de recompensa dispersa descendentes.

Metodología: ROVER

Los autores proponen ROVER (Reward-free pretraining via Occupancy coVERage maximization), un algoritmo diseñado para preentrenar políticas de exploración transferibles que maximicen la cobertura del espacio de estados sin requerir una distribución objetivo o la evaluación de una recompensa offline.

1. Objetivo: Maximización de la Cobertura de Ocupación

ROVER formula el objetivo de preentrenamiento como la minimización de la autosimilitud de la medida de ocupación de estado descontada $d^\pi$ dentro de un Espacio de Hilbert de Núcleo Reproductor (RKHS).

• Formulación: El objetivo se define como $J(\pi) = \|\mu_{d^\pi}\|_H^2$, donde $\mu_{d^\pi}$ es la incrustación de la media del núcleo de la medida de ocupación.
• Equivalencia Teórica:
  • Minimizar esta norma es equivalente a maximizar la entropía de Rényi métrica de orden 2.
  • En el entorno tabular con un núcleo Dirac, es equivalente a minimizar la distancia de Discrepancia de Máximo Medio (MMD) hacia una distribución uniforme, promoviendo efectivamente una cobertura uniforme sin definir explícitamente un objetivo uniforme.
  • En espacios de representación aprendidos, promueve la diversidad en la geometría inducida por la representación.

2. Implementación Algorítmica

ROVER aprovecha la formulación operatoria del RL para hacer que el objetivo sea computable y diferenciable en forma cerrada. El algoritmo alterna entre la recolección de datos y tres pasos:

• Aprendizaje de Representación: Se aprende un mapa de características $\phi_\theta$ a partir de los datos de transición utilizando una pérdida contrastiva InfoNCE para alinear las representaciones del siguiente estado predicho con los estados siguientes reales. Esto define la geometría para el objetivo de cobertura.
• Estimación del Modelo de Mundo (Operador de Transición): El algoritmo estima un operador de transición elevado $\hat{T}_n$ utilizando Regresión de Núcleo de Ridge (KRR) sobre las representaciones aprendidas. Este operador mapea las características de estado-acción a incrustaciones del siguiente estado en forma cerrada.
• Descenso de Espejo de Política (PMD): La política se actualiza para minimizar el objetivo $J(\pi)$ utilizando el Descenso de Espejo de Política. El gradiente del objetivo se deriva en forma cerrada utilizando el resolvente del operador de transición, lo que permite actualizaciones eficientes sin estimación de gradiente basada en muestreo.

3. Aumento del Estado Sumidero (Sink-State Augmentation)

Un componente crítico de ROVER es la introducción de un estado "sumidero" virtual ($s_{S_\epsilon}$) para manejar las regiones del espacio de estados no soportadas por los datos actuales.

• Mecanismo: El espacio de estados se aumenta con un estado sumidero absorbente. El operador de transición se estima utilizando un problema de ridge desplazado que encamina los residuales no explicados (predicciones para pares de estado-acción no vistos) hacia este estado sumidero en lugar de hacia un vector cero.
• Estabilización: Esto evita el comportamiento de "expansión-colapso" donde una política oscila entre descubrir nuevas regiones y olvidar las regiones previamente cubiertas. El estado sumidero impone un costo a la asignación de ocupación a regiones no soportadas, equilibrando la exploración con la retención de la cobertura conocida.
• Descomposición del Objetivo: El objetivo total se descompone en la norma de la ocupación en el espacio original más un término de penalización proporcional a la masa asignada al estado sumidero, controlado por un hiperparámetro $\epsilon$.

Contribuciones Clave

1. Formulación Libre de Objetivo: El artículo formaliza la cobertura de ocupación como un objetivo de RKHS libre de objetivo para la transferencia de comportamiento libre de recompensa, vinculándolo con el emparejamiento MMD, la diversidad de Rényi-2 y la minimización de energía de teoría de potenciales.
2. Actualización de Política Basada en Operadores: Los autores derivan una actualización de política en forma cerrada, basada en operadores, para minimizar este objetivo utilizando un modelo de mundo de resolvente aprendido, evitando los problemas de no estacionariedad de los métodos basados en proxies.
3. Aumento de Estado Sumidero: La introducción de un estado sumidero virtual estabiliza la cobertura bajo datos parciales, evitando el comportamiento cíclico de expansión-colapso y asegurando que la política retenga la cobertura de las regiones visitadas previamente.

Resultados Experimentales

Los autores evalúan ROVER en entornos de navegación dispersa, totalmente observables (tabulares y basados en píxeles), diseñados para aislar cuellos de botella topológicos (ej. Middle-Room, Multi-Rooms, Maze).

• Eficiencia de Cobertura: ROVER logra la cobertura total del espacio de estados significativamente más rápido que los modelos base (RND, SMM, APT, MAXENT, CIC) cuando se entrena desde cero.
• Estabilidad y Transferencia: A diferencia de los modelos base que pueden descubrir estados transitoriamente pero colapsar hacia una ocupación localizada, ROVER produce políticas con ocupaciones descontadas ampliamente distribuidas. Esto resulta en inicializaciones más fuertes para el RL libre de modelo descendente (DDPG, SAC), requiriendo menos muestras para alcanzar los objetivos.
• Transferencia Offline: En entornos de RL offline (CQL, DDPG), los buffers de repetición generados por ROVER soportan eficazmente el aprendizaje descendente. Aunque la distribución difiere de otros métodos (mientras que CIC produce datos más homogéneos, ROVER retiene una mayor densidad cerca de los estados iniciales y cuellos de botella), la estructura de datos de ROVER es particularmente efectiva para algoritmos conservadores como CQL.
• Robustez: El método demuestra robustez a los hiperparámetros, aunque valores extremos para la norma del estado sumidero $\epsilon$ pueden dificultar la exploración.

Significado y Reivindicaciones

El artículo posiciona a ROVER como un paso fundamental hacia el establecimiento de la cobertura de ocupación como un objetivo estándar para la transferencia de comportamiento libre de recompensa.

• Alcance Modesto: Los autores declaran explícitamente que el estudio se limita a espacios de acción discretos y entornos simples para aislar el objetivo de cobertura y analizar su comportamiento directamente, en lugar de presentar a ROVER como un algoritmo de exploración escalable para dominios de alta dimensión de forma inmediata.
• Idea Central: La principal contribución es la demostración de que la maximización de la cobertura de ocupación mediante un enfoque de operador estable y en forma cerrada produce políticas que son inherentemente mejores para la transferencia de recompensa dispersa descendente que aquellas optimizadas para la novedad transitoria o la diversidad de habilidades.
• Direcciones Futuras: Los autores identifican como trabajo futuro el desarrollo de representaciones escalables para dominios de alta dimensión, implementaciones aproximadas del objetivo de resolvente, y extensiones a acciones continuas y observabilidad parcial.