Resumen Técnico: ¿Realmente necesitas preentrenar las funciones Q para el ajuste fino de RL en línea?

1. Formulación del Problema

El artículo investiga la eficacia de preentrenar las funciones Q sobre datos offline al realizar el ajuste fino (fine-tuning) de una política preentrenada mediante Aprendizaje por Refuerzo (RL) en línea. El entorno consiste en un Proceso de Decisión de Markov (MDP) donde un agente posee un conjunto de datos offline fijo $D_{offline}$ y una política base preentrenada $\pi_{base}$ (típicamente entrenada mediante aprendizaje supervisado o aprendizaje por imitación sobre $D_{offline}$). El objetivo es realizar un ajuste fino de RL en línea para maximizar los retornos.

La cuestión central es si la función Q ($Q_\phi$), que guía la selección de acciones de la política durante las actualizaciones en línea, también debe preentrenarse en $D_{offline}$ junto con la política, o si debe inicializarse aleatoriamente y aprenderse enteramente en línea. La sabiduría convencional en el RL de offline-a-online sugiere que el preentrenamiento conjunto de la política y la función Q es beneficioso. Sin embargo, trabajos recientes han demostrado que partir de una política preentrenada y una función Q inicializada aleatoriamente puede producir resultados altamente competitivos. Este artículo pone a prueba sistemáticamente la intuición de que el preentrenamiento de la función Q proporciona un punto de partida necesario para el rendimiento posterior.

2. Metodología

Configuración Experimental

Los autores evalúan sus hipótesis en seis tareas desafiantes de control continuo de manipulación de Robomimic (lift, can, square) y OGBench (cube, scene, puzzle). Estas tareas implican recompensas dispersas (sparse rewards) y razonamiento de largo horizonte.

• Algoritmo Base: El estudio utiliza EXPO, un algoritmo de RL fuera de política (off-policy) con eficiencia de muestra. EXPO emplea una "política de flujo base" ($\pi_{base}$) y una "política de edición" ligera ($\pi_{edit}$) que predice correcciones de acción. La acción final se selecciona maximizando el valor Q sobre un conjunto de acciones base y editadas.
• Líneas Base (Baselines):
  1. Preentrenamiento Naive: Preentrena tanto $\pi_{base}$ como $Q_\phi$ en $D_{offline}$ utilizando aprendizaje supervisado y aprendizaje TD offline, respectivamente, antes del ajuste fino de RL en línea.
  2. Inicialización Aleatoria: Preentrena solo $\pi_{base}$ en $D_{offline}$; inicializa $Q_\phi$ aleatoriamente y la aprende enteramente durante el ajuste fino de RL en línea.
  3. Maximización de Valor Offline: Intenta cerrar la brecha entre los objetivos offline y online realizando una maximización de valor offline (por ejemplo, aprendiendo una política de edición o destilando una política de un solo paso) durante el preentrenamiento.

Método Propuesto: Inicialización vía Ensamble de Políticas (IPE)

Motivados por el hallazgo de que el preentrenamiento naive falla, los autores proponen IPE, un método para utilizar mejor los datos offline para la inicialización de la función Q sin los problemas de desajuste de un preentrenamiento estándar.

• Idea Central: Una única política preentrenada suele producir una distribución de acciones estrecha, lo que provoca que la función Q colapse hacia la función de valor de esa política específica ($Q_{\pi_{base}} \approx V_{\pi_{base}}$) en lugar de aprender una estructura de valor de acción generalizable.
• Procedimiento:
  1. Entrenar una política base $\pi_{base}$ en el conjunto de datos offline.
  2. Entrenar $N$ políticas adicionales diversas ($\pi_1, \dots, \pi_N$) en la misma distribución de acciones (usando el mismo conjunto de datos o subconjuntos con diferentes semillas).
  3. Ejecutar (rollout) todas las $N+1$ políticas en el entorno para recolectar transiciones diversas.
  4. Agrupar estas ejecuciones para inicializar el buffer de experiencia (replay buffer) para el ajuste fino de RL en línea.
     Este enfoque proporciona a la función Q una cobertura sobre un rango más amplio de acciones en cada estado, permitiéndole aprender una función Q más cercana al objetivo óptimo en línea ($Q^*_{RL}$) en lugar de estar constreñida por la distribución estrecha de una sola política.

3. Hallazgos Clave y Análisis

El Fracaso del Preentrenamiento Naive

Contrario a la intuición convencional, los autores encuentran que el preentrenamiento ingenuo de la función Q aporta poco o ningún beneficio respecto a la inicialización aleatoria. En varias tareas, incluso dificulta el aprendizaje en línea.

• El Desajuste (Mismatch): La función Q aprendida durante el preentrenamiento offline ($Q_{\pi_{base}}$) apunta a la función de valor de la política base. Sin embargo, el ajuste fino de RL en línea converge a una función Q óptima diferente ($Q^*_{RL}$).
• Precisión de Preferencia: Incluso cuando la política base es casi óptima, el crítico preentrenado offline no se alinea con el crítico aprendido por el RL en línea. La función Q offline no logra clasificar correctamente las acciones de la política óptima ($\pi^*$) frente a la política base ($\pi_{base}$) de la manera requerida para la convergencia en línea.
• Ineficacia de las Correcciones: Los intentos de cerrar esta brecha mediante la maximización de valor offline (por ejemplo, entrenando una política de edición o aplicando gradientes de acción durante el preentrenamiento) no logran mejorar el rendimiento o la precisión de preferencia, lo que indica que la interacción en línea es necesaria para aprender el objetivo correcto.

El Mecanismo de IPE

El artículo demuestra que el fallo del preentrenamiento naive proviene de una falta de diversidad de acciones. Las ejecuciones de una sola política resultan en una función Q con una varianza muy baja, lo que efectivamente la vuelve determinista e incapaz de distinguir entre acciones alternativas.

• Diversidad: Al utilizar un ensamble de políticas, IPE genera ejecuciones con una diversidad de acciones significativamente mayor.
• Resultado: Esta diversidad permite que la función Q aprenda estructuras de valor de acción significativas ($Q^*_{RL}$) en lugar de colapsar al valor del comportamiento de una sola política.

4. Resultados

• Mejora del Rendimiento: A través de la suite de benchmarks de control continuo, IPE ofrece una mejora promedio de 1.26x (aproximadamente un 26%) en el rendimiento del ajuste fino en comparación con el preentrenamiento ingenuo de la función Q.
• Comparación con la Inicialización Aleatoria: IPE supera tanto al preentrenamiento ingenuo como a la inicialización aleatoria, demostrando que la calidad de la inicialización de la función Q es crítica, pero la fuente de esa inicialización debe ser diversa.
• Escalabilidad: El rendimiento escala con el número de políticas ($N$) utilizadas en el ensamble. En los experimentos, $N=5$ proporcionó los mejores resultados, lo que sugiere que una cobertura más amplia de las políticas de comportamiento conduce a un mejor ajuste fino posterior.
• Precisión de Preferencia: Las funciones Q entrenadas con IPE muestran una mayor precisión de preferencia para las acciones óptimas en comparación con las líneas base, confirmando que el método cierra con éxito la brecha hacia $Q^*_{RL}$.

5. Significado y Reivindicaciones

El artículo desafía la suposición prevalente de que "más preentrenamiento es siempre mejor" en el contexto del RL de offline-a-online. Sus principales contribuciones son:

1. Evidencia Empírica: Demuestra sistemáticamente que el preentrenamiento directo de una función Q sobre datos offline a menudo falla en acelerar o mejorar el ajuste fino de RL en línea cuando se parte de una política preentrenada.
2. Perspectiva Teórica: Identifica un desajuste fundamental entre la función Q offline ($Q_{\pi_{base}}$) y el objetivo en línea ($Q^*_{RL}$), mostrando que la maximización de valor offline por sí sola no puede resolver esta discrepancia.
3. Solución Práctica: Introduce IPE, un método simple y efectivo que aprovecha los ensambles de políticas para impulsar el aprendizaje de la función Q. Al aumentar la diversidad de acciones en la fase de preentrenamiento, IPE permite que el RL en línea aprenda la función de valor correcta de manera más eficiente.

Los autores concluyen que, si bien el preentrenamiento de la política es esencial, la estrategia para inicializar la función Q debe tener en cuenta la diversidad de acciones necesarias para aprender el paisaje de valores óptimo, en lugar de simplemente ajustarse a la distribución de datos offline de una sola política. El trabajo se limita a entornos de RL fuera de política, y los autores señalan que reducir la sobrecarga de recolección de datos de IPE sigue siendo una dirección para trabajos futuros.