Combining Trained Models in Reinforcement Learning

Resumen Técnico: Combinación de Modelos Entrenados en Aprendizaje por Refuerzo

Enunciado del Problema
El Aprendizaje por Refuerzo Profundo (DRL) ha logrado hitos significativos en dominios como Atari y Go, pero enfrenta dos debilidades prácticas persistentes: altos costos de muestreo y una pobre transferibilidad cuando cambian las dinámicas de la tarea, los procesos de observación o los entornos. Una estrategia común para mitigar estos problemas es la reutilización de información de modelos previamente entrenados (conocimiento preentrenado) en lugar de inicializar el entrenamiento desde cero para cada tarea objetivo. Sin embargo, la literatura sobre los mecanismos para esta reutilización —específicamente el aprendizaje por transferencia, la destilación de políticas, los métodos de conjunto y el entrenamiento federado— está fragmentada. Las comparaciones existentes a menudo son difíciles de interpretar debido a inconsistencias en las tareas, las líneas base y los presupuestos de cómputo, lo que hace que no esté claro bajo qué condiciones la reutilización de conocimiento preentrenado supera genuinamente el entrenamiento de un solo agente desde cero.

Metodología
Este artículo presenta una revisión sistemática guiada por PRISMA de estudios empíricos sobre la reutilización de conocimiento preentrenado en DRL. El proceso de revisión involucró:

• Estrategia de Búsqueda: Se realizaron consultas en IEEE Xplore, la Biblioteca Digital de la ACM y mediante rastreo de citas utilizando términos de intervención específicos (por ejemplo, "destilación de políticas", "aprendizaje por refuerzo federado") combinados con términos de contexto de RL (por ejemplo, "aprendizaje por refuerzo profundo", "actor-crítico").
• Selección: De un conjunto inicial de 589 registros, se seleccionaron 570 registros únicos. Tras la evaluación del texto completo y la auditoría de elegibilidad, se seleccionaron 15 estudios empíricos para la síntesis principal.
• Criterios de Elegibilidad: Los estudios incluidos debían ser trabajos empíricos de DRL publicados entre 2015 y 2025, donde la reutilización de modelos preentrenados fuera un componente metodológico central, y que compararan el método propuesto contra una línea base significativa (entrenada sin conocimiento reutilizado) en rendimiento, eficiencia de muestreo o robustez.
• Enfoque de Síntesis: Debido a la heterogeneidad en entornos, métricas y clases de modelos entre los estudios seleccionados, los autores emplearon una síntesis narrativa cualitativa en lugar de un metaanálisis. Los estudios se analizaron a través de tres factores: similitud fuente-objetivo, diversidad entre los modelos reutilizados y la equidad de las comparaciones frente a líneas base entrenadas desde cero.

Contribuciones Clave

1. Definición del Alcance: El artículo establece un alcance más estrecho y internamente consistente para revisar la reutilización de conocimiento preentrenado en DRL, distinguiendo entre la reutilización real de conocimiento durante el aprendizaje y trabajos adyacentes como el filtrado solo de inferencia o la aceleración del rendimiento del hardware.
2. Síntesis Empírica: Sintetiza la evidencia a través de cuatro familias de mecanismos:
   • Destilación: Una política maestra supervisa un modelo estudiante.
   • Transferencia/Reutilización de Políticas: Reutilización de políticas, habilidades o priores en tareas relacionadas.
   • Conjuntos: Múltiples modelos influyendo conjuntamente en el control o la estimación de valor.
   • Entrenamiento Federado: Agentes descentralizados que agregan actualizaciones sin centralizar datos brutos.
3. Espectro de Independencia: Los autores proponen un "espectro de independencia" provisional para describir cómo difieren los modelos reutilizados en su experiencia de entrenamiento, abarcando desde la diversidad de semillas (inicialización aleatoria) hasta la diversidad de datos, tareas y recompensas. Esto se presenta como una hipótesis para futuras evaluaciones comparativas en lugar de una métrica validada.

Resultados y Patrones
El análisis de los 15 estudios incluidos revela tres patrones recurrentes:

• La Superposición Estructural es Crítica: Los resultados positivos se concentran en configuraciones donde las tareas fuente y objetivo comparten una estructura sustancial (por ejemplo, dinámicas compartidas, familias de tareas o semánticas de políticas). Cuando la discrepancia estructural es alta, la reutilización puede ser perjudicial a menos que el método incluya mecanismos explícitos de enrutamiento, alineación o ponderación adaptativa para gestionar la transferencia.
• Evidencia Escasa para la Agregación: Si bien la evidencia para conjuntos y agregación federada es prometedora, es escasa y se limita en gran medida a configuraciones estrechas. Por ejemplo, los resultados de conjuntos están respaldados actualmente por un solo estudio en el corpus, y los estudios federados se centran en configuraciones de clientes relativamente homogéneas. En consecuencia, las afirmaciones amplias sobre la superioridad de estos mecanismos frente a la transferencia o la destilación no están respaldadas por la evidencia actual.
• Reporte Débil de Cómputo: Una limitación significativa en la literatura existente es la falta de comparaciones ajustadas al cómputo. La mayoría de los estudios no normalizan los presupuestos de entrenamiento, el tiempo de reloj o los costos de preentrenamiento frente a la línea base de la tarea objetivo. Esto dificulta validar las afirmaciones sobre las ganancias de eficiencia frente a líneas base de agentes individuales más fuertes entrenadas desde cero.

Significado y Afirmaciones
El artículo afirma modestamente que su contribución principal es un "mapa más claro" de las capacidades y limitaciones de la literatura actual. Argumenta que el campo no necesita más afirmaciones infladas sobre mejoras universales de rendimiento. En cambio, la evidencia sugiere que:

• La reutilización de conocimiento preentrenado no es un único mecanismo, sino una familia de intervenciones cuyo éxito depende en gran medida de la compatibilidad fuente-objetivo.
• Las afirmaciones sobre la superioridad general de los conjuntos o el aprendizaje federado son prematuras debido a la escasez de la base empírica.
• El trabajo futuro requiere líneas base controladas por cómputo, un reporte más claro de la incertidumbre y evaluaciones comparativas directas que varíen la superposición fuente-objetivo manteniendo fijas las tareas objetivo.

Los autores concluyen que, si bien la reutilización es efectiva bajo condiciones estructurales específicas, la literatura actual carece de la evidencia rigurosa y normalizada por cómputo necesaria para hacer afirmaciones definitivas sobre la eficiencia o la aplicabilidad universal.