🤖 machine learning

TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

Este artículo propone TSN-Affinity, un nuevo método de aprendizaje por refuerzo offline continuo que aprovecha las TinySubNetworks y un Decision Transformer para habilitar la parametrización específica de tareas y el intercambio de conocimientos impulsado por la similitud, ofreciendo una alternativa eficiente en memoria a las estrategias basadas en replay que mitiga eficazmente el olvido catastrófico en tareas de control discretas y continuas.

Autores originales: Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a jugar videojuegos y a mover un brazo robótico. El problema es que no puedes dejar que el robot practique en el mundo real porque es demasiado costoso o peligroso. En su lugar, debes enseñarle utilizando una biblioteca de grabaciones de video antiguas (conjuntos de datos) de humanos realizando estas tareas.

Ahora, imagina que tienes que enseñarle a este robot un juego nuevo cada semana. El gran problema en el "Aprendizaje por Refuerzo Offline Continuo" (CORL) es el olvido. Si le enseñas al robot a jugar Breakout, podría volverse tan bueno en eso que olvide cómo jugar a Pong. Si intentas enseñarle Pong sin borrar los datos antiguos, el robot se confunde y arruina ambos juegos.

Este artículo presenta un nuevo método llamado TSN-Affinity para resolver este problema. Así es como funciona, utilizando analogías sencillas:

1. La Vieja Forma: El Problema del "Un Solo Cerebro Grande"

La mayoría de los métodos anteriores intentaban enseñar al robot utilizando un solo cerebro gigante y compartido. Para evitar el olvido, guardaban pequeños fragmentos de videos antiguos (reproducción) y los mezclaban con los nuevos.

El Defecto: Es como intentar aprender francés mientras hablas inglés, y luego aprender español mientras hablas ambos. Eventualmente, los idiomas se mezclan, o necesitas una biblioteca masiva de cintas antiguas para mantener todo ordenado, lo cual ocupa demasiado espacio.

2. La Nueva Forma: TSN-Affinity (La "Caja de Herramientas Modular")

Los autores proponen un enfoque más inteligente utilizando TinySubNetworks (Subredes Pequeñas). Imagina que el cerebro del robot no es un bloque gigante, sino una caja de herramientas con muchos cajones pequeños y especializados.

Cajones Especializados (Subredes): Cuando el robot aprende una nueva tarea (como Breakout), no reescribe todo su cerebro. En su lugar, abre un cajón específico y diminuto y lo llena con las herramientas exactas necesarias para ese juego. Una vez cerrado ese cajón, permanece exactamente como está. Si aprendes un juego nuevo más tarde, abres un cajón diferente. Esto significa que el robot nunca olvida los juegos antiguos porque las herramientas antiguas están guardadas y sin tocar.

3. El Secreto: "Enrutamiento de Afinidad" (El Bibliotecario Inteligente)

Si cada nueva tarea obtuviera su propio cajón totalmente nuevo, la caja de herramientas se volvería enorme y desordenada. La innovación del artículo es un Bibliotecario Inteligente (llamado Mecanismo de Enrutamiento) que decide qué cajón usar.

Antes de que el robot comience a aprender una nueva tarea, el Bibliotecario pregunta: "¿Se parece esta nueva tarea a alguna de las tareas antiguas para las que ya tenemos herramientas?"

El Bibliotecario verifica dos cosas:

Afinidad de Acción (Los Movimientos): "¿Se parecen los movimientos requeridos para este nuevo juego a los movimientos que ya conocemos?" (Por ejemplo: Si el nuevo juego requiere saltar, y ya tenemos un cajón de "Saltar", quizás podamos usarlo).
Afinidad Latente (La Sensación): "¿La nueva tarea 'se siente' similar a las antiguas dentro de la mente del robot?" (Por ejemplo: ¿Los patrones del juego se ven similares, incluso si los gráficos son diferentes?)

La Decisión:

Si son similares: El Bibliotecario dice: "¡Genial! Reutilicemos el cajón existente". El robot usa las herramientas antiguas (que están congeladas y seguras) y simplemente añade algunas herramientas nuevas y diminutas encima. Esto ahorra espacio y mejora el rendimiento.
Si son diferentes: El Bibliotecario dice: "No, esto es demasiado diferente". Abre un cajón nuevo y vacío para la nueva tarea.

4. Los Resultados: Videojuegos vs. Brazos Robóticos

Los autores probaron esto en dos desafíos muy diferentes:

Los Videojuegos (Atari): Son juegos rápidos, basados en píxeles, con botones simples (acciones discretas).
- Resultado: El método fue un gran éxito. El enfoque de "Cajones Especializados" detuvo por completo el olvido de juegos antiguos por parte del robot. El "Bibliotecario Inteligente" ayudó al robot a rendir aún mejor al reutilizar las herramientas correctas, a menudo igualando el rendimiento de un robot entrenado en un solo juego a la vez.
El Brazo Robótico (Panda): Esto implica mover un brazo físico en un espacio 3D con movimientos suaves y continuos (como recoger una taza).
- Resultado: Esto fue mucho más difícil. Al "Bibliotecario Inteligente" le costó más decidir qué herramientas reutilizar porque los movimientos eran tan complejos y variados. Aunque el método funcionó mejor que los antiguos métodos de "Un Solo Cerebro Grande", mostró que reutilizar herramientas en tareas físicas complejas es complicado. El robot tuvo que equilibrar mantener las habilidades antiguas seguras mientras aprendía nuevos movimientos físicos difíciles.

Resumen

TSN-Affinity es como darle a un estudiante un conjunto de cuadernos separados y etiquetados en lugar de un solo libro de texto gigante.

Cuando aprenden una nueva materia, abren un cuaderno nuevo.
Si la nueva materia es similar a una antigua, verifican si pueden usar las notas antiguas como base (reutilizándolas) en lugar de empezar desde cero.
Esto asegura que nunca olviden lo que aprendieron en el pasado y no se confundan al mezclar diferentes materias.

El artículo demuestra que, para aprender de datos antiguos sin arruinar el pasado, tener un sistema que sabe cuándo reutilizar el conocimiento antiguo y cuándo empezar de nuevo es mucho mejor que simplemente intentar memorizar todo en una sola pila grande.

A continuación se presenta un resumen técnico detallado del artículo "TSN-Affinity: Reutilización de Parámetros Impulsada por Similitud para Aprendizaje por Refuerzo Offline Continuo".

1. Planteamiento del Problema

El artículo aborda el Aprendizaje por Refuerzo Offline Continuo (CORL), un escenario donde un agente debe aprender una secuencia de tareas a partir de conjuntos de datos estáticos y pre-recopilados, sin interactuar con el entorno. Este escenario surge en dominios donde la interacción en vivo es demasiado costosa, riesgosa o imposible (por ejemplo, robótica, atención médica).

CORL enfrenta una "doble dificultad":

Desafíos del RL Offline: Tratar con desplazamientos distribucionales entre los datos de entrenamiento y la evaluación, y evitar acciones Fuera de Distribución (OOD).
Desafíos del Aprendizaje Continuo: Prevenir el olvido catastrófico de las tareas aprendidas previamente mientras se adquieren nuevas, sin acceso a datos pasados a menos que se almacenen explícitamente.

Las soluciones existentes dependen en gran medida de métodos basados en repetición (almacenar y reutilizar muestras pasadas), lo que genera sobrecarga de memoria y sufre de desajustes distribucionales. Por el contrario, los métodos arquitectónicos (que asignan parámetros específicos para tareas) han mostrado promesa en el aprendizaje supervisado, pero siguen poco explorados en CORL debido a las complejidades de la toma de decisiones secuencial y los desplazamientos distribucionales inducidos por la política.

2. Metodología: TSN-Affinity

Los autores proponen TSN-Affinity, un enfoque arquitectónico novedoso que combina TinySubNetworks (TSN) con una columna vertebral de Transformador de Decisión (DT). La innovación central es una estrategia de reutilización de parámetros impulsada por similitud que enruta las tareas a copias específicas del modelo basándose en la "afinidad".

Componentes Principales:

Columna Vertebral de Transformador de Decisión: El método utiliza un DT para reformular el RL como un problema de modelado de secuencias supervisado. Esto restringe naturalmente las predicciones a la distribución empírica del conjunto de datos, mitigando los problemas OOD.
- Atari (Discreto): Entrenado con pérdida de Entropía Cruzada sobre logits de acción.
- Panda (Continuo): Entrenado con Error Cuadrático Medio enmascarado sobre acciones continuas.
Subredes Específicas de Tarea Esparsas: En lugar de entrenar un único modelo denso, el sistema mantiene múltiples copias de modelo. Para cada tarea, se aprende una máscara binaria esparza sobre los pesos de una copia específica.
- Protección de Pesos: Una vez que un peso se asigna a una tarea, se "congela" y se protege de los gradientes durante el entrenamiento de tareas posteriores.
- Reutilización: Las nuevas tareas pueden "reactivar" pesos congelados de tareas anteriores si se consideran similares, utilizándolos como componentes funcionales fijos en lugar de reentrenarlos.
Enrutamiento por Afinidad (La Novedad): Antes de entrenar una nueva tarea $T_t$ $T_{t}$ , el sistema decide si reutilizar una copia de modelo existente o generar una nueva. Esta decisión se basa en tres modos de enrutamiento:
1. Afinidad de Acción ( $d_A$ ): Mide qué tan bien la política de una tarea fuente (subred) predice las acciones de las trayectorias de la nueva tarea (usando Entropía Cruzada para Atari, MSE para Panda).
2. Afinidad Latente ( $d_L$ ): Mide la similitud de las representaciones internas. Compara las estadísticas latentes (media y varianza de las codificaciones de observación) de la nueva tarea contra las estadísticas almacenadas de las tareas fuente utilizando Divergencia KL Simétrica.
3. Afinidad Híbrida ( $d_H$ ): Una combinación ponderada de las afinidades de Acción y Latente.

Si la puntuación de afinidad entre la nueva tarea y una tarea fuente está por debajo de un umbral $\tau$ , la nueva tarea se asigna a la copia de esa fuente. De lo contrario, se crea una nueva copia.

Variantes Estudiadas:

TSN-Affinity: El método completo con enrutamiento basado en afinidad.
TSN-ReplayKL: Reemplaza el enrutamiento por afinidad con una heurística basada en similitud a nivel de observación (divergencia KL entre memorias de repetición).
TSN-Core: Elimina el enrutamiento por completo; utiliza una única copia de modelo en evolución con subredes esparsas (sin selección de copia).

3. Contribuciones Clave

Marco TSN-Affinity: Un nuevo método CORL que formula la transferencia de conocimiento como un problema de enrutamiento sobre subredes esparsas y específicas de tareas, seleccionando y reutilizando parámetros dinámicamente basándose en similitud consciente del RL.
Mecanismo de Enrutamiento por Afinidad: Un mecanismo específico que aprovecha métricas a nivel de acción (compatibilidad de política) y a nivel de representación (similitud latente) para decidir la reutilización de parámetros, yendo más allá de la repetición simple o la asignación aleatoria.
Benchmarks Exhaustivos: La introducción de dos benchmarks de RL offline continuo que cubren:
- Control Discreto Visual: Una suite de juegos de Atari (Breakout, Alien, Atlantis, Boxing, Centipede).
- Manipulación Robótica Continua: Entornos Panda-gym (Reach, Push, Pick-and-Place) utilizando un brazo Franka Emika Panda.
Validación Empírica: Experimentos extensos que demuestran que los enfoques arquitectónicos pueden mitigar completamente el olvido y que la reutilización impulsada por similitud supera significativamente a las líneas base basadas en repetición, particularmente en entornos de control continuo heterogéneos.

4. Resultados

Benchmark de Atari (Control Discreto)

Olvido: Las subredes esparsas (TSN-Core) lograron cero olvido en todas las tareas. Las líneas base densas (Naive, EWC, SI) sufrieron un olvido catastrófico severo (rendimientos normalizados ~15-18%).
Rendimiento: Aunque las subredes esparsas por sí solas eliminaron el olvido, el Enrutamiento por Afinidad mejoró aún más el rendimiento multi-tarea.
- TSN-Affinity-A (afinidad de acción) y TSN-Affinity-L (afinidad latente) lograron ~89.7% y ~89.6% de rendimiento normalizado, respectivamente.
- Esto superó a la mejor línea base densa (Repetición Acumulada en 76.2%) y se acercó al rendimiento de modelos entrenados para una sola tarea.
Conclusión: En configuraciones discretas, las subredes esparsas son suficientes para prevenir el olvido, y el enrutamiento por afinidad optimiza el uso de capacidad para aumentar el rendimiento.

Benchmark de Panda (Control Continuo)

Desafío: Este escenario es significativamente más difícil debido a espacios de acción heterogéneos y dinámicas de control continuo. El cero olvido no fue universal en todas las variantes de TSN.
Eficacia del Enrutamiento:
- TSN-ReplayKL (enrutamiento basado en observación) tuvo un rendimiento pobre, peor que TSN-Core, lo que indica que la similitud de observación es insuficiente para el enrutamiento en control continuo.
- TSN-Affinity-L (afinidad latente) logró los mejores resultados con cero olvido y la menor brecha promedio respecto a los retornos objetivo (0.670), superando a la Repetición Acumulada (0.729).
Compensación: El mejor rendimiento requirió crear múltiples copias de modelo (3 copias), destacando una compensación entre rendimiento y capacidad. Sin embargo, los resultados confirman que la afinidad consciente del RL es una señal confiable para el enrutamiento en dominios continuos complejos donde las heurísticas de repetición fallan.

5. Significado y Conclusión

El artículo demuestra que el aprendizaje continuo arquitectónico es una alternativa viable y a menudo superior a las estrategias basadas en repetición en el escenario de RL offline.

Mitigación del Olvido Catastrófico: Al aislar parámetros específicos de tareas en subredes esparsas, el método previene eficazmente la interferencia destructiva.
Eficiencia sobre Repetición: TSN-Affinity evita la sobrecarga de memoria y los problemas de desajuste distribucional inherentes a los búferes de repetición.
Enrutamiento Superior: El estudio prueba que las puntuaciones de afinidad relevantes para el control (similitud de acción y latente) son mucho más efectivas para las decisiones de enrutamiento que la similitud simple basada en observación o las heurísticas de repetición, especialmente en tareas de control continuo.
Impacto Futuro: Este trabajo allana el camino para un aprendizaje continuo escalable y eficiente en memoria en dominios críticos para la seguridad (como la robótica) donde la recolocación de datos o la interacción con el entorno no son viables.

Los autores concluyen que la reutilización arquitectónica guiada por similitud es una estrategia robusta para CORL, ofreciendo un fuerte equilibrio entre retener conocimientos pasados y transferirlos a nuevas tareas relacionadas.