Task diversity produces systematic transfer but inhibits continual reinforcement learning

Resumen Técnico: Banyan – Un entorno generado procedimentalmente para estudiar el efecto de la diversidad de tareas en la transferencia

1. Planteamiento del problema

El aprendizaje por refuerzo (RL) continuo busca desarrollar agentes que no solo mejoren en las tareas actuales, sino que también se adapten a medida que las distribuciones de tareas cambian. Si bien investigaciones previas han establecido que el entrenamiento en tareas diversas puede inducir la generalización zero-shot (evaluada con pesos congelados), no está claro si la diversidad de tareas mejora la capacidad de un agente para continuar aprendiendo mediante actualizaciones de pesos a medida que las distribaciones cambian. Los benchmarks existentes para RL continuo suelen implicar aprendizaje secuencial sobre cientos de tareas como máximo, mientras que los entornos de gran escala generados procedimentalmente (por ejemplo, XLand, AdA) contienen millones de tareas pero carecen del control necesario para aislar cómo la cantidad y el tipo de diversidad afectan el aprendizaje a través de cambios controlados en la distribución.

2. Metodología: El entorno Banyan

Los autores presentan Banyan, un dominio generado procedimentalmente y acelerado por GPU diseñado para estudiar el RL continuo sobre espacios de tareas composicionales. Banyan factoriza una tarea $\tau = \langle L, T, O \rangle$ en tres ejes independientemente controlables:

• Diseño (Layout, $L$): El mapa del entorno, incluyendo configuraciones de paredes y colocaciones iniciales de objetos, lo que define el problema de navegación.
• Topología del Árbol de Tareas (Task-Tree Topology, $T$): La estructura abstracta del objetivo, definiendo la profundidad, la ramificación y el orden de dependencia de los subobjetivos (transformaciones vs. combinaciones).
• Asignación de Objetos (Object Assignment, $O$): Las identidades concretas de los objetos asignados a los nodos del árbol de tareas.

Mecánica de la tarea:

• Objetivo: El agente debe navegar la cuadrícula, recoger, soltar y combinar objetos (o transformar objetos individuales) para producir un objeto raíz específico definido por el árbol de la tarea.
• Observaciones: El agente ve la cuadrícula completa y la descripción del objeto objetivo, pero debe inferir la estructura del árbol de la tarea y la secuencia de la solución.
• Dinámica: Las reglas de combinación y transformación de objetos son fijas; solo varían el diseño espacial y las identidades de los objetos.
• Currículo: Las tareas abarcan profundidades del 1 al 6. Las tareas más profundas actúan como un currículo para las más superficiales, y las distribuciones están anidadas (las tareas de profundidad 6 contienen todas las subtareas de menor profundidad).

Protocolo experimental:
Los autores evalúan dos algoritmos: Proximal Policy Optimization (PPO) y Parallelised Q-Network (PQN). Miden:

• Transferencia hacia adelante (Forward Transfer): La "brecha de transferencia" ($\Delta_i$) entre la tasa de éxito terminal en la distribución $d_{i-1}$ y la tasa de éxito inicial en la distribución $d_i$.
• Transferencia hacia atrás (Backward Transfer): El cambio en el rendimiento en una distribución anterior $d_i$ tras entrenar en distribuciones subsecuentes.

3. Contribuciones clave

1. Benchmark Banyan: Un dominio controlado de muchas tareas que permite la variación independiente de diseños, instancias de árboles de tareas y topologías, permitiendo el estudio del RL continuo sobre miles de millones de tareas potenciales.
2. Evidencia de transferencia sistemática: Prueba experimental de que aumentar la diversidad en cualquier eje (diseños, asignaciones de objetos o topologías) induce una transferencia sistemática, permitiendo que los agentes comiencen nuevas distribuciones cerca de sus niveles de rendimiento previos.
3. Evidencia de inhibición inducida por la diversidad: Prueba experimental de que, si bien una diversidad moderada ayuda a la transferencia, una diversidad excesiva inhibe el aprendizaje continuo a largo plazo, causando que los agentes se estanquen en nuevas distribuciones mientras continúan refinando su rendimiento en las distribuciones anteriores.

4. Resultados clave

A. La diversidad produce transferencia sistemática (Cambio único)
En experimentos que involucran un único cambio de la distribución $d_1$ a $d_2$:

• Transferencia hacia adelante: Aumentar el número de diseños ($|L|$), asignaciones de objetos ($|O|$) o topologías ($|T|$) en $d_1$ reduce la brecha de transferencia ($\Delta_2$) hacia cero. Los agentes entrenados en una $d_1$ altamente diversa comienzan $d_2$ con niveles de rendimiento comparables a su rendimiento final en $d_1$.
• Transferencia hacia atrás: Aumentar $|L|$ o $|O|$ tuvo poco efecto en la transferencia hacia atrás. Sin embargo, aumentar el número de topologías ($|T|$) mejoró significativamente la transferencia hacia atrás, sugiriendo que variar las dependencias estructurales de las tareas es crucial para retener el conocimiento de distribuciones previas.
• Mecanismo: El análisis del error TD de PQN en el límite $d_1 \to d_2$ reveló que una mayor diversidad produce un error TD inicial más bajo y mejores políticas iniciales. Esto sugiere que la diversidad moldea características de valor que se generalizan bien fuera de la distribución.
• Generalizabilidad: Estos efectos fueron replicados en un dominio de control continuo "Point Mass", indicando que el fenómeno no es un artefacto del control de cuadrícula discreta.

B. La diversidad inhibe el aprendizaje continuo a largo plazo (Secuencia de cambios)
En experimentos que involucran una secuencia de diez distribuciones ($d_1 \dots d_{10}$):

• La paradoja: Aunque una alta diversidad ($n=256$ diseños/topologías únicos) cerró con éxito la brecha de transferencia en cada frontera (los agentes comenzaron cada nueva distribución en el pico anterior), causó que el agente se estancara en su capacidad de mejorar dentro de la secuencia.
• Trayectoria de rendimiento:
  • Con diversidad intermedia ($n=16$), los agentes continuaron aprendiendo, mejorando las tasas de éxito de $\approx 0.74$ en $d_1$ a $\approx 0.95$ en $d_{10}$.
  • Con alta diversidad ($n=256$), la tasa de éxito en nuevas distribuciones se mantuvo plana cerca de $0.80$ a través de las diez distribuciones. El rendimiento final en $d_{10}$ de hecho declinó monótonamente a medida que la diversidad aumentaba más allá de $n=16$.
• Interferencia: La alta diversidad condujo a una fuerte transferencia hacia atrás (el rendimiento en $d_1$ mejoró de $\approx 0.80$ a $\approx 0.95$ después de 10 rondas) pero impidió la especialización en nuevas distribuciones. Los autores atribuyen esto a la interferencia: la red aprende la estructura general de la tarea compartida entre distribuciones, pero se ve inhibida de aprender las estructuras específicas requeridas por las nuevas distribuciones.

5. Significado y afirmaciones

El artículo sostiene un hallazgo significativo y algo paradójico: la diversidad de tareas es un arma de doble filo para el RL continuo.

• Motivación: La diversidad es esencial para inducir la transferencia sistemática, permitiendo que los agentes se adapten inmediatamente a nuevos cambios de distribución sin un olvido catastrófico de la estructura general de la tarea.
• Limitación: Sin embargo, la misma diversidad que suaviza las transiciones individuales inhibe el aprendizaje compuesto a lo largo de secuencias largas. Los autores argumentan que "el aprendizaje y la escala, por sí solos, pueden no ser suficientes" para permitir el RL continuo; el compromiso entre generalización (transferencia) y especialización (aprendizaje de detalles específicos) parece ser intrínseco a la aproximación de funciones de uso compartido de pesos en el régimen de muchas tareas.

El trabajo destaca una brecha crítica en la investigación actual de RL: mientras que la diversidad es celebrada por la generalización zero-shot, puede dificultar activamente la capacidad de los agentes para optimizar el rendimiento en nuevas distribuciones cuando aprenden continuamente. Los autores liberan Banyan como una herramienta para que la comunidad investigue más a fondo estos compromisos y desarrolle algoritmos que puedan mitigar la interferencia causada por la alta diversidad de tareas.