Resumen Técnico: Clonación de Comportamiento Desacoplada para la Generalización Inductiva Escalable en RL a partir de Especificaciones

Declaración del Problema

El artículo aborda el desafío de la generalización inductiva en el Aprendizaje por Refuerzo (RL). En este marco, los agentes deben aprender políticas que se transfieran a nuevas instancias de tareas no vistas dentro de una "familia inductiva". Estas familias consisten en tareas que comparten una estructura lógica (a menudo definida por especificaciones de lógica temporal como SPECTRL) pero que difieren en la instanciación de predicados de bajo nivel (por ejemplo, ubicaciones de objetivos, posiciones de obstáculos) basadas en un índice $i$.

La intuición central es que las tareas inductivamente relacionadas deberían tener políticas inductivamente relacionadas. El trabajo previo, específicamente GenRL [32], intenta capturar esto aprendiendo una función de orden superior de evolución de la política $\Omega: \Pi \to \Pi$ tal que $\pi_{i+1} = \Omega(\pi_i)$. GenRL aproxima $\Omega$ como un polinomio sobre los parámetros de la política, definido por un conjunto de coeficientes $\kappa$.

Sin embargo, GenRL sufre de un cuello de botella fundamental de escalabilidad en el entrenamiento. Aprende los coeficientes $\kappa$ mediante un bucle de RL acoplado donde la política para cada tarea es generada por la estimación actual de $\kappa$, ejecutada, y luego utilizada para actualizar $\kappa$ basándose en recompensas agregadas. A medida que el número de tareas de entrenamiento ($|Train|$) crece, esta retroalimentación de recompensa agregada se vuelve ruidosa y conflictiva. Esta inestabilidad impide que el bucle de entrenamiento converja, debilitando así la capacidad del agente para generalizar a índices no vistos.

Metodología: DIBS

Los autores proponen DIBS (Clonación de Comportamiento Inductivo Desacoplado), un marco que resuelve el cuello de botella de la escalabilidad separando el aprendizaje de las políticas específicas de la tarea del aprendizaje de la función de evolución. El proceso consta de dos etapas distintas:

Etapa I: Agregación de Conjuntos de Datos Etiquetados por el Maestro

En lugar de aprender políticas y coeficientes simultáneamente, DIBS primero aprende de forma independiente una política "maestra" $\hat{\pi}_i$ para cada tarea de entrenamiento $R_i$ utilizando algoritmos de RL estándar (por ejemplo, PPO). Para asegurar que estos maestros independientes puedan ser ajustados por un único modelo de polinomio, DIBS aborda dos desafíos específicos:

1. Deriva del Maestro entre Índices (Cross-Index Teacher Drift): El entrenamiento independiente puede causar que las políticas maestras adyacentes deriven arbitrariamente en el espacio de parámetros, lo que las hace difíciles de ajustar con un único polinomio suave.

   • Solución: Los autores introducen una regularización entre índices durante el entrenamiento del maestro. La función de pérdida para el maestro $\hat{\pi}_i$ incluye un término $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$, donde $\hat{\pi}_{i-}$ es el maestro para el índice precedente. Esto impone una restricción de continuidad suave, sesgando el optimizador hacia soluciones que evolucionan suavemente a través de los índices.

2. Cobertura y Etiquetas No Confiables: Los rollouts on-policy estándar pueden no cubrir todo el espacio de estados requerido para que la plantilla generalice, mientras que los datos off-policy (por ejemplo, de buffers de repetición) pueden contener estados de baja calidad donde las acciones del maestro no son confiables.

   • Solución: DIBS emplea un filtro de confianza. Se entrena una red neuronal para distinguir entre estados de "alta calidad" (visitados durante rollouts exitosos que satisfacen la especificación) y estados de "baja calidad" (de la exploración temprana o reinicios). Solo se retienen los pares estado-acción donde la probabilidad de confianza $p_{conf}(s)$ supera un umbral $\tau_c$ para formar el conjunto de datos final $\tilde{D}_i$.

Etapa II: Aprendizaje de $\kappa$ mediante Clonación de Comportamiento

En la segunda etapa, los coeficientes $\kappa$ se aprenden mediante Clonación de Comportamiento (BC).

• El algoritmo ajusta la plantilla polinómica $\Omega$ (parametrizada por $\kappa$) al conjunto de datos agregados etiquetados por el maestro $\{\tilde{D}_i\}_{i \in Train}$.
• El objetivo es minimizar el error cuadrático entre las acciones generadas por la política de la plantilla desplegada $\pi_i$ y las acciones del maestro $\hat{\pi}_i$:
  $$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$$
• Esto reemplaza la ruidosa y multitare la agregación de recompensas de GenRL con un aprendizaje supervisado denso y estable. Dado que los maestros son fijos durante esta fase, se elimina el bucle de retroalimentación desestabilizador.

Contribuciones Clave

1. Algoritmo (DIBS): Un enfoque desacoplado que reemplaza el inestable bucle de RL multitare de GenRL con un flujo de trabajo de aprendizaje supervisado estable.
2. Técnicas:
   • Regularización entre índices: Asegura que las políticas maestras evolucionen suavemente a través de los índices de las tareas, facilitando el ajuste polinómico.
   • Filtrado de conjunto de datos basado en la confianza: Garantiza que el conjunto de datos de clonación de comportamiento contenga solo pares estado-acción de alta calidad, mitigando el riesgo de aprender de acciones maestras no confiables en estados no explorados.
3. Flexibilidad: A diferencia de GenRL, que está estrechamente acoplado al algoritmo ARS (Augmented Random Search), DIBS permite el uso de cualquier algoritmo de RL estándar para la fase de entrenamiento del maestro.

Resultados Empíricos

Los autores evaluaron DIBS en cuatro entornos de control continuo que abarcan diversas complejidades dinámicas: CAR2D (movimiento planar), REACHER (manipulación), SIMPLEDRONE y DRONEATTITUDE (navegación 3D y control de actitud).

• Escalabilidad de Entrenamiento: DIBS demostró una estabilidad significativamente mejor a medida que aumentaba el número de tareas de entrenamiento. Agregado en todos los benchmarks, DIBS logró una mejora de 3.82$\times$ en la fracción de índices de entrenamiento resueltos en comparación con GenRL.
• Generalización Zero-Shot: DIBS superó a GenRL y otros baselines (MAML, VariBAD, BC estándar, ARS) en la resolución de tareas no vistas. Logró una mejora de 6.19$\times$ en la fracción de índices no vistos resueltos en comparación con GenRL.
• Estudios de Ablación:
  • Eliminar el desacoplamiento (revertir al bucle acoplado de GenRL) causó el colapso del rendimiento en entornos más difíciles (por ejemplo, REACHER con más bloques).
  • Eliminar la regularización entre índices provocó una caída drástica en la generalización (por ejemplo, de 26 a 3 tareas no vistas resueltas en SIMPLEDRONE), confirmando la necesidad de una evolución suave del maestro.

Significado y Reivindicaciones

El artículo afirma que DIBS aborda fundamentalmente las limitaciones de escalabilidad de los métodos previos de generalización inductiva. Al desacoplar el aprendizaje de las políticas de tareas específicas del aprendizaje de la regla de generalización, el método:

1. Elimina la Inestabilidad: Elimina los errores acumulativos y las señales de recompensa ruidosas inherentes a los bucles de RL acoplados.
2. Permite la Escalabilidad: Permite que el sistema maneje familias de tareas más grandes y entornos dinámicos más complejos (tareas de largo horizonte y con ramificaciones) donde los métodos anteriores fallan.
3. Mejora la Generalización: La estabilidad del proceso de entrenamiento se correlaciona directamente con la capacidad de extraer una estructura generalizable, lo que conduce a un desempeño superior en zero-shot.

Los autores posicionan a DIBS como una solución robusta para escenarios donde las tareas exhiben variaciones sistemáticas (familias inductivas) definidas por lógica temporal, ofreciendo un camino práctico hacia agentes de RL escalables y generalizables.