Resumen Técnico: RESKILL – Reconciliando la Creación de Habilidades con la Optimización de Políticas en el Aprendizaje por Refuerzo Agéntico

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) agéntico permite que los agentes de Modelos de Lenguaje de Gran Escala (LLM) mejoren continuamente a través de recompensas del entorno. Sin embargo, existe una limitación crítica: las políticas resultantes suelen fallar al no acumular sistemáticamente estrategias reutilizables y transferibles que se generalicen entre tareas. Aunque los módulos de habilidades (fragmentos reutilizables que codifican estrategias específicas de la tarea) ofrecen una solución, los métodos actuales de RL aumentados con habilidades suelen desacoplar la creación de habilidades de la optimización de la política.

Este desacoplamiento crea un "conflicto habilidad-política". Los métodos que evolucionan las habilidades externamente (por ejemplo, mediante pruebas de intervención humana o destilación estática) corren el riesgo de adoptar habilidades que no se alinean con la evolución de la política del agente. Por el contrario, los métodos que aprenden habilidades sin una prueba basada en principios pueden acumular conocimiento ineficaz. El desafío central es crear un marco donde la evolución de las habilidades y el aprendizaje de la política se reconcilien, asegurando que las habilidades sean creadas, probadas y refinadas dinámicamente en respuesta directa al estado de aprendizaje actual de la política.

Metodología: El Marco RESKILL

RESKILL (Reconciling Skill Creation with Policy Optimization) aborda esto integrando el ciclo de creación de habilidades directamente en el bucle de entrenamiento de RL, aprovechando específicamente la estructura de grupo de la Optimización de Política Relativa de Grupo (GRPO). El marco opera a través de tres mecanismos integrados:

1. Pruebas de Habilidades Intra-Grupo

En lugar de utilizar ejecuciones de prueba dedicadas y costosas, RESKILL explota el hecho de que GRPO toma una muestra de un grupo de $G$ trayectorias para la misma tarea bajo la misma política.

• Mecanismo: Dentro de un solo paso de entrenamiento, diferentes versiones de habilidades (por ejemplo, un banco existente $S_{old}$ frente a un candidato $S_{new}$) se asignan a diferentes ejecuciones en el mismo grupo mediante Muestreo de Thompson.
• Beneficio: Esto permite una comparación controlada y sin coste adicional de las versiones de las habilidades. Dado que la tarea y la política son idénticas en todo el grupo, la única variable es la versión de la habilidad, lo que permite la atribución directa de las diferencias de rendimiento a las habilidades mismas.
• Ejecuciones de Triple Función: Cada ejecución sirve simultáneamente para: (i) la optimización de la política mediante gradientes de GRPO, (ii) el diagnóstico de fallos para el creador de habilidades, y (iii) la evaluación de la banda de bandit para la selección de la versión de la habilidad.

2. Creación de Habilidades en el Bucle de RL

RESKILL adapta el flujo de trabajo "Skill Creator" de Anthropic, pero reemplaza la retroalimentación humana con señales automatizadas impulsadas por recompensas del bucle de RL.

• Reservorio de Experiencia: Un reservorio $R$ continuamente actualizado recolecta pares de trayectorias de éxito-fallo anotados con su versión de habilidad y recompensa.
• Diagnóstico Basado en Aseveraciones: En lugar de analizar trayectorias individuales, el sistema aplica un conjunto dinámico de aseveraciones (predicados) basadas en reglas a todo el reservorio para identificar modos de fallo prevalentes.
• Revisión Condicional: Un agente basado en LLM propone versiones candidatas de habilidades (operaciones de AÑADIR, MODIFICAR, ELIMINAR) basadas en estos perfiles de fallo. Crucialmente, los disparadores propuestos se validan contra el reservorio para asegurar que tengan suficiente cobertura de activación antes de entrar en la fase de prueba.

3. Muestreo de Thompson Adaptativo para la Evolución de Habilidades

Para gestionar el equilibrio entre explorar nuevas versiones de habilidades y explotar las conocidas como efectivas a medida que la política evoluciona, RESKILL emplea el Muestreo de Thompson con descuento adaptativo.

• Asignación: En cada paso, la probabilidad de asignar una ejecución a una nueva versión de habilidad está determinada por la probabilidad posterior de que la nueva versión sea superior ($Pr(p_{new} > p_{old})$).
• Descuento Adaptativo: Debido a que la política evoluciona durante la ventana de evaluación, las observaciones antiguas se vuelven obsoletas. RESKILL introduce un parámetro de memoria $M$ para descontar la evidencia previa. El factor de descuento $w_t$ se ajusta según el número de nuevos episodios $n_t$: si $n_t$ es pequeño, se retiene la evidencia pasada; si $n_t$ es grande, la evidencia pasada se descuenta agresivamente para reflejar las capacidades actuales de la política.
• Aceptar/Rechazar: Al final de un ciclo de evolución, una nueva versión de habilidad se acepta solo si su rendimiento esperado bajo la posterior descontada supera al de la versión antigua.

Principales Contribuciones

1. Co-evolución Reconciliada: RESKILL es el primer marco que integra la creación de habilidades directamente en el bucle de optimización de la política, eliminando el riesgo de desalineación habilidad-política encontrado en enfoques desacoplados.
2. Pruebas de Coste Cero: Al utilizar la estructura de grupo de GRPO, RESKILL permite la comparación controlada de versiones de habilidades sin requerir presupuestos de ejecución adicionales o fases de prueba dedicadas.
3. Ciclo de Vida de Habilidad Adaptativo: El marco automatiza el ciclo de vida completo de las habilidades —creación, prueba, refinamiento y poda— basándose en el rendimiento de la política en tiempo real y las señales de recompensa.
4. Robustez ante el Desplazamiento de la Política: La introducción del descuento adaptativo en el Muestreo de Thompson permite al sistema manejar la no estacionariedad de la política en evolución, asegurando que las evaluaciones de las habilidades sigan siendo relevantes.

Resultados Experimentales

RESKILL fue evaluado en cinco dominios: razonamiento encarnado (ALFWorld), búsqueda agéntica (NQ, HotpotQA y cinco conjuntos de datos no vistos), descubrimiento científico (ScienceWorld), programación (InterCode-SQL) y compras web (WANDS).

• Ganancias de Rendimiento: RESKILL superó consistentemente a las líneas de base, incluyendo GRPO vanilla, RL basado en memoria (MEMRL) y métodos basados en habilidades existentes (SKILLRL, INSPO).
  • En ALFWorld, RESKILL alcanzó una tasa de éxito del 90.0% (modelo 4B) y del 92.7% (modelo 8B), superando por márgenes significativos a la línea de base más fuerte (SKILLRL).
  • En Búsqueda Agéntica, RESKILL mejoró el rendimiento en un 2.5–2.3% sobre SKILLRL en las divisiones vistas y logró ganancias aún mayores en las divisiones no vistas.
• Generalización a Tareas No Vistas: Las mejoras más sustanciales se observaron en tareas no vistas y difíciles. Por ejemplo, en tareas no vistas de ALFWorld, RESKILL (8B) alcanzó un 95.3%, una brecha de 12.7% sobre SKILLRL (82.6%). Esto sugiere que la evolución reconciliada retiene solo las versiones de habilidades que generalizan mejor.
• Adaptación de Dominio Cruzado: En un experimento de adaptación en tiempo de ejecución, una política entrenada en ALFWorld fue congelada y aplicada a ScienceWorld. RESKILL adaptó rápidamente su banco de habilidades al nuevo dominio sin actualizaciones de la política, mientras que los modelos de la línea de base fallaron en evolucionar.
• Eficiencia: RESKILL mantuvo velocidades de entrenamiento e inferencia competitivas en relación con GRPO. Su mecanismo de disparador condicional aseguró que solo se cargaran las habilidades relevantes, manteniendo los contextos compactos en comparación con los métodos que cargan todas las habilidades incondicionalmente.

Significado y Reivindicaciones

El artículo sostiene que RESKILL demuestra que la creación de habilidades y el aprendizaje de la política no deben tratarse como procesos separados. Al reconciliar estos dos procesos, el sistema desarrolla una capacidad general para seguir y beneficiarse de nuevas habilidades, lo que conduce a un rendimiento superior en tareas compleas, no vistas y fuera de dominio.

Los autores enfatizan que las ganancias provienen principalmente del mecanismo de co-evolución reconciliada más que del LLM específico utilizado para la creación de habilidades (los estudios de ablación mostraron que el rendimiento seguía siendo alto incluso cuando el creador de habilidades era el propio modelo base). El marco establece un nuevo paradigma para el RL agéntico donde las habilidades no son instrucciones estáticas, sino componentes dinámicos y evolutivos que se co-adaptan con la política del agente.