Resumen Técnico: LifeSkill – Coevolución de Mejora de Habilidades en Tiempo de Prueba para Agentes de Aprendizaje Vitalicio en Línea

1. Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) que operan en entornos dinámicos e interactivos requieren capacidades de aprendizaje vitalicio (lifelong learning) para adaptarse a distribuciones de tareas evolutivas y acumular conocimiento a partir de la experiencia. Sin embargo, los enfoques existentes sufren tres limitaciones críticas:

1. Parámetros Estáticos: La mayoría de los agentes mantienen sus parámetros del modelo fijos durante el despliegue, confiando únicamente en la recuperación de memoria externa (p. ej., Synapse, AWM) para mejorar el rendimiento. Esto impide un verdadero aprendizaje durante la fase de interacción.
2. Supervisión de Habilidades Insuficiente: Aunque los agentes pueden resumir trayectorias o reflexionar sobre fallos, la extracción de habilidades reutilizables a partir de la retroalimentación de la interacción carece de una supervisión fiable y fundamentada en la ejecución. Los métodos actuales suelen depender de jueces de LLM subjetivos o resúmenes heurísticos en lugar del éxito de la tarea.
3. Representación del Conocimiento Externo: El conocimiento adquirido se almacena típicamente como texto externo discreto. Esto impide que el modelo internalice, componga y generalice estas habilidades como parte de su conocimiento paramétrico, lo que conduce a la saturación del contexto y a la incapacidad de transformar la experiencia en una capacidad duradera.

El desafío central es permitir que los agentes mejoren mientras actúan en el entorno, convirtiendo la retroalimentación en tiempo de prueba en un crecimiento paramétrico persistente sin depender únicamente de la inferencia estática o la recuperación de memoria externa.

2. Metodología: Marco de Trabajo LifeSkill

Los autores proponen LifeSkill, un marco de aprendizaje por refuerzo de dos etapas diseñado para Agentes de Aprendizaje Vitalicio en Línea. El marco opera sobre un flujo de tareas ($D_{stream}$) y mantiene dos modelos con la misma arquitectura base pero con parámetros distintos:

• Modelo de Política ($\pi_\theta$): Ejecuta las tareas.
• Modelo de Extracción de Habilidades ($\pi_\phi$): Destila habilidades reutilizables a partir de interacciones fallidas.

Estos modelos participan en un bucle de coevolución en tiempo de prueba que consta de dos mecanismos clave:

A. Aprendizaje de Habilidades Guiado por Verificador (VGSL)

Esta etapa aborda la falta de supervisión directa para la extracción de habilidades.

• Proceso: Cuando el Modelo de Política falla en una tarea ($r=0$), el Modelo de Extracción de Habilidades genera habilidades candidatas ($s$) basadas en la trayectoria del fallo.
• Evaluación: En lugar de utilizar un juez de LLM subjetivo, cada habilidad candidata es evaluada por el éxito promedio del verificador de múltiples ejecuciones de política condicionadas a la habilidad ($K_\tau$ trayectorias por habilidad).
• Optimización: El Modelo de Extracción de Habilidades se entrena utilizando el objetivo DAPO (Optimización de Preferencia Directa). La utilidad de una habilidad se define por su tasa de éxito empírica ($R_i$). Las habilidades que conducen a mayores tasas de éxito de verificación son recompensadas, entrenando al extractor para generar habilidades que estén fundamentadas en la ejecución en lugar de ser meramente plausibles textualmente.

B. Internalización de Habilidades en Línea (OSI)

Esta etapa aborda la discrepancia entre la exploración guiada por habilidades y la necesidad de adaptación paramétrica.

• Proceso: Para las trayectorias exitosas donde una habilidad guio al agente hacia una solución ($r=1$), el texto explícito de la habilidad se elimina del contexto de entrada.
• Optimización: El Modelo de Política se actualiza utilizando la recompensa del verificador asociada con la trayectoria, condicionada únicamente a la entrada de la tarea original ($q$), no a la habilidad ($s$).
• Objetivo: Esto obliga al modelo a internalizar las capacidades de razonamiento y los comportamientos descubiertos durante la exploración guiada por la habilidad directamente en sus parámetros. Transforma los comportamientos "andamiados" (scaffolded) exitosos en conocimiento paramétrico "sin andamiaje" (unscaffolded), eliminando la necesidad de regenerar o recuperar el texto de la habilidad en futuras interacciones.

3. Contribuciones Clave

1. Marco de Trabajo LifeSkill: Un nuevo marco de aprendizaje por refuerzo de dos etapas que permite a los agentes de LLM de aprendizaje vitalicio en línea mejorar durante el despliegue, yendo más allá de la inferencia de parámetros estáticos con memoria externa.
2. Aprendizaje de Habilidades Guiado por Verificador: Un método para entrenar un extractor de habilidades utilizando retroalimentación fundamentada en la ejecución (tasas de éxito del verificador) en lugar de puntuaciones subjetivas, asegurando que las habilidades extraídas sean prácticamente útiles para la resolución de tareas.
3. Internalización de Habilidades en Línea: Un mecanismo para convertir las trayectorias exitosas guiadas por habilidades en mejoras de política sin andamiaje, permitiendo al agente absorber capacidades de razonamiento en sus parámetros y reducir la dependencia de texto recuperado.
4. Validación Empírica: Experimentos extensos que demuestran que el acoplamiento de la extracción de habilidades fundamentada en la ejecución con la adaptación paramétrica en línea produce un rendimiento superior en comparación con las líneas base existentes.

4. Resultados Experimentales

El marco fue evaluado en LifelongAgentBench, un banco de pruebas para la adaptación continua en tareas interactivas de largo horizonte a través de tres entornos: Base de Datos (DB), Sistema Operativo (OS) y Grafo de Conocimiento (KG).

• Rendimiento: LifeSkill alcanzó una precisión promedio de 0.59, superando a la línea base sin entrenamiento más fuerte (Group Self-Consistency) por 10 puntos absolutos y a la línea base basada en entrenamiento más fuerte (RFT) por 7 puntos absolutos.
• Especificidades del Entorno:
  • DB: LifeSkill alcanzó 0.82 (frente al 0.63 de la mejor línea base).
  • OS: LifeSkill alcanzó 0.64 (frente al 0.56 de la mejor línea base).
  • KG: LifeSkill obtuvo 0.32, ligeramente por debajo de la mejor línea base sin entrenamiento (0.36). Los autores atribuyen esto a la escasez de señales de recompensa binaria en las tareas de KG de largo horizonte, lo que debilita la señal de aprendizaje tanto para la extracción de habilidades como para la internalización.
• Estudios de Ablación:
  • Reemplazar VGSL con supervisión de LLM-Judge redujo el rendimiento, confirmando la necesidad de recompensas fundamentadas en la ejecución.
  • Eliminar el Modelo de Extracción de Habilidades causó la mayor caída de rendimiento, resaltando el valor de la coevolución de dos modelos.
  • Deshabilitar OSI redujo el rendimiento, probando que la extracción de habilidades por sí sola es insuficiente sin la internalización en los parámetros.
• Hiperparámetros: El rendimiento mejoró con el aumento del cómputo en tiempo de prueba (más ejecuciones/rollouts) hasta un punto de saturación (4 ejecuciones), y los tamaños de ventana óptimos variaron según el entorno (DB favoreció ventanas más pequeñas para actualizaciones rápidas; OS favoreció ventanas más grandes para estabilidad).

5. Significado y Reivindicaciones

El artículo afirma que LifeSkill representa un paso significativo hacia una adaptación continua genuina para los agentes de LLM. Al tratar las habilidades como una interfaz de aprendizaje intermedia que guía la exploración y es posteriormente internalizada, el marco cierra la brecha entre la recuperación de experiencia y el aprendizaje paramétrico.

Los autores enfatizan que su enfoque permite a los agentes:

• Aprender qué habilidades extraer de los fallos utilizando verificadores fiables y específicos de la tarea.
• Realizar actualizaciones de parámetros en línea durante el despliegue, en lugar de depender únicamente de la memoria externa.
• Internalizar comportamientos exitosos bajo la entrada de la tarea original, reduciendo la dependencia a largo plazo del texto recuperado y mitigando la saturación del contexto.

El trabajo sugiere que, mientras que los agentes actuales pueden recuperar la experiencia, LifeSkill demuestra una vía para transformar eficazmente esa experiencia en una capacidad duradera e internalizada. Se identifica como trabajo futuro la mejora del rendimiento en entornos de recompensa dispersa y de largo horizonte, así como la reducción de los costes de cómputo en tiempo de prueba asociados con la exploración guiada por habilidades.