Resumen Técnico: SkillMentor

Declaración del Problema

Los enfoques actuales de la autoevolución de agentes se centran predominantemente en la ejecución: aprender cómo actuar mediante la actualización de los parámetros del ejecutor o el refinamiento de bases de conocimiento externas. Estos métodos pasan por alto mayoritariamente el diagnóstico: la capacidad de descubrir los "puntos ciegos" de un agente (modos de fallo recurrentes) sin supervisión externa. Los procedimientos de diagnóstico existentes son típicamente diseñados, fijos o dependen de datos etiquetados por humanos para especificar qué necesita reparación. En consecuencia, la capacidad de identificar autónomamente qué es lo que un agente no sabe sigue siendo una capacidad no aprendida.

Los autores postulan que el diagnóstico es conceptualmente distinto de la ejecución. Para estudiar esto de forma aislada, proponen un entorno donde:

1. El Ejecutor (el agente que realiza las tareas) está congelado; sus pesos nunca se actualizan.
2. No hay datos etiquetados por humanos disponibles; el sistema no puede depender de ejemplos anotados para especificar fallos.
3. Todas las mejoras de rendimiento deben originarse únicamente a partir de una capacidad diagnóstica aprendida.

Metodología: SkillMentor

El artículo propone SkillMentor, un marco que entrena una pequeña política Mentor ($\pi_\theta$) mediante Aprendizaje por Refuerzo (RL) para diagnosticar y reparar un Ejecutor congelado ($\pi_E$). El sistema opera a través de un bucle de retroalimentación de autoevolución que consta de tres etapas:

1. Descubrimiento de Puntos Ciegos

El Mentor interactúa con el entorno para generar tareas de diagnóstico.

• Exploración: El Mentor explora el entorno para sintetizar tareas candidatas que desafíen al Ejector.
• Diversidad: Un búfer de diversidad evita que la exploración colapse en patrones de comportamiento estrechos.
• Evaluación de Brechas: Para cada tarea candidata, un modelo de referencia fuerte ($M$) genera una trayectoria y una puntuación de alta calidad ($s^M$). El Ejecutor congelado intenta la misma tarea utilizando su repositorio de habilidades actual, obteniendo una puntuación ($s^E$).
• Recompensa: La recompensa de descubrimiento ($r_{disc}$) se define como la brecha diagnóstica: $\delta = \max(0, s^M - s^E)$. Las tareas con mayores brechas se priorizan para su curación.

2. Curación de Habilidades

El Mentor transforma los puntos ciegos identificados en habilidades correctivas reutilizables almacenadas en un repositorio externo.

• Operaciones: El Mentor puede AÑADIR nuevas habilidades, ACTUALIZAR las existentes o FUSIONARLAS.
• Validación: Una habilidad candidata solo se acepta si es sintácticamente válida y, crucialmente, mejora el rendimiento del Ejector en la tarea diagnosticada por un margen $\Delta > 0.5$.
• Recompensa: La recompensa de curación ($r_{curate}$) combina el cumplimiento del formato y la mejora del rendimiento ($\Delta$).
• Mantenimiento: Un mecanismo ligero de ELIMINACIÓN expulsa las habilidades con bajas tasas de éxito (< 0.05) para evitar la saturación del repositorio.

3. Optimización Conjunta

El Mentor se entrena utilizando GRPO (Optimización de Política de Grupo Relativa) para maximizar un objetivo combinado:
$$J_{GRPO}(\theta) = J_{disc} + J_{curate} - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
El artículo argumenta que el descubrimiento y la curación forman un bucle de retroalimentación positiva: el descubrimiento de puntos ciegos conduce a mejores habilidades, mientras que mejores habilidades desplazan el límite de capacidad del Ejector, exponiendo nuevos puntos ciegos previamente ocultos. La optimización conjunta es esencial para mantener este bucle.

Contribuciones Clave

1. El Diagnóstico como Capacidad Aprendible: El artículo demuestra que el diagnóstico de puntos ciegos puede aprenderse como una política adaptativa en lugar de ser un procedimiento fijo y diseñado o un subproducto de la escala del modelo.
2. Autoevolución sin Actualización de Pesos: SkillMentor logra mejoras significativas de rendimiento en un Ejector congelado sin actualizar sus parámetros, apoyándose enteramente en un repositorio de habilidades externo y evolutivo.
3. Restricción de Cero Datos Humanos: El marco opera sin supervisión humana ni datos etiquetados, obligando al sistema a descubrir y reparar fallos recurrentes de forma autónoma.
4. Interpretabilidad: A diferencia de los métodos que internalizan el conocimiento en los pesos, SkillMentor almacena las habilidades como archivos Markdown legibles por humanos, proporcionando un mapa interpretable de las deficiencias del Ejector.

Resultados Experimentales

Los autores evaluaron SkillMentor en AppWorld (planificación de largo alcance) y BFCLv3 (llamada a funciones precisa) utilizando tres ejecutores congelados diferentes (Qwen3.5-9B, Qwen3.5-4B y DeepSeek-R1-Distill-Qwen-7B).

• Ganancias de Rendimiento: SkillMentor logró una mejora relativa promedio del 44.2% sobre la línea base "Sin Habilidad" (No Skill) en todos los ejecutores y conjuntos de datos.
• Comparación con Modelos Fuertes: El Mentor de 4B entrenado por RL superó consistentemente a modelos significativamente más grandes (ej. DeepSeek-V4-Flash) utilizados como mentores estáticos basados en prompts, lo que sugiere que el entrenamiento dirigido por RL es más efectivo que la mera escala de modelos para el diagnóstico.
• Transferibilidad: Las habilidades aprendidas de Ejectores más débiles (que exponen más puntos ciegos) se transfirieron eficazmente a Ejectores más fuertes, acercándose o incluso superando el rendimiento de las habilidades autoentrenadas del modelo más fuerte. Por el contrario, las habilidades de modelos más fuertes fueron menos efectivas en modelos más débiles.
• Estudios de Ablación: Eliminar la recompensa de descubrimiento o de curación, o desacoplar las políticas, resultó en caídas significativas de rendimiento, confirmando la necesidad de la optimización conjunta.
• Robustez: El rendimiento del sistema fue robusto a la elección del "LLM Judge" (el modelo fuerte utilizado para la evaluación), con modelos de nivel Flash de bajo coste logrando resultados casi óptimos.

Significado y Reivindicaciones

El artículo afirma que el diagnóstico de puntos ciegos es una capacidad aprendible que puede optimizarse independientemente de la ejecución. Al tratar el diagnóstico como un problema de optimización de políticas, SkillMentor permite la autoevolución de agentes sin el coste computacional de reentrenar los pesos de grandes ejecutores o la carga de privacidad/coste de la supervisión humana.

Los autores enfatizan que este enfoque cambia el paradigma de "aprender a actuar mejor" a "aprender qué es lo que el agente no sabe". El repositorio de habilidades resultante sirve no solo como un producto del diagnóstico, sino como un motor para la autoevolución continua, donde el descubrimiento de nuevos puntos ciegos y la curación de habilidades correctivas se refuerzan mutuamente. Este trabajo sugiere que los futuros agentes con capacidad de autoevolución deberían incorporar políticas de diagnóstico dedicadas y aprendidas en lugar de depender únicamente de prompts fijos o actualizaciones de parámetros.