Resumen Técnico: SKILLAUDIT

Formulación del Problema

El artículo aborda el desafío de la evolución de habilidades para agentes de Modelos de Lenguaje Extensos (LLM) congelados en flujos de trabajo profesionales. Aunque las "habilidades de agente" (paquetes de instrucciones procedimentales estructuradas) guían eficazmente a los agentes, estas suelen degradarse tras el despliegue debido a cambios en las herramientas, las API y los casos límite.

Los métodos existentes para refinar estas habilidades dependen de retroalimentación de verdad fundamental privilegiada (privileged ground-truth feedback), tal como:

• Puntuaciones de validación retenidas o resultados de pruebas ocultas.
• Señales de éxito/fallo de un oráculo.
• Recompensas del entorno o respuestas de referencia de expertos.

Sin embargo, en entornos de despliegue realistas, los profesionales suelen poseer únicamente una descripción de la tarea ($T$), datos del espacio de trabajo ($W$) y una habilidad inicial ($S_0$). Carecen de acceso a funciones de puntuación externas, soluciones de referencia o scripts de prueba. El problema central es: ¿Cómo se pueden mejorar las habilidades de un agente sin acceso a retroalimentación de verdad fundamental externa durante la optimización?

Los autores formalizan esto como un problema de optimización restringida donde el objetivo es maximizar la recompensa latente de la tarea $R(\tau)$ sujeta a una restricción libre de verdad fundamental ($C_{gtf}$), la cual prohíbe el acceso a $R$ o a sus representaciones indirectas (proxies) en cualquier punto del bucle de evolución.

Metodología: SKILLAUDIT

Los autores proponen SKILLAUDIT, un marco que evoluciona habilidades utilizando únicamente la descripción de la tarea, los datos del espacio de trabajo y los trazos de ejecución. El mecanismo central es la Auditoría de Trayectorias Emparejadas, que aísla el impacto específico de una habilidad comparando dos ejecuciones de la misma tarea:

1. Con-habilidad ($\tau_w$): El agente ejecuta la tarea con la habilidad candidata inyectada.
2. Sin-habilidad ($\tau_{wo}$): El agente ejecuta la misma tarea sin la habilidad.

El sistema deriva señales de optimización a partir de la divergencia conductual entre estas dos trayectorias. La arquitectura consta de cuatro componentes clave:

1. Auditoría de Trayectorias Emparejadas y PACE

Las diferencias brutas en las trayectorias son insuficientes para la edición. Para convertirlas en guía accionable, SKILLAUDIT utiliza la Evaluación Contrastiva Alineada con el Proceso (PACE). PACE es un conjunto de 12 evaluadores que operan a través de cuatro dimensiones:

• Adherencia al Proceso: ¿Siguió el agente los pasos prescritos por la habilidad?
• Evidencia de Artefactos: ¿Cumplen los archivos de salida con las restricciones declaradas en la habilidad?
• Consistencia: ¿Coincide el flujo de trabajo de la habilidad con el esquema de datos de la tarea?
• Delta de Efectividad: ¿Supera la trayectoria con-habilidad a la trayectoria sin-habilidad en los puntos de divergencia?

Crucialmente, PACE genera señales de diagnóstico ancladas a segmentos. En lugar de un "pasa/falla" global, identifica pasajes específicos en el documento de la habilidad que causaron un cambio de comportamiento (por ejemplo, "Con este párrafo, el agente realizó una acción incorrecta en el paso X").

2. Verificador de Anclaje (Anchor Verifier)

Para prevenir la deriva de los evaluadores y asegurar la integridad estructural, se compila un verificador estructural una sola vez a partir de la especificación de la tarea ($T$) y se mantiene fijo para toda la evolución. Este codifica restricciones estrictas derivables únicamente de $T$ y $W$ (por ejemplo, existencia de archivos, cumplimiento de formato, valores recomputables).

• Rol: Actúa como una puerta determinista. Si una actualización causa que el Verificador de Anclaje falle, la actualización se revierte incondicionalmente, independientemente de las señales blandas de PACE.

3. Evolución de Estrategia Dual

Basándose en una evaluación inicial de compatibilidad entre $S_0$ y $T$, el sistema dirige la tarea a uno de dos canales:

• Canal de Refinamiento (Refine Pipeline): Para habilidades que son ampliamente efectivas pero contienen ruido, redundancia o brechas menores. La estrategia es de sustracción primero: eliminar contenido de distracción mientras se protegen los segmentos que "ayudan".
• Canal de Reparación (Repair Pipeline): Para habilidades donde el flujo de trabajo central entra en conflicto con la tarea o induce activamente al error al agente. La estrategia es de reemplazo basado en el diagnóstico: localizar pasajes perjudicialos y sustituirlos con la guía correcta (potencialmente derivada de la trayectoria sin-habilidad).

4. Lógica de Decisión

En cada iteración, el sistema agrega las señales de PACE y las comprobaciones del Verificador de Anclaje para producir un veredicto de tres vías:

• Ayudó (Helped): Confirmar la actualización.
• Perjudicó (Hurt): Revertir inmediatamente (se veta si cualquier evaluador reporta una señal de "perjuicio").
• Inerte (Inert): Posponer para la siguiente iteración.

El bucle termina cuando la habilidad alcanza un estado estable (no hay veredictos de "perjuicio" en iteraciones recientes, el verificador pasa y no quedan objetivos accionables).

Contribuciones Clave

1. Evolución de Habilidades Libre de Verdad Fundamental: La formulación de la evolución de habilidades bajo la restricción realista $C_{gtf}$, donde no hay pruebas ocultas, soluciones de referencia o señales de oráculo disponibles.
2. Auditoría de Trayectorias Emparejadas: Un mecanismo para derivar señales de optimización aislando el efecto de la habilidad en el comportamiento del agente mediante la ejecución contrastiva controlada.
3. Diagnóstico Alineado con el Proceso: El desarrollo de PACE, que mapea las divergencias de trayectoria a pasajes específicos de la habilidad, combinado con un Verificador de Anclaje fijo para asegurar la estabilidad estructural.
4. Enrutamiento de Estrategia Dual: Un mecanismo que distingue entre habilidades que requieren reducción de ruido (Refinamiento) y aquellas que requieren un reemplazo central (Reparación).

Resultados Experimentales

El marco fue evaluado en 89 tareas contenidas en 8 dominios profesionales (incluyendo Ingeniería de Software, Ciencias Naturales y Finanzas) utilizando el banco de pruebas SkillsBench.

• Rendimiento: SKILLAUDIT logró una recompensa de tarea promedio del 73.9%.
• Comparaciones:
  • Superó al agente sin habilidades (40.9%) por +33.0 puntos porcentuales.
  • Superó a la habilidad experta estática incluida en el banco de pruebas (56.7%) por +17.2 puntos porcentuales.
• Varianza de Dominio: El sistema mostró las mayores ganancias en Ingeniería de Software (+38.5 pp) y Oficina y Trabajo de Cuello Blanco (+26.7 pp). En Finanzas y Economía, igualó la línea base estática pero no la superó.
• Recuperación: El sistema recuperó con éxito el 43% de las tareas donde la habilidad inicial falló (recompensa < 0.5) y protegió perfectamente el 92% de las tareas donde la habilidad inicial ya estaba funcionando.

Significancia y Limitaciones

El artículo sostiene que SKILLAUDIT demuestra que las habilidades de los agentes pueden mejorarse autónomamente sin verdad fundamental externa, siempre que la corrección de la tarea deje una traza estructural observable.

• Límite de Observabilidad: Los autores identifican que el éxito está gobernado por la observabilidad, no por el dominio. Las habilidades que codifican "conocimiento ejecutable y observable" (por ejemplo, uso de API, fórmulas matemáticas) evolucionan bien porque los errores producen trazas visibles (rastreos de pila, números incorrectos). Por el contrario, las habilidades que codifican "procedimientos de dominio" (donde eliminar un paso no deja una traza estructural) son difíciles de evolucionar sin verdad fundamental.
• Naturaleza de las Ediciones: El análisis revela que la evolución exitosa tiende a transformar las habilidades de "tutoriales" en "contratos de ejecución observables por un verificador". A menudo implica podar contenido fuera de dominio, des-codificar rutas fijas y añadir contratos de entrada/salida (I/O) faltantes.
• Afirmaciones Moderadas: Los autores reconocen que el sistema no puede sintetizar conocimiento de dominio faltante si el auditor no puede verificar el resultado (por ejemplo, no puede arreglar un modelo financiero si no puede verificar la corrección del número, solo la existencia del archivo). El sistema recupera fallos haciendo que el contrato de la habilidad sea observable, no inventando nuevo conocimiento de dominio.

En resumen, SKILLAUDIT proporciona una vía práctica para mantener y evolucionar las habilidades de los agentes en despliegues del mundo real donde la infraestructura de validación externa no está disponible, basándose en su lugar en la consistencia interna y las restricciones estructurales de la propia tarea.