Resumen Técnico: No todas las habilidades ayudan: Medición y reparación del conocimiento de los agentes

1. Planteamiento del problema

Los paradigmas actuales para mejorar los agentes de Modelos de Lenguaje Extensos (LLM) sin actualizaciones de pesos dependen de la acumulación de habilidades en lenguaje natural a partir de la experiencia. Estos sistemas suelen delegar todo el ciclo de vida de la habilidad —generación, retención y recuperación— al propio juicio del LLM. El supuesto subyacente es que un LLM puede determinar suficientemente qué habilidades conservar y cómo aplicarlas basándose en contextos de una sola tarea.

Sin embargo, este artículo sostiene que este enfoque confunde dos roles distintos:

1. Generación: Crear una habilidad a partir de la experiencia (un acto creativo donde el juicio del LLM destaca).
2. Curaduría: Decidir si una habilidad realmente ayuda (una cuestión empírica que requiere evidencia a través de muchas tareas).

Los autores identifican una desventaja sistemática de la acumulación sin control: la heterogeneidad causal. Las habilidades individuales suelen ayudar en tipos de tareas específicos mientras que activamente perjudican en otras. Debido a que estos efectos opuestos se cancelan entre sí en el agregado, los métodos de curaduría global (que evalúan las habilidades basándose en el rendimiento promedio) no logran detectarlos. En consecuencia, las habilidades "malas" se convierten en una sobrecarga invisible que degrada el rendimiento del agente, particularmente en tareas complejas o fuera de la distribución (out-of-distribution).

2. Metodología: El marco ASSAY

Los autores proponen ASSAY (Attribution-Based Skill Selection and Assembly), un marco que separa la generación de habilidades de la curaduría. Opera en tres etapas, unificadas por una única matriz de atribución causal $C \in \mathbb{R}^{N \times M}$, donde $N$ es el número de habilidades y $M$ es el número de tareas de desarrollo.

Etapa 1: Medición de efectos causales (Enmascaramiento aleatorio)

En lugar de confiar en el juicio del LLM para evaluar las habilidades, ASSAY utiliza el enmascaramiento aleatorio para computar una atribución causal imparcial.

• Protocolo: Para $K$ ensayos independientes, se construye una máscara aleatoria incluyendo cada habilidad con una probabilidad $f$ (muestreo de Bernoulli).
• Atribución: El puntaje causal $C[j, i]$ para la habilidad $s_j$ en la tarea $d_i$ se calcula como el estimador de diferencia de medias entre los ensayos donde la habilidad está presente y los ensayos donde está ausente.
• Resultado: Esto produce una matriz que revela si una habilidad ayuda (puntaje positivo), perjudica (puntaje negativo) o tiene un impacto insignificante en tareas específicas. Esto revela la heterogeneidad causal, donde las habilidades a menudo revierten su signo a través de diferentes tipos de tareas.

Etapa 2: Reestructuración de la biblioteca fuera de línea (Offline)

Utilizando la matriz de atribución, el marco reestructura la biblioteca de habilidades fuera de línea para resolver la heterogeneidad antes de la inferencia.

1. Dividir (Split): Las habilidades con alta heterogeneidad (gran varianza en los puntajes causales a través de las tareas) son reescritas por el LLM base en variantes condicionales con condiciones de activación explícitas (p. ej., "aplicar solo cuando el tipo de tarea sea X"). Estas variantes deben pasar una puerta de desarrollo para asegurar que no degraden el rendimiento general.
2. Retirar (Retire): Las habilidades con puntajes causales globales cercanos a cero (impacto insignificante) se eliminan para reducir el ruido en el contexto.
   3 Fusionar (Merge): Las habilidades casi duplicadas introducidas durante la división se agrupan, y se conserva el miembro con el puntaje más alto.

Etapa 3: Enmascaramiento causal por tarea

En el momento de la inferencia, una biblioteca estática es insuficiente porque el conjunto óptimo de habilidades varía por tarea. ASSAY trata la selección de habilidades como un problema de minimización de riesgos.

• Predicción: Para una nueva tarea de prueba, el sistema identifica las $k$ tareas de desarrollo más cercanas basándose en los embeddings de las instrucciones. Computa un efecto causal predicho $\hat{C}(s_j, t)$ para cada habilidad ponderando los puntajes causales históricos de esos vecinos más cercanos.
• Regla de enmascaramiento: Se suprimen las habilidades que predicen un efecto causal negativo, mientras que aquellas con efectos positivos o neutros se conservan. Las plantillas operativas protegidas (p. ej., paginación, validación de datos) están exentas de enmascaramiento para prevenir fallos catastróficos.
• Respaldo (Fallback): Si el conjunto filtrado se vuelve demasiado pequeño, el sistema revierte a la biblioteca completa para asegurar una degradación controlada.

3. Contribuciones clave

• Caracterización empírica: El artículo proporciona la primera evidencia empírica de la persistente heterogeneidad causal en las bibliotecas de habilidades de los agentes, demostrando que las habilidades rutinariamente ayudan en algunas tareas mientras perjudican en otras, lo que las hace invisibles para la curaduría global.
• Diseño del marco: ASSAY operacionaliza la separación de la generación (juicio del LLM) y la curaduría (medición empírica). Introduce un flujo de trabajo que computa la atribución causal, reestructura las bibliotecas fuera de línea y aplica el enmascariento por tarea durante la inferencia.
• Rendimiento de vanguardia (State-of-the-Art): El marco logra mejoras significativas en diversos modelos y benchmarks sin modificar los pesos del modelo.
  • AppWorld: En la división más difícil (hardest split), DeepSeek-V3 alcanza un 69.3% de Completitud de Objetivo de Tarea (TGC), una mejora relativa del 47.4% sobre el baseline, estableciendo un nuevo estado del arte entre los métodos publicados (incluyendo enfoques con ajuste de pesos).
  • $\tau$-bench: GPT-4.1 mejora en un 8.7% relativo, superando a o4-mini, o1 y GPT-4.5 en el leaderboard público sin modificación de pesos.
• Identificación de cuellos de botella: Los estudios de ablación confirman que el principal cuello de botella no es la presencia de "malas" habilidades globalmente, sino el fallo al emparejar las habilidades correctas con tareas específicas en el momento de la inferencia. El enmascaramiento por tarea explica la mayor parte de las ganancias.

4. Resultados experimentales

El marco fue evaluado en dos benchmarks (AppWorld y $\tau$-bench) utilizando siete modelos base de cuatro proveedores (OpenAI, DeepSeek, Anthropic, Google).

• Generalización: ASSAY mejoró consistentemente el rendimiento en todos los siete modelos. En la división test_challenge de AppWorld, las bibliotecas de habilidades no curadas de hecho degradaron el rendimiento para algunos modelos (p. ej., GPT-5.1 cayó de 52.5% a 49.9%), mientras que ASSAY revirtió esto y logró ganancias significativas.
• Sensibilidad a la dificultad: El método proporcionó las mayores ganancias en las tareas de Nivel 2 y Nivel 3, donde las bibliotecas no curadas causaron el mayor daño.
• Condiciones límite: Dos modelos (GPT-5.1 y Sonnet 4.5) mostraron ganancia cero en $\tau$-bench. Los autores atribuyen esto a una alta competencia base que satura los beneficios de la inyección de habilidades en el tiempo de prompt, sugiriendo rendimientos decrecientes a medida que aumenta la capacidad del modelo base.

5. Significado y afirmaciones

El artículo afirma que la dependencia actual del juicio del LLM para todo el ciclo de vida de la habilidad es una limitación fundamental. Al introducir una etapa de curaduría empírica y basada en mediciones, ASSAY resuelve el problema de la "heterogeneidad causal" que afecta a los agentes basados en habilidades.

Los autores enfatizan que su enfoque es complementario a los métodos existentes:

• Opera enteramente en el tiempo de inferencia y no requiere actualizaciones de pesos.
• Puede superponerse a cualquier flujo de generación de habilidades existente (p. ej., ACE, CUGA, Reflexion).
• Cambia el paradigma de "acumular más habilidades" a "emparejar precisamente las habilidades con las tareas".

El trabajo concluye que, si bien la generación de habilidades es un acto creativo que los LLM manejan mejor, la curaduría de habilidades es un problema empírico que requiere mediciones aleatorias para asegurar que el conocimiento inyectado en la ventana de contexto realmente ayude al rendimiento del agente.