Résumé technique : Toutes les compétences ne sont pas utiles : Mesurer et réparer la connaissance des agents

1. Énoncé du problème

Les paradigmes actuels visant à améliorer les agents basés sur les Grands Modèles de Langage (LLM) sans mise à jour des poids reposent sur l'accumulation de compétences en langage naturel issues de l'expérience. Ces systèmes délèguent généralement l'intégralité du cycle de vie d'une compétence — génération, rétention et récupération — au propre jugement du LLM. L'hypothèse sous-jacente est qu'un LLM peut suffisamment déterminer quelles compétences conserver et comment les appliquer en se basant sur des contextes de tâches uniques.

Cependant, cet article soutient que cette approche confond deux rôles distincts :

1. La Génération : Créer une compétence à partir de l'expérience (un acte créatif où le jugement du LLM excelle).
2. La Curation : Décider si une compétence est réellement utile (une question empirique nécessitant des preuves à travers de nombreuses tâches).

Les auteurs identent un inconvénient systématique à l'accumulation incontrôlée : la hétérogénéité causale. Les compétences individuelles aident souvent sur certains types de tâches tout en nuisant activement sur d'autres. Parce que ces effets opposés s'annulent en agrégat, les méthodes de curation globale (qui évaluent les compétences sur la base de la performance moyenne) échouent à les détecter. Par conséquent, les « mauvaises » compétences deviennent un surcoût invisible qui dégrade la performance de l'agent, particulièrement sur des tâches complexes ou hors distribution.

2. Méthodologie : Le cadre ASSAY

Les auteurs proposent ASSAY (Attribution-Based Skill Selection and Assembly), un cadre qui sépare la génération de la curation des compétences. Il opère en trois étapes, unifiées par une matrice d'attribution causale unique $C \in \mathbb{R}^{N \times M}$, où $N$ est le nombre de compétences et $M$ le nombre de tâches de développement.

Étape 1 : Mesurer les effets causaux (Masquage aléatoire)

Au lieu de s'appuyer sur le jugement du LLM pour évaluer les compétences, ASSAY utilise le masquage aléatoire pour calculer une attribution causale non biaisée.

• Protocole : Pour $K$ essais indépendants, un masque aléatoire est construit en incluant chaque compétence avec une probabilité $f$ (échantillonnage de Bernoulli).
• Attribution : Le score causal $C[j, i]$ pour la compétence $s_j$ sur la tâche $d_i$ est calculé comme l'estimateur de différence de moyennes entre les essais où la compétence est présente et les essais où elle est absente.
• Résultat : Cela produit une matrice révélant si une compétence aide (score positif), nuit (score négatif) ou a un impact négligeable sur des tâches spécifiques. Cela révèle l'hétérogénéité causale, où les compétences inversent souvent de signe à travers différents types de tâches.

Étape 2 : Restructuration hors ligne de la bibliothèque

En utilisant la matrice d'attribution, le cadre restructure la bibliothèque de compétences hors ligne pour résoudre l'hétérogénéité avant l'inférence.

1. Division : Les compétences présentant une forte hétérogénéité (grande variance des scores causaux à travers les tâches) sont réécrites par le LLM de base en variantes conditionnelles avec des conditions de déclenchement explicites (ex: « appliquer uniquement quand le type de tâche est X »). Ces variantes doivent passer une porte de contrôle de développement pour garantir qu'elles ne dégradent pas la performance globale.
2. Retrait : Les compétences ayant des scores causaux globaux proches de zéro (impact négligeable) sont supprimées pour réduire le bruit contextuel.
3. Fusion : Les compétences quasi-doublons introduites lors de la division sont regroupées, et le membre ayant le score le plus élevé est conservé.

Étape 3 : Masquage causal par tâche

Au moment de l'inférence, une bibliothèque statique est insuffisante car l'ensemble optimal de compétences varie par tâche. ASSAY traite la sélection de compétences comme un problème de minimisation des risques.

• Prédiction : Pour une nouvelle tâche de test, le système identifie les $k$ tâches de développement les plus proches basées sur les plongements (embeddings) d'instructions. Il calcule un effet causal prédit $\hat{C}(s_j, t)$ pour chaque compétence en pondérant les scores causaux historiques de ces plus proches voisins.
• Règle de masquage : Les compétences prédites pour avoir un effet causal négatif sont supprimées, tandis que celles ayant des effets positifs ou neutres sont conservées. Les modèles opérationnels protégés (ex: pagination, validation de données) sont exempts de masquage pour éviter une défaillance catastrophique.
• Repli : Si l'ensemble filtré devient trop restreint, le système revient à la bibliothèque complète pour assurer une dégradation gracieuse.

3. Contributions clés

• Caractérisation empirique : L'article fournit la première preuve empirique de l'hétérogénéité causale omniprésente dans les bibliothèques de compétences des agents, démontant que les compétences aident régulièrement sur certaines tâches tout en nuisant sur d'autres, rendant ainsi invisibles les curations globales.
• Conception de cadre : ASSAY opérationnalise la séparation de la génération (jugement du LLM) et de la curation (mesure empirique). Il introduit un pipeline qui calcule l'attribution causale, restructure les bibliothèques hors ligne et applique un masquage par tâche lors de l'inférence.
• Performance de pointe : Le cadre atteint des améliorations significatives sur divers modèles et benchmarks sans modifier les poids du modèle.
  • AppWorld : Sur la séparation la plus difficile, DeepSeek-V3 atteint 69,3 % de réalisation de l'objectif de la tâche (TGC), soit une amélioration relative de 47,4 % par rapport à la ligne de base, établissant un nouveau record parmi les méthodes publiées (y compris les approches avec ajustement de poids).
  • $\tau$-bench : GPT-4.1 s'améliore de 8,7 % en relatif, dépassant o4-mini, o1 et GPT-4.5 sur le classement public sans modification de poids.
• Identification du goulot d'étranglement : Les études d'ablation confirment que le principal goulot d'étranglement n'est pas la présence de « mauvaises » compétences globalement, mais l'échec de l'appariement des bonnes compétences aux tâches spécifiques au moment de l'inférence. Le masquage par tâche représente la majeure partie des gains.

4. Résultats expérimentaux

Le cadre a été évalué sur deux benchmarks (AppWorld et $\tau$-bench) en utilisant sept modèles de base provenant de quatre fournisseurs (OpenAI, DeepSeek, Anthropic, Google).

• Généralisation : ASSAY a systématiquement amélioré les performances de tous les sept modèles. Sur la séparation test_challenge d'AppWorld, les bibliothèques de compétences non curées ont en fait dégradé les performances pour certains modèles (ex: GPT-5.1 est passé de 52,5 % à 49,9 %), tandis qu'ASSAY a inversé cela et obtenu des gains significatifs.
• Sensibilité à la difficulté : La méthode a fourni les gains les plus importants sur les tâches de Niveau 2 et 3, là où les bibliothèques non curées causaient le plus de tort.
• Conditions limites : Deux modèles (GPT-5.1 et Sonnet 4.5) ont montré un gain nul sur $\tau$-bench. Les auteurs attribuent cela à une compétence de base élevée saturant les bénéfices de l'injection de compétences par le prompt, suggérant des rendements décroissants à mesure que la capacité du modèle de base augmente.

5. Signification et affirmations

L'article affirme que la dépendance actuelle au jugement du LLM pour l'intégralité du cycle de vie des compétences est une limitation fondamentale. En introduisant une étape de curation empirique et mesurée, ASSAY résout le problème de l'« hétérogénéité causale » qui frappe les agents basés sur les compétences.

Les auteurs soulignent que leur approche est complémentaire aux méthodes existantes :

• Elle opère entièrement au moment de l'inférence et ne nécessite aucune mise à jour de poids.
• Elle peut être superposée à n'importe quel pipeline de génération de compétences existant (ex: ACE, CUGA, Reflexion).
• Elle déplace le paradigme de « l'accumulation de plus de compétences » vers « l'appariement précis des compétences aux tâches ».

Le travail conclut que si la génération de compétences est un acte créatif qui doit être géré par les LLM, la curation des compétences est un problème empirique qui nécessite une mesure aléatoire pour garantir que la connaissance injectée dans la fenêtre de contexte aide réellement la performance de l'agent.