Résumé technique : De la pertinence à l'utilité d'exécution

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) s'appuient de plus en plus sur des bibliothèques de compétences contenant des connaissances procédurales réutilisables pour accomplir des tâches complexes à long horizon. Bien que les avancées récentes aient considérablement amélioré la récupération de compétences — garantissant que les ensembles de compétences récupérés sont sémantiquement pertinents par rapport à une requête — cette pertinence ne garantit pas l'utilité d'exécution.

L'article identifie un « écart pertinence-utilité » critique : la récupération d'un ensemble de compétences plausible ne garantit pas que son exécution produira un résultat positif. Puisque l'exécution par un agent est coûteuse en termes de calcul (consommant des appels d'API, des jetons et du temps de traitement), compter uniquement sur la pertinence de la récupération risque de gaspiller des ressources sur des ensembles qui semblent pertinents mais qui échouent à produire des résultats utiles. Les benchmarks et métriques existants (par exemple, Hit@K, Recall@K) se concentrent sur le classement de la pertinence plutôt que sur l'utilité de bout en bout de l'exécution, ce qui entraîne des problèmes tels que l'« occultation de compétence » (skill shadowing) et le transfert négatif.

Méthodologie : RADEG (Reward-Aware Dynamic Execution Gating)

Pour combler cet écart, les auteurs proposent RADEG, une couche de décision légère et agnostique au récupérateur, positionnée entre la récupération de la compétence et l'exécution de l'agent. RADEG prédit si une paire requête-ensemble de compétences récupérée est susceptible de produire une récompense de vérificateur non nulle avant le lancement de l'exécution coûteuse de l'agent.

Composants fondamentaux

1. Objectif de filtrage d'exécution (Execution-Gating Objective) :
   RADEG apprend à estimer la probabilité $s_\theta(q, b) \approx \text{Pr}(r(q, b) > 0 | q, b)$, où $r$ est la récompense du vérificateur spécifique à la tâche. La règle de décision $g_\theta(q, b; \tau)$ détermine s'il faut exécuter (si $s_\theta \ge \tau$) ou ignorer l'agent.

2. Encodage Requête–Ensemble de compétences :

   • Représentation sémantique : Un encodeur de texte fixe ($E$) génère des plongements (embeddings) pour la requête ($e_q$) et chaque compétence de l'ensemble ($e_s$). La représentation de l'ensemble ($e_b$) est obtenue par le regroupement moyen (mean pooling) des plongements de compétences.
   • Entrée conjointe : Le modèle concatène les plongements de la requête et de l'ensemble ($x_{sem} = [e_q \| e_b]$).
   • Caractéristiques augmentées : L'implémentation inclut des métadonnées optionnelles et des statistiques PPR (Personalized PageRank) provenant du récupérateur en amont, bien que la formulation centrale repose sur le contenu sémantique.

3. Apprentissage de l'utilité hors ligne (Offline Utility Learning) :
   Le système est entraîné sur des enregistrements d'exécution historiques $(q, b, r)$. Un encodeur neuronal projette les entrées dans un espace latent, suivi d'une tête logistique prédisant la probabilité d'une récompense positive. L'entraînement utilise une entropie croisée binaire pondérée par classe pour gérer le déséquilibre entre les exécutions à récompense nulle et celles à récompense positive.

4. Filtrage dynamique sensible à la récompense (Reward-Aware Dynamic Gating) :
   Une innovation clé est la séparation de l'encodeur d'utilité (gelé après l'entraînement hors ligne) et de la tête d'exécution logistique (mise à jour en ligne).

   • Lors du déploiement, à mesure que de nouveaux retours de vérificateur deviennent disponibles, seule la tête logistique légère est mise à jour via une descente de gradient en ligne.
   • Cela permet à la frontière de décision de s'adapter aux nouveaux retours d'exécution sans réentraîner le récupérateur, l'encodeur ou l'agent lui-même.

Étude de motivation

Les auteurs démontrent empiriquement l'écart pertinence–utilité en utilisant 72 tâches de SkillsBench. En perturbant les ensembles de compétences récupérés (suppression des meilleures compétences, ajout de compétences non pertinentes ou remplacement par des alternatives similaires), ils ont constaté que :

• 22 des 72 tâches ont changé de statut de récompense sous au moins une perturbation.
• Les scores de pertinence agrégés (PPR) présentaient une corrélation quasi nulle avec la récompense d'exécution en aval (Spearman $\rho \approx -0,09$).
• Les scores de pertinence n'ont pas réussi à prédire la récompense positive (AUROC $\approx 0,42$), confirmant que la pertinence est un mauvais indicateur de l'utilité d'exécution.

Principales contributions

1. Diagnostic empirique : L'article fournit une analyse contrôlée montrant que la récompense en aval est sensible à la composition de l'ensemble de compétences, tandis que les scores de pertinence de récupération standard offrent peu de signal prédictif pour le succès de l'exécution.
2. Cadre RADEG : Il introduit un module de filtrage post-récupération et pré-exécution qui estime l'utilité d'exécution en utilisant les retours observés, fonctionnant indépendamment de l'architecture spécifique du récupérateur ou de l'agent.
3. Adaptation dynamique : La méthode permet une adaptation peu coûteuse de la frontière exécution/omission via des mises à jour en ligne d'une tête logistique, évitant le coût de réentraînement de modèles complexes.
4. Évaluation : Des expériences approfondies sur 288 déroulements collectés démontrent que RADEG réduit considérablement les exécutions inutiles tout en préservant une fraction substantielle de la récompense en aval.

Résultats expérimentaux

Évalué sur un protocole de maintien (held-out) au niveau de la requête sur 288 déroulements :

• Performance de prédiction : RADEG a atteint un AUROC de 0,717 et un AUPRC de 0,570, surpassant nettement le filtrage basé sur la pertinence (PPR-Gate : AUROC 0,447) et le filtrage aléatoire (AUROC 0,500).
• Efficacité d'exécution : Avec un seuil par défaut ($\tau=0,5$), RADEG a ignoré 68 % des appels d'agent tout en conservant 61 % de la récompense totale du vérificateur. Cela a augmenté la récompense par appel de 0,309 (Toujours-Exécuter) à 0,483.
• Performance à budget fixe : Sous un budget d'exécution strict de 20 %, RADEG a conservé 40 % de la récompense totale, contre 15 % pour PPR-Gate et 19 % pour Random-Gate.
• Généralisation :
  • Trans-Agent : Le modèle entraîné sur les exécutions de Claude Sonnet s'est adapté avec succès à Qwen3.7-Max, DeepSeek-Chat et GLM-5.2 avec seulement des mises à jour de la tête, maintenant des AUROC compris entre 0,628 et 0,752.
  • Trans-Récupérateur : RADEG est resté efficace à travers différents récupérateurs en amont (Hybride, BM25, Embedding) et différentes tailles d'ensembles, indiquant qu'il apprend la compatibilité sémantique plutôt que de dépendre d'artefacts de récupération spécifiques.
• Surcharge (Overhead) : La surcharge de calcul de RADEG est négligeable (~75 $\mu$s par prédiction) par rapport aux temps d'exécution de l'agent (allant de 60s à >1500s).

Signification et affirmations

L'article affirme que la modélisation de substitution sensible à l'exécution constitue un complément pratique et rentable à la récupération de compétences. En découplant la décision de ce qu'il faut récupérer de celle de savoir s'il faut exécuter, RADEG traite le coût élevé des déploiements d'agents sans modifier les pipelines de récupération ou les architectures d'agents existants.

Les auteurs positionnent RADEG comme une solution modulaire qui :

• Laisse le récupérateur et l'agent inchangés.
• S'adapte aux nouveaux retours avec un coût computationnel minimal.
• Se généralise à travers différents agents et stratégies de récupération.

L'étude reconnaît des limites, notamment la dépendance aux retours de vérificateur enregistrés, l'échelle des déroulements collectés et la portée des perturbations contrôlées. Des travaux futurs sont suggérés pour évaluer RADEG sur des bibliothèques de compétences plus vastes et dans des contextes de déploiement réels afin de mesurer les économies monétaires et de latence.