Résumé Technique : ParametricSkills

Énoncé du Problème

Les modèles de langage de grande taille (LLM) agentiques reposent fortement sur des compétences (skills) — des recettes textuelles structurées encodant l'expérience de résolution de problèmes — pour gérer des tâches complexes du monde réel comme le génie logiciel (SWE) et la recherche scientifique. Cependant, le paradigme actuel consistant à représenter ces compétences sous forme de texte en contexte fait face à deux limitations fondamentales :

1. Goulot d'étranglement de l'exécution d'instructions : Les modèles peinent à comprendre et à suivre des instructions textuelles complexes et de long contexte. Des instructions vitales sont souvent perdues ou difficiles à localiser, ce qui conduit à des résultats de tâche sous-optimaux, particulièrement lorsque la taille du modèle diminue.
2. Découplage de l'évolution et de l'apprentissage : L'optimisation ou l'évolution des compétences dans l'espace textuel (par exemple, la réécriture de documents en langage naturel) est déconnectée de l'apprentissage intrinsèque du modèle. Bien que les méthodes textuelles puissent améliorer les performances en aval, elles ne mettent pas à jour les paramètres du modèle, laissant ses capacités fondamentales non optimisées.

Méthodologie : ParametricSkills

Les auteurs proposent ParametricSkills, un cadre qui convertit les compétences textuelles libres en adaptateurs paramétriques (spécifiquement des adaptateurs LoRA) au moment du test en utilisant un hyperréseau. Cette approche élimine le besoin de consommation de la fenêtre de contexte et couple l'évolution des compétences directement avec l'apprentissage du modèle.

Architecture Centrale

Le système utilise un hyperréseau ($h_\theta$) qui prend une description de compétence textuelle ($s$), l'encode via un encodeur de texte gelé ($g(\cdot)$) en une représentation ($z$), et génère des paramètres LoRA ($\phi$) en une seule passe directe (forward pass) :
$$\phi = h_\theta(g(s))$$
Ces paramètres sont fusionnés dans le modèle de base ($W_0 + \Delta W$), créant ainsi un modèle conditionné par la compétence sans modifier les poids de base ni consommer de jetons de contexte.

Pipeline d'Entraînement

Le processus d'entraînement se compose de trois étapes :

1. Pré-entraînement de reconstruction de compétence : L'hyperréseau est entraîné sur une vaste bibliothèque de compétences en utilisant trois objectifs auto-supervisés pour garantir une représentation fidèle du contenu de la compétence :
   • Reconstruction complète : Reconstruire l'intégralité du contexte à partir de la compétence complète.
   • Complétion de préfixe : Inférer le contexte complet à partir d'un préfixe tronqué.
   • Complétion au niveau de section : Une tâche de type "texte à trous" où une section fonctionnelle est supprimée, nécessant un raisonnement bidirectionnel pour reconstruire le composant manquant.
2. Affinage d'exploitation de compétence : L'hyperréseau est affiné sur des trajectoires agentiques synthétiques (à tour unique et multi-tours). Cela déplace l'accent de la simple compression de contenu vers l'apprentissage de la méthodologie d'exploitation de la compétence, ancrant les paramètres dans des étapes comportementales concrètes (planification, utilisation d'outils, vérification).
3. Boucle d'auto-évolution : Les compétences peuvent être raffinées dans l'espace textuel (via une boucle générateur-vérificateur) et recompilées dans l'espace paramétrique. Pour l'apprentissage continu, les trajectoires de tâches réussies sont résumées, converties en paramètres et fusionnées dans une compétence paramétrique globale via une moyenne mobile exponentielle (EMA).

Curation des Données

Les auteurs ont construit un ensemble de données à grande échelle comprenant :

• Bibliothèque de compétences : 45,8k compétences de haute qualité provenant de dépôts web (ex: GitHub, npm) et extraites de trajectoires d'agents réussies à travers 13 domaines (ex: Logiciel, IA/LLM, Sécurité).
• Trajectoires : Trajectoires d'exploitation synthétiques à tour unique (style QA et scénarios réalistes) et multi-tours (basées sur un bac à sable) générées à l'aide du bac à sable OpenCode.

Fusion de Compétences

Pour gérer des tâches complexes nécessitant plusieurs compétences, le cadre prend en charge la fusion de plusieurs adaptateurs LoRA. Les auteurs proposent une méthode de concaténation de rang où les mises à jour pondérées des adaptateurs individuels sont concaténées, surpassant la simple combinaison linéaire par facteur.

Principales Contributions

1. Infrastructure de Compétences à Grande Échelle : Construction d'une bibliothèque de 45,8k compétences et d'un ensemble de données de trajectoires agentiques correspondant avec un contrôle de qualité rigoureux.
2. Cadre de Compétence Paramétrique : Introduction d'un cadre de paramétrage au moment du test qui intègre les méthodologies d'exploitation de compétences dans des paramètres sans contexte, traitant ainsi le goulot d'étranglement de l'exécution d'instructions en long contexte.
3. Supériorité Empirique : Évaluation exhaustive démontrant que ParametricSkills surpasse les bases d'apprentissage en contexte (In-Context Learning) et les bases de texte-vers-LoRA (SHINE) sur des tâches de génie logiciel complexes.
4. Voie d'Apprentissage Continu : Démonstration que les compétences paramétriques peuvent être intégrées de manière fluide aux pipelines d'auto-évolution et accumulées via EMA, offrant une voie viable pour l'apprentissage continu au moment du test sans rétropropagation.

Résultats Expérimentaux

Évalué sur six sous-tâches complexes de génie logiciel (ex: Feature/Patch, Robustness Fix, Refactoring) en utilisant DeepSeek-V4-Flash comme juge :

• Performance : ParametricSkills a atteint un score moyen du juge LLM de 64,09, surpassant la base In-Context (57,65) de 6,44 points et la base No-Skills (50,21) par une marge significative.
• Métriques : Il a également obtenu des scores BERT plus élevés (+1,17) et des scores F1 plus élevés (+5,53%) par rapport à la base In-Context.
• Comparaison avec les Baselines : La base texte-vers-LoRA (SHINE) n'a pas réussi à surpasser la base In-Context (56,36 contre 68,12), soulignant que la conversion naïve de texte en paramètres est insuffisante sans un entraînement spécifique à l'exploitation de la compétence.
• Apprentissage Continu : Dans les expériences d'accumulation en ligne sur HumanEval, le réglage "Online continual merge" a atteint un taux de réussite de 51,61%, surpassant nettement la base d'auto-évolution indépendante (38,71%).

Signification

L'article soutient que représenter les compétences dans l'espace des paramètres plutôt que dans l'espace textuel change fondamentalement le paradigme agentique. En convertissant les compétences en adaptateurs LoRA, le cadre :

• Supprime la dépendance à la capacité du modèle à localiser et suivre des instructions complexes dans de longs contextes.
• Rend l'évolution des compétences intrinsèquement couplée à l'apprentissage du modèle, car l'amélioration de la compétence améliore directement les paramètres du modèle.
• Fournit une voie préliminaire mais prometteuse pour l'apprentissage continu au moment du test, permettant aux modèles d'accumuler l'expérience de multiples trajectoires dans un a priori paramétrique global sans la surcharge de calcul de l'entraînement traditionnel.