💻 computer science

HyperSkill: Self-Evolving LLM Agents via Hypergraph-Structured Skill Memory

HyperSkill est un nouveau cadre qui améliore les performances des agents LLM sur des tâches complexes en représentant la mémoire expérientielle sous la forme d'un hypergraphe de sous-tâches et de compétences réutilisables, permettant ainsi un stockage, une récupération relationnelle et une maintenance auto-évolutive plus efficaces qui surpassent de manière significative les bases de référence existantes.

Auteurs originaux : Ruiyao Xu, Tiankai Yang, Wei-Chieh Huang

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruiyao Xu, Tiankai Yang, Wei-Chieh Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un programme informatique conçu pour agir comme un assistant humain, capable de naviguer sur Internet, d'utiliser des outils et de résoudre des problèmes complexes à plusieurs étapes. Ces programmes, appelés agents IA, ne se contentent pas de répondre à des questions ; ils accomplissent des actions, observent les résultats et essaient à nouveau en cas d'échec. Pour que ces agents s'améliorent avec le temps, ils ont besoin d'un moyen de se souvenir de ce qu'ils ont fait auparavant. Tout comme un humain apprend d'une erreur passée ou d'une stratégie réussie, un agent doit stocker ses expériences afin de pouvoir les réutiliser plus tard. Le défi réside dans la manière d'organiser cette mémoire. Si un agent se contente de sauvegarder une longue liste de toutes les actions qu'il a jamais accomplies, l'information devient un amas désordonné de bruit. S'il ne sauvegarde que la réponse finale, il perd la logique étape par étape qui a permis la solution. La clé pour construire un agent véritablement auto-améliorable est de trouver un moyen de stocker non seulement les données brutes d'un événement, mais aussi les relations entre les petites étapes effectuées et les compétences utilisées pour les résoudre.

Des chercheurs ont tenté de résoudre ce problème en créant différents systèmes de mémoire pour les agents. Certains systèmes sauvegardent des récits entiers d'interactions passées, tandis que d'autres tentent de distiller ces récits en courts résumés ou en listes de « compétences ». Cependant, ces méthodes existantes traitent souvent chaque fragment d'information comme un élément isolé. Elles peuvent se souvenir qu'une tâche spécifique a été résolue, mais elles échouent à capturer comment les petites étapes de cette tâche se connectent aux compétences réutilisables qui ont permis de la réaliser. Elles éprouvent également des difficultés à mettre à jour leur mémoire de manière efficace, se contentant souvent d'ajouter de nouvelles informations sans vérifier si d'anciennes informations sont devenues inutiles ou si deux compétences similaires sont en réalité la même chose. Cette limitation empêche les agents de véritablement évoluer, car ils ne peuvent pas facilement voir les schémas qui relient différentes tâches entre elles.

Pour combler ces lacunes, une équipe de chercheurs a développé un nouveau cadre appelé HYPERSKILL. Au lieu de stocker les souvenirs sous forme de liste plate ou de simple chaîne de connexions, ce système organise les expériences d'un agent en un réseau complexe où une unité de mémoire lie plusieurs informations connexes à la fois. Imaginez la mémoire non pas comme un fichier unique, mais comme une photo de groupe qui capture un voyage spécifique, les étapes individuelles parcourues en chemin, ainsi que les outils ou stratégies spécifiques utilisés pour y parvenir, le tout lié dans un seul ensemble. Lorsqu'un agent est confronté à un nouveau problème, il ne cherche pas simplement une histoire passée similaire. Il décompose le nouveau problème en ses parties plus petites et recherche des voyages passés qui partagent ces mêmes parties, indépendamment du fait que l'histoire globale paraisse différente en surface.

Le système fonctionne en créant deux types de nœuds de mémoire : un pour les étapes spécifiques d'une tâche et un autre pour les compétences réutilisables qui peuvent être appliquées à de nombreuses tâches différentes. Ces nœuds sont reliés par un lien spécial qui représente un voyage complet effectué par l'agent. Lorsqu'une nouvelle tâche arrive, l'agent utilise une recherche à double voie pour trouver les expériences passées les plus utiles. Premièrement, il recherche des voyages passés qui partagent les mêmes petites étapes que la tâche actuelle. Deuxièmement, il recherche des voyages qui correspondent à la description globale de la tâche. En combinant ces deux recherches, le système peut trouver des expériences pertinentes qu'une recherche plus simple manquerait. Une fois ces voyages passés trouvés, il classe les compétences utilisées dans ceux-ci en fonction de la fréquence à laquelle elles sont apparues ensemble dans des résultats réussis. Cela permet à l'agent de donner la priorité aux stratégies les plus fiables plutôt que de simplement deviner en fonction de la similitude des mots.

À mesure que l'agent continue de travailler et d'accumuler des expériences, le système affine automatiquement sa mémoire pour qu'elle reste utile. Il vérifie régulièrement les informations stockées pour supprimer les compétences ou les étapes qui se sont révélées inefficaces ou qui ne sont plus nécessaires. Il recherche également les compétences qui sont essentiellement identiques et les fusionne en une entrée unique et plus forte. Ce processus garantit que la mémoire reste compacte et de haute qualité, empêchant l'agent d'être submergé par des informations redondantes ou de faible valeur. Les chercheurs ont testé ce système sur trois benchmarks impliquant la navigation web complexe, le raisonnement multi-étapes et l'utilisation d'outils. Ils ont comparé HYPERSKILL à dix autres systèmes de mémoire en utilisant deux modèles de langage de grande taille différents. Les résultats ont montré que le nouveau cadre surpasse systématiquement les autres, atteignant des taux de réussite plus élevés sur des tâches difficiles. Par exemple, sur un test spécifique, il a amélioré le taux de réussite de plus de onze points de pourcentage par rapport à une absence de mémoire, et ce, sans nécessiter de puissance de calcul ou de temps significativement plus importants.

L'étude suggère que la manière dont la mémoire est structurée est tout aussi importante que la mémoire elle-même. En préservant les relations entre les tâches, les étapes et les compétences, et en permettant au système de faire évoluer sa propre base de connaissances, HYPERSKILL permet aux agents d'apprendre plus efficacement de leur propre histoire. Les chercheurs ont constaté que le simple fait d'ajouter plus de mémoire sans une méthode intelligente pour l'organiser et la nettoyer pouvait en réalité nuire aux performances, entraînant confusion et erreurs. Leur approche, qui combine un réseau de connexions structuré avec un processus discipliné d'élagage et de fusion, offre une voie vers des agents capables de devenir réellement plus compétents à chaque expérience vécue. Bien que le système repose actuellement sur l'agent pour décomposer les tâches et extraire les leçons, ce qui ajoute un léger coût à son fonctionnement, les gains en précision et en efficacité suggèrent que cette méthode d'organisation des connaissances est une étape significative vers des systèmes autonomes plus performants.

Résumé Technique : HYPERSKILL

Énoncé du Problème

Alors que les agents basés sur les Grands Modèles de Langage (LLM) s'attaquent à des tâches de plus en plus complexes et à long horizon (par exemple, la navigation web, le raisonnement scientifique), ils dépendent de plus en plus de la mémoire expérientielle pour distiller les trajectoires passées en connaissances réutilisables. Cependant, les systèmes de mémoire existants souffrent de trois limitations fondamentales qui entravent l'auto-évolution :

Quoi stocker : Les systèmes actuels stockent soit des trajectoires brutes (bruyantes), soit des flux de travail abstraits (perdant le détail procédural), soit extraient des compétences isolées (abandonnant les relations compositionnelles). Ils ne parviennent pas à préserver les associations n-aires entre les sous-tâches, les compétences réutilisables et les résultats au sein d'une seule trajectoire.
Comment structurer et récupérer : La plupart des approches utilisent des banques de vecteurs plates ou des graphes de paires simples. Ces structures reposent uniquement sur la similitude de l'incorporation sémantique (embedding), échouant à capturer les signaux relationnels, tels que la cooccurrence d'une compétence spécifique avec un ensemble de sous-tâches à travers plusieurs trajectoires réussies.
Comment la mémoire évolue : Les systèmes existants accumulent généralement les connaissances sans condition ou appliquent des opérations légères et isolées (par exemple, une simple déduplication). Ils manquent de mécanismes capables de considérer conjointement la qualité des nœuds et la topologie du graphe pour élaguer les connaissances de faible utilité ou fusionner les compétences redondantes.

Méthodologie : HYPERSKILL

Les auteurs proposent HYPERSKILL, un cadre de mémoire qui modélise la connaissance expérientielle sous la forme d'un hypergraphe $G = (V, E)$ pour traiter conjointement le stockage, la récupération et l'évolution.

1. Architecture de la Mémoire

La mémoire est structurée comme un hypergraphe comprenant deux types de nœuds et des hyperarêtes les reliant :

Nœuds ( $V = V_u \cup V_s$ ) :
- Nœuds de Sous-tâche ( $V_u$ ) : Représentent les étapes discrètes d'une décomposition de tâche, encodant les préconditions et les descriptions d'étapes.
- Nœuds de Compétence ( $V_s$ ) : Représentent des stratégies d'exécution réutilisables (modèles positifs ou d'erreur) extraites via un prompting conditionné par le résultat. Chaque nœud porte un score d'utilité ( $\gamma$ ) mis à jour dynamiquement en fonction des taux de succès empiriques et de l'efficacité des étapes.
Hyperarêtes ( $E$ ) : Chaque hyperarête correspond à une trajectoire $\tau$ unique. Elle connecte l'ensemble spécifique des nœuds de sous-tâche et des nœuds de compétence impliqués dans cette trajectoire, ainsi qu'une leçon distillée et la description de la tâche originale. Contrairement aux arêtes de paires, les hyperarêtes préservent le contexte compositionnel complet d'un épisode.

2. Récupération par Double Voie

Pour récupérer le contexte pertinent, HYPERSKILL emploie une stratégie à deux voies qui interroge à la fois les niveaux de sous-tâche et de trajectoire :

Voie des Sous-tâches : La tâche actuelle est décomposée en sous-tâches. Celles-ci sont mises en correspondance avec les nœuds de sous-tâches stockés pour récupérer les hyperarêtes partageant la même structure procédurale, indépendamment des différences de formulation de surface.
Voie des Trajectoires : La description complète de la tâche est comparée directement aux plongements (embeddings) des hyperarêtes (concaténation de la description de la tâche et de la leçon distillée) pour récupérer des trajectoires ayant des sémantiques de haut niveau similaires.
Fusion : Les ensembles de candidats issus des deux voies sont fusionnés.

3. Classement des Compétences par Cooccurrence

Au lieu de classer les compétences récupérées uniquement selon leur similitude sémantique avec la requête, HYPERSKILL les classe par fréquence de cooccurrence à travers les hyperarêtes récupérées. Une compétence apparaissant dans de nombreuses trajectoires récupérées est jugée plus susceptible d'être pertinente, exploitant le signal structurel que la similitude sémantique seule ne peut fournir.

4. Maintenance Informée par la Structure

La mémoire subit un raffinement périodique pour éviter la stagnation et le bruit :

Élagage piloté par la Qualité : Les nœuds qui sont fréquemment récupérés mais qui échouent systématiquement à améliorer les résultats (faible score d'utilité $\gamma$ ) sont supprimés.
Fusion Informée par la Structure : Les nœuds de compétence redondants sont identifiés et fusionnés. Ce processus utilise une propagation pondérée par la qualité sur l'hypergraphe pour calculer des plongements structurels. Les nœuds présentant une haute similitude structurelle et une haute utilité sont consolidés en compétences d'ordre supérieur, préservant ainsi l'intégrité du graphe.

Principales Contributions

Représentation basée sur l'Hypergraphe : Le papier introduit une nouvelle structure de mémoire qui préserve nativement les associations n-aires entre les sous-tâches, les compétences et les résultats, répondant ainsi à la nature perteuse des listes plates et des graphes de paires.
Mécanisme de Récupération à Double Voie : Un système de récupération qui combine la correspondance de sous-structure procédurale (voie des sous-tâches) avec la correspondance de tâche sémantique (voie des trajectoires), améliorant le rappel des trajectoires pertinentes.
Classement par Cooccurrence : Une méthode pour sélectionner les guides d'exécution qui priorise les compétences en fonction de leur fréquence structurelle dans les trajectoires récupérées plutôt que de leur simple similitude sémantique.
Stratégie d'Évolution Conjointe : Un protocole de maintenance qui exploite la topologie du graphe et l'utilité des nœuds pour élaguer et fusionner les connaissances, garantissant que la mémoire reste compacte et de haute qualité.

Résultats Expérimentaux

HYPERSKILL a été évalué sur trois benchmarks (xBench, GAIA, WebWalkerQA) en utilisant deux modèles de base (GPT-4o et Qwen3-30B-A3B).

Gains de Performance : HYPERSKILL a surpassé dix baselines représentatives (incluant des méthodes de niveau trajectoire, de niveau workflow et basées sur des graphes) sur tous les benchmarks.
- Sur GAIA avec Qwen3-30B-A3B, il a obtenu une amélioration de +4,85 % du taux de réussite par rapport à la baseline "No Memory".
- Sur WebWalkerQA avec Qwen3-30B-A3B, il a obtenu une amélioration de +11,18 %.
- Avec GPT-4o, il a systématiquement atteint les taux de réussite les plus élevés ou proches des plus élevés, surpassant la deuxième meilleure méthode par des marges significatives (ex: +2,30 % sur GAIA).
Efficacité : Contrairement à certaines baselines qui augmentent l'usage de tokens et le nombre d'étapes sans gains proportionnels, HYPERSKILL a atteint des taux de réussite élevés avec des coûts de tokens modérés. Par exemple, sur xBench avec GPT-4o, il a égalé le nombre d'étapes le plus faible (5,27) parmi les meilleurs performeurs tout en maintenant une précision élevée.
Études d'Ablation : Supprimer la structure d'hypergraphe (retour à une récupération plate) ou supprimer l'une ou l'autre des voies de récupération (sous-tâche ou trajectoire) a entraîné des baisses de performance significatives, validant la nécessité du design dual-path et de l'hypergraphe.

Signification et Revendications

Le papier affirme que HYPERSKILL représente une étape significative vers les agents auto-évolutifs. En traitant une trajectoire non pas comme une unité de connaissance unique, mais comme une association n-aire, le cadre permet aux agents de devenir plus compétents à chaque interaction plutôt que de repartir de zéro.

Les auteurs soulignent que les améliorations proviennent du cadre de mémoire lui-même plutôt que des comportements spécifiques des modèles de base, car les gains sont cohérents à travers différentes familles de modèles. De plus, le mécanisme de maintenance informé par la structure est mis en avant comme étant crucial ; sans lui, l'accumulation inconditionnelle de mémoire introduit un bruit qui nuit activement aux performances de l'agent. Ce travail démontre que la préservation de la structure compositionnelle et l'exploitation des signaux relationnels (cooccurrence) sont essentielles pour un transfert de connaissances procédurales efficace dans des tâches agentiques complexes.