HiMAC: Hierarchical Macro-Micro Learning for Long-Horizon LLM Agents

Ce papier présente HiMAC, un cadre d'apprentissage par renforcement hiérarchique qui améliore l'efficacité et la robustesse des agents LLM dans les tâches à long horizon en décomposant la prise de décision en planification macro et exécution micro, surpassant ainsi les méthodes existantes sur plusieurs benchmarks.

L'essentiel

Bonjour ! Imaginez que vous essayez d'enseigner à un robot très intelligent (basé sur un grand modèle de langage, ou LLM) comment accomplir une tâche complexe, comme ranger toute une maison ou acheter un cadeau précis sur internet.

Le problème, c'est que si vous lui donnez juste la consigne "Range la maison", il risque de se perdre. Il va essayer de faire tout d'un coup, mot par mot, et au bout de quelques minutes, il aura oublié ce qu'il devait faire au début. C'est comme essayer de construire un château de sable sans plan : une vague (une petite erreur) suffit à tout effacer.

Les auteurs de ce papier, HiMAC, ont trouvé une solution élégante. Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : Le "Chef qui fait tout"

Actuellement, la plupart des agents IA agissent comme un chef cuisinier seul qui doit à la fois :

• Inventer le menu (la stratégie).
• Éplucher les carottes (les actions immédiates).
• Cuire le plat.
• Servir le client.

Si le chef se trompe en épluchant une carotte au début, il panique, oublie le menu, et le plat est raté. C'est ce qu'on appelle un "plan plat" : tout est mélangé dans un seul flux de pensée.

2. La Solution HiMAC : Le "Chef et l'Exécutant"

HiMAC change la donne en divisant le travail en deux rôles distincts, comme dans une grande entreprise ou une armée :

• Le Macro-Policy (Le Stratège / L'Architecte) :
  C'est le grand chef qui ne touche pas aux outils. Son seul travail est de dessiner un plan détaillé (un "blueprint"). Il ne dit pas "mets la cuillère ici", il dit : "Étape 1 : Trouver la cuillère. Étape 2 : Mettre la cuillère dans le tiroir. Étape 3 : Fermer le tiroir."

  • Analogie : C'est comme un architecte qui dessine les plans d'une maison avant qu'un seul briquet ne soit posé.

• Le Micro-Policy (L'Exécutant / L'Ouvrier) :
  C'est l'ouvrier qui regarde le plan et fait le travail concret. Il reçoit l'instruction "Trouver la cuillère" et se concentre uniquement là-dessus. Une fois fini, il attend la prochaine instruction.

  • Analogie : C'est un maçon qui ne pense qu'à poser sa brique actuelle, sans se soucier de la toiture qui sera posée dans 3 mois.

Pourquoi c'est génial ? Si l'ouvrier se trompe en posant une brique, cela n'efface pas tout le plan de la maison. Le stratège peut simplement corriger la prochaine étape. Cela évite que l'erreur se propage et détruise tout le projet.

3. L'Entraînement : La Danse du "Co-Évolution"

C'est ici que la magie opère. Entraîner ces deux rôles ensemble est difficile car ils s'influencent mutuellement (si le plan est trop dur, l'ouvrier échoue ; si l'ouvrier est nul, le plan semble mauvais).

HiMAC utilise une méthode intelligente appelée Co-Évolution Itérative :

• Phase 1 (Le Stratège apprend) : On fige l'ouvrier. Le stratège essaie de dessiner des plans. On regarde si l'ouvrier (qui est fixe) arrive à les suivre. Si oui, le stratège est félicité.
• Phase 2 (L'Ouvrier apprend) : On fige le meilleur plan trouvé. Maintenant, l'ouvrier s'entraîne spécifiquement à exécuter ce plan précis.

C'est comme un coach de sport qui fait d'abord travailler le tacticien sur des schémas théoriques, puis fait travailler le joueur sur un schéma précis, en alternant. Cela évite que l'IA ne devienne confuse.

4. Le Résultat : Plus intelligent, pas plus gros

L'astuce incroyable de HiMAC, c'est qu'ils n'ont pas besoin d'utiliser un modèle géant (plus cher et plus lent). Ils ont juste besoin d'une meilleure structure.

• Ils ont prouvé que leur méthode bat les meilleurs systèmes actuels sur des jeux complexes (comme ranger des objets, naviguer sur un site web, ou résoudre des puzzles visuels).
• Ils apprennent plus vite (avec moins d'essais) et font moins d'erreurs.

En résumé

HiMAC, c'est comme passer d'un solitaire qui essaie de tout faire en même temps et qui s'épuise, à une équipe bien organisée avec un chef de projet et des exécutants spécialisés.

Au lieu de rendre le cerveau de l'IA plus gros (ce qui coûte cher), on lui donne simplement une meilleure façon de penser : d'abord le plan, ensuite l'action. C'est une leçon de sagesse pour l'intelligence artificielle : parfois, la structure compte plus que la taille.

Résumé technique

Titre : HiMAC : Apprentissage Macro-Micro Hiérarchique pour les Agents LLM à Long Terme

1. Problématique

Les agents basés sur les grands modèles de langage (LLM) ont démontré des capacités impressionnantes dans la prise de décision interactive à court terme. Cependant, ils échouent systématiquement sur des tâches à long horizon (long-horizon tasks) nécessitant une planification structurée et une exécution fiable.

Les approches actuelles reposent majoritairement sur des politiques "plates" (flat) et autogressives, où le raisonnement de haut niveau et les actions de bas niveau sont générés dans une seule séquence de tokens. Cette architecture souffre de trois modes de défaillance couplés :

1. Complexité d'exploration exponentielle : L'agent doit naviguer dans un vaste espace de recherche combinatoire avec une prédiction de token suivante myope.
2. Propagation sévère des erreurs : Une petite déviation syntaxique ou sémantique en début de trajectoire se propage de manière exponentielle, entraînant un échec irréversible.
3. Dérive sémantique (Context Drift) : Sur des trajectoires longues, l'agent perd le fil de l'objectif global au profit d'observations immédiates non pertinentes.

Le papier soutient que l'augmentation de la taille du modèle seule est insuffisante ; il est nécessaire d'introduire des biais inductifs structurels pour découpler la planification globale du contrôle local.

2. Méthodologie : Le Framework HiMAC

HiMAC (Hierarchical Macro-Micro Agentic Control) propose une architecture agentic hiérarchique à deux niveaux qui décompose la prise de décision en planification macro et exécution micro.

A. Architecture Macro-Micro
Le processus est modélisé comme un POMDP conditionné par un objectif, où la génération de trajectoire est factorisée :

• Politique Macro (Planificateur) : Génère un "Blueprint" (plan structuré), une séquence de sous-objectifs en langage naturel ($z = \{g_1, ..., g_K\}$) qui décompose l'objectif global en jalons gérables. Elle opère dans un espace sémantique ouvert.
• Politique Micro (Exécuteur) : Opère de manière conditionnée sur le blueprint sélectionné. Pour chaque sous-objectif actif, elle génère des actions atomiques. Elle utilise un token de terminaison spécial (<sub_done>) pour signaler la fin d'un sous-objectif, permettant une transition autonome vers le suivant. Cela agit comme un masque d'attention temporel, réduisant la fenêtre de contexte aux tâches pertinentes et évitant la dérive sémantique.

B. Optimisation de Politique Hiérarchique sans Critique (Critic-Free)
Pour entraîner cette hiérarchie sans utiliser de réseaux de valeur (critics) instables et inefficaces en termes d'échantillons, HiMAC étend l'algorithme GRPO (Group Relative Policy Optimization) :

• Estimation d'avantage hiérarchique : Au lieu d'un seul groupe d'échantillons, le système crée des groupes de comparaison spécifiques à chaque niveau.
  • Niveau Macro : Plusieurs blueprints sont échantillonnés et évalués par déroulement de la politique micro actuelle. L'avantage est calculé par rapport aux autres blueprints du groupe.
  • Niveau Micro : Plusieurs trajectoires d'exécution sont échantillonnées pour un même blueprint fixe. L'avantage est calculé par rapport aux autres trajectoires du groupe, isolant ainsi la qualité d'exécution de la qualité de la planification.
• Cela permet une attribution précise du crédit (credit assignment) sans réseau de valeur paramétrique.

C. Stratégie d'Entraînement par Co-Évolution Itérative
L'optimisation conjointe des deux niveaux crée un problème bi-niveau non stationnaire (le planificateur change les objectifs pendant que l'exécuteur apprend). HiMAC résout cela par une alternance de phases :

1. Phase d'Exploration Macro : Le planificateur est mis à jour tandis que l'exécuteur fonctionne en mode inférence (fixe, sans gradient). Cela fournit un signal de récompense déterministe pour évaluer la faisabilité des plans.
2. Phase d'Adaptation Micro : Un blueprint à haute confiance (celui ayant obtenu la meilleure récompense) est figé. L'exécuteur est mis à jour uniquement sur ce plan, apprenant à exécuter des stratégies réalisables.
   Cette alternance transforme un problème instable en une séquence de mises à jour stationnaires, créant un curriculum d'apprentissage émergent où la complexité des plans augmente au fur et à mesure que l'exécuteur s'améliore.

3. Contributions Clés

1. HiMAC : Un nouveau framework hiérarchique qui découple la génération de plans structurés (Blueprints) de l'exécution d'actions atomiques, réduisant radicalement la complexité d'exploration et la propagation des erreurs.
2. Optimisation sans Critique : Extension du GRPO à une structure bi-niveau avec estimation d'avantage relative hiérarchique, éliminant le besoin de réseaux de valeur instables.
3. Co-Évolution Itérative : Une stratégie d'entraînement alternée qui stabilise l'optimisation bi-niveau et induit naturellement un curriculum d'apprentissage progressif.
4. Preuve de Concept Structurelle : Démonstration que l'introduction d'une hiérarchie structurée est plus déterminante pour l'intelligence agente à long terme que l'augmentation de l'échelle du modèle.

4. Résultats Expérimentaux

HiMAC a été évalué sur trois benchmarks exigeants : ALFWorld (raisonnement incarné), WebShop (navigation web à long terme avec bruit), et Sokoban (planification spatiale visuelle).

• Performance Supérieure : HiMAC bat systématiquement les baselines de prompting (ReAct, Reflexion) et les méthodes d'apprentissage par renforcement (PPO, RLOO, GRPO, GiGPO).
  • Sur WebShop, HiMAC (avec un modèle 1.5B) atteint un taux de réussite de 83,4 %, surpassant le meilleur RL (GiGPO) de 16 points (67,4 %).
  • Sur ALFWorld, il atteint 92,1 % de réussite avec un modèle 7B, surpassant GiGPO (90,8 %).
  • Sur Sokoban, il atteint 87,5 % de réussite contre 82,8 % pour GiGPO.
• Efficacité Échantillonnaire : HiMAC converge plus rapidement que les méthodes plates, nécessitant moins d'itérations d'entraînement pour atteindre des seuils de réussite élevés.
• Analyse Qualitative : Les plans générés par le Macro-Policy montrent une évolution : d'une exploration aveugle initiale à une planification structurée avec des mécanismes de vérification autonome (ex: "vérifier l'inventaire") absents des méthodes plates.

5. Signification et Conclusion

Ce travail démontre que pour les agents LLM opérant sur des horizons temporels longs, l'induction de biais structurels hiérarchiques est plus critique que la simple augmentation de la taille du modèle.

HiMAC prouve qu'en séparant explicitement la stratégie (planification) de la tactique (exécution) et en utilisant une optimisation de groupe relative adaptée, il est possible de surmonter les limitations fondamentales des politiques plates (propagation d'erreurs, dérive sémantique). Cette approche ouvre la voie à des agents plus robustes, capables de gérer la complexité du monde réel avec une efficacité d'échantillonnage supérieure, même sur des modèles de taille modeste (1.5B - 7B paramètres).