💻 computer science

Latent Action Reparameterization for Efficient Agent Inference

Ce papier propose la Reparamétrisation d'Actions Latentes (LAR), un cadre qui apprend un espace d'actions latentes compact et multi-étapes à partir de trajectoires d'agents afin de réduire considérablement l'horizon de décision effectif et les coûts d'inférence des agents LLM tout en maintenant ou en améliorant les taux de réussite des tâches.

Auteurs originaux : Wenhao Huang, Qingwen Zeng, Qiyue Chen, Zijie Guo, Yu Sun, Cheng Yang, Siru Ouyang, Jiri Gesi, Fang Wu, Jiayi Zhang, Huaming Chen, Bang Liu, Xiangru Tang, Chenglin Wu

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenhao Huang, Qingwen Zeng, Qiyue Chen, Zijie Guo, Yu Sun, Cheng Yang, Siru Ouyang, Jiri Gesi, Fang Wu, Jiayi Zhang, Huaming Chen, Bang Liu, Xiangru Tang, Chenglin Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous donnez à un robot une liste d'instructions très longue et détaillée pour construire une maison.

L'Ancienne Méthode (Le Problème) :
Actuellement, lorsque nous demandons à un agent de Modèle de Langage à Grande Échelle (LLM) d'accomplir quelque chose de complexe, nous le forçons à penser et à parler par minuscules étapes atomiques. C'est comme dire au robot : « Prends le marteau. Maintenant, déplace ta main de 2 pouces. Maintenant, balance-le. Maintenant, frappe le clou. Maintenant, reprends le marteau. »

Même si le robot est intelligent, il doit générer une quantité massive de texte simplement pour dire « Je suis en train de prendre le marteau ». Cela crée un énorme « horizon de décision » — une longue série de minuscules décisions que l'ordinateur doit traiter une par une. Cela rend le robot lent, coûteux à exécuter et sujet à la fatigue (ou à l'épuisement de la mémoire) avant même d'avoir terminé le travail.

La Nouvelle Méthode (Reparamétrisation des Actions Latentes - LAR) :
Les auteurs de cet article proposent un raccourci ingénieux appelé Reparamétrisation des Actions Latentes (LAR).

Considérez la LAR comme l'enseignement d'une nouvelle langue de « Super-Commandes » au robot. Au lieu de dire « Prends le marteau, déplace la main, balance », le robot apprend à dire un seul mot magique : « Action-Marteau ».

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'Analogie du « Bouton Macro »

Imaginez que vous utilisez un ordinateur. Au lieu de cliquer sur « Fichier », puis « Nouveau », puis « Document », puis « Nommez-le », vous appuyez sur un seul bouton qui dit « Créer un Nouveau Doc ».

L'Affirmation de l'Article : La LAR apprend automatiquement ces « Super-Commandes » en observant le robot travailler. Elle identifie des schémas où le robot effectue toujours la même séquence d'étapes (comme ouvrir un outil, taper un format spécifique et le fermer). Elle regroupe ces étapes en une seule « action latente » invisible.
Le Résultat : Le robot prend moins de décisions. Au lieu de 100 minuscules étapes, il effectue 10 grandes étapes. Cela le rend beaucoup plus rapide et moins coûteux à exécuter.

2. La « Fermeture Éclair » vs La « Valise » (Ce qui est compressé ?)

Vous pourriez demander : « Si nous regroupons tout, le robot ne va-t-il pas oublier les détails importants ? »
L'article est très prudent sur ce point. Ils utilisent une analogie de Fermeture Éclair :

La Fermeture Éclair (La Structure) : Les parties ennuyeuses et répétitives des instructions (comme « Veuillez ouvrir l'outil de recherche » ou « Voici le format du code ») sont de faible entropie. Elles sont prévisibles. La LAR les zipe en un seul jeton latent.
La Valise (Le Contenu) : Les parties uniques et changeantes (comme la requête de recherche spécifique « Qui était le prochain Premier ministre britannique ? » ou un nombre spécifique) sont de haute entropie. Ce sont les « affaires » à l'intérieur de la valise. La LAR les laisse dézippées et visibles.
Pourquoi cela compte : Si vous zippiez la requête de recherche spécifique, le robot tenterait de rechercher « Le Prochain Premier ministre britannique » à chaque fois, même si la question portait sur un autre pays. Cela casserait le robot. La LAR ne zipe que la structure, pas le contenu.

3. La Zone « Boucle d'Or » (La Frontière d'Abstraction)

L'article a découvert une limite critique, qu'ils appellent la Frontière d'Abstraction.

Trop Peu de Compression : Le robot est lent car il dit encore trop de petits mots.
Juste Ce Qu'il Faut : Le robot est rapide car il utilise des « Super-Commandes » pour les parties ennuyeuses mais parle encore clairement pour les parties importantes.
Trop de Compression : Si vous essayez de regrouper les questions spécifiques ou les détails uniques dans une « Super-Commande », le robot se brise. C'est comme essayer d'utiliser un bouton « Action-Marteau » pour rechercher une personne spécifique ; le robot est confus car le bouton ne sait pas qui rechercher. L'article montre que si vous franchissez cette ligne, les performances du robot s'effondrent soudainement.

4. Les Résultats (Ce qui s'est réellement passé ?)

Les chercheurs ont testé cela sur trois types de tâches différents :

Culture Générale (TriviaQA) : Répondre à des questions complexes.
Programmation (KodCode) : Écrire du code informatique.
Navigation Web (Mind2Web) : Naviguer sur des sites web et utiliser des outils.

Les découvertes ont été :

Vitesse : Les robots utilisant la LAR ont généré significativement moins de mots (tokens) pour accomplir la même tâche. Cela signifie qu'ils ont terminé les tâches plus rapidement et ont utilisé moins de puissance informatique (mémoire GPU).
Intelligence : Malgré l'utilisation de moins de mots, les robots étaient tout aussi bons (voire parfois meilleurs) pour obtenir la bonne réponse. Ils n'ont pas perdu leur intelligence ; ils ont simplement arrêté de gaspiller du temps en bavardages répétitifs.
Généralisation : Ils ont entraîné le robot sur un ensemble de tâches (comme la programmation), et il a pu utiliser ces « Super-Commandes » sur de nouvelles tâches de programmation jamais vues sans avoir besoin d'être réentraîné.

Résumé

L'article soutient que le plus grand goulot d'étranglement pour rendre les agents d'IA plus rapides n'est pas seulement de construire des ordinateurs plus puissants ou des modèles plus intelligents ; c'est la façon dont nous leur demandons de parler.

En enseignant aux agents à regrouper les actions répétitives et prévisibles en de simples « Super-Commandes » tout en gardant les détails uniques et importants visibles, nous pouvons les rendre plus rapides, moins chers et tout aussi intelligents. C'est comme passer d'un robot qui compte chaque pas individuel à un robot qui sait « marcher », « courir » et « sauter » comme des mouvements fluides et uniques.

Résumé technique : Reparamétrisation des actions latentes pour une inférence efficace des agents

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) reposent souvent sur de longues séquences d'actions textuelles de bas niveau pour effectuer des raisonnements multi-étapes et interagir avec des outils. Cette granularité au niveau des jetons entraîne des horizons de décision effectifs excessivement grands, conduisant à une latence d'inférence élevée et à des coûts de calcul prohibitifs. Bien que des travaux antérieurs aient abordé l'efficacité par le biais d'optimisations au niveau du système, d'accélérations matérielles ou d'ingénierie de prompts, ces approches opèrent largement de manière orthogonale au processus de décision de l'agent. Elles peuvent réduire le coût des étapes d'inférence individuelles, mais échouent à résoudre le goulot d'étranglement fondamental : la représentation de l'espace d'action lui-même. Les auteurs soutiennent que l'efficacité de l'inférence est contrainte par la granularité à laquelle les actions de l'agent sont représentées, et que traiter la représentation de l'action comme un choix de modélisation de premier ordre est nécessaire pour mettre à l'échelle l'inférence efficace des agents LLM.

Méthodologie : Reparamétrisation des actions latentes (LAR)

Les auteurs proposent la Reparamétrisation des actions latentes (LAR), un cadre qui apprend un espace d'action latente compact où chaque action latente correspond à un comportement sémantique multi-étapes. Contrairement aux macros conçues à la main ou aux contrôleurs hiérarchiques, la LAR apprend ces unités directement à partir des trajectoires de l'agent et les intègre dans le modèle.

Concepts clés

Redéfinition de l'action : Au lieu d'opérer sur des primitives au niveau des jetons, l'agent raisonne sur des unités d'action latente de plus haut niveau ( $z_t$ ). Chaque action latente englobe une séquence d'actions de bas niveau, raccourcissant efficacement l'horizon de décision de $H_{eff} = \sum |a_t|$ à $H_{lat} = \sum |z_t|$ .
Contrainte d'exécutabilité : Un défi critique consiste à équilibrer l'abstraction avec l'exécutabilité. La LAR y répond en préservant strictement les entrées à haute entropie et riches en paramètres (par exemple, requêtes de recherche spécifiques, entités numériques) dans l'espace de sortie explicite. Seuls les motifs à faible entropie et structurellement récurrents (par exemple, invites système, syntaxe d'appel d'outils, configurations récurrentes) sont abstraits en unités latentes.
Équivalence de transition : Une action latente est définie comme une classe d'équivalence de segments d'action qui induisent des comportements équivalents en termes de transition. Formellement, deux segments sont équivalents en termes de transition si, pour n'importe quelle histoire précédente, ils conduisent aux mêmes résultats pertinents pour la tâche.

Pipeline de mise en œuvre

La LAR est réalisée via un pipeline en quatre étapes :

Identification : Le système identifie les segments d'action équivalents en termes de transition à partir des trajectoires de l'agent en utilisant un filtre basé sur l'entropie. Les segments à faible entropie du jeton suivant (continuations prévisibles) et à haute fréquence sont des candidats. Les segments à haute entropie sont exclus pour garantir l'exécutabilité.
Construction du vocabulaire : Les segments identifiés se voient attribuer des symboles de vocabulaire dédiés, formant un vocabulaire d'action latente.
Données d'entraînement à double format : Les trajectoires originales sont appariées à des contreparties reparamétrées où les segments correspondants sont remplacés par des symboles latents.
Distillation au niveau de la trajectoire : Un modèle étudiant (LLM de base + adaptateur LoRA + nouvelles plongées latentes) est entraîné pour imiter un modèle enseignant figé (le LLM original) en utilisant la distillation KL. La perte est calculée uniquement sur les positions de contenu partagées, contraignant les nouvelles plongées latentes à encoder la sémantique complète des segments compressés. Seuls les poids LoRA et les nouvelles plongées sont entraînables (~0,1 % des paramètres).

Contributions clés

L'article expose quatre contributions principales :

Gains d'efficacité significatifs : La LAR réduit considérablement l'horizon d'action effectif, entraînant des réductions substantielles des jetons d'action et des gains correspondants au niveau du système en termes de débit de jetons et de mémoire GPU de pointe sur divers benchmarks.
Préservation des performances de la tâche : Malgré une opération sur un espace compressé, la LAR maintient ou améliore les taux de réussite des tâches par rapport aux bases utilisant des actions textuelles brutes. Elle démontre également sa capacité à se transférer vers des benchmarks non vus sans réentraînement.
Analyse des limites de l'abstraction : Les auteurs identifient empiriquement un seuil distinct de collapse des performances. Cela délimite la frontière entre la redondance structurelle compressible et le contenu sémantique essentiel, montrant qu'une abstraction excessive conduit à un échec brutal lorsque le contenu de liaison de paramètres est incorrectement abstrait.
Nouvelle perspective sur la mise à l'échelle : Ce travail positionne l'apprentissage de la représentation de l'action comme un facteur critique et sous-exploré dans la mise à l'échelle de l'inférence efficace des agents LLM, offrant une voie complémentaire aux avancées en architecture de modèle et en matériel.

Résultats expérimentaux

Les auteurs ont évalué la LAR sur deux modèles de base (Llama-3.1-8B-Instruct et Qwen3-8B) à travers trois benchmarks : TriviaQA (raisonnement), KodCode (génération de code) et Mind2Web (interaction web).

Performance vs Efficacité : La LAR a constamment atteint des compromis favorable entre précision et efficacité. Par exemple, sur Qwen3-8B avec TriviaQA, la LAR a amélioré la précision de 67,40 % (Vanilla) à 80,09 % tout en réduisant les jetons d'action de 27,1 %. Sur KodCode, elle a égalé ou approché des bases solides tout en réduisant les jetons d'environ 9-10 %.
Généralisation : Les actions latentes apprises sur des ensembles de données « inclus » (TriviaQA, KodCode) se sont généralisées efficacement vers des benchmarks « exclus » (Musique, HumanEval, MBPP) sans réentraînement, suggérant l'apprentissage d'abstractions structurelles au niveau du domaine plutôt que d'artefacts spécifiques à l'ensemble de données.
Efficacité au niveau du système : La LAR a amélioré le débit de jetons et réduit l'utilisation de la mémoire GPU de pointe. Crucialement, le décodage des actions latentes introduit zéro surcharge de calcul supplémentaire, les symboles latents étant traités comme des jetons de vocabulaire standard.
Études d'ablation : Les expériences d'abstraction progressive ont révélé un comportement en trois phases : amélioration des performances avec une abstraction modérée, un pic à la limite de l'abstraction, et un effondrement brutal lorsque des composants à haute entropie et paramétrés étaient abstraits. Cela valide la nécessité du filtre d'entropie dans l'étape d'identification.
Transfert industriel : Une étude de cas sur l'environnement d'exécution d'agent industriel OpenClaw a démontré que la LAR pouvait être déployée comme une couche d'optimisation plug-in, remplaçant l'assemblage statique des invites système par des jetons latents, générant jusqu'à une amélioration relative de 27 % des scores d'Exact Match sans modifier la logique d'exécution du framework.

Importance et affirmations

L'article affirme que l'apprentissage de la représentation de l'action est un facteur critique et sous-exploré dans la mise à l'échelle de l'inférence efficace des agents LLM. En reparamétrisant l'espace d'action, la LAR adresse directement l'inefficacité causée par des interfaces d'action trop granulaires. Les auteurs affirment que cette approche permet aux agents d'opérer sur un horizon effectif plus court tout en préservant l'expressivité de l'espace d'action original et, crucialement, l'exécutabilité des interactions avec des environnements externes.

Ce travail suggère que l'efficacité ne doit pas être considérée uniquement comme un sous-produit de la génération de texte plus courte, mais comme une conséquence de l'opération sur une représentation de décision plus appropriée. En traitant la représentation de l'action comme un choix de modélisation de premier ordre, la LAR offre une voie complémentaire aux avancées matérielles et architecturales, validée sur des échelles de modèles allant jusqu'à 32B et dans des scénarios de déploiement industriel. Les auteurs soulignent que leur méthode est conservatrice par conception, améliorant l'efficacité sur les portions structurellement régulières de l'espace d'action sans introduire de risque sur les portions rares et irrégulières, évitant ainsi la dégradation des performances souvent observée dans les méthodes de suppression de jetons ou de compression de contexte.