💬 NLP

Adaptive Latent Agentic Reasoning

L'article propose l'Adaptive Latent Agentic Reasoning (ALAR), un cadre à double mode qui optimise les agents LLM en utilisant un raisonnement latent compact pour les étapes de routine et en réservant la chaîne de pensée explicite pour les décisions complexes, réduisant ainsi considérablement la génération de jetons tout en maintenant ou en améliorant la précision des tâches.

Auteurs originaux : Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

Publié 2026-06-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un assistant personnel très intelligent, mais beaucoup trop bavard, pour vous aider à résoudre des problèmes.

Le Problème : L'assistant « Sur-penseur »
Actuellement, les assistants IA les plus avancés (appelés Modèles de Raisonnement Large) sont comme des assistants qui sentent qu'ils doivent écrire une longue et détaillée entrée de journal intime avant chaque chose qu'ils font.

Scénario : Vous demandez : « Quel temps fait-il ? »
L'IA actuelle : « D'accord, je dois réfléchir. D'abord, je devrais considérer que l'utilisateur pose une question sur la météo. Je devrais me rappeler que la météo change. Je devrais me souvenir que je dois utiliser un outil. Je vais maintenant formuler un plan pour vérifier l'outil météo... » (Écrit 500 mots de monologue intérieur).
Le problème : C'est incroyablement lent et cela gaspille énormément d'espace numérique (tokens). Pour des tâches simples, ce « monologue intérieur » long et verbeux est inutile. Mais pour des tâches difficiles, l'IA a besoin de cette réflexion profonde. Le problème actuel est que ces IA utilisent la même réflexion lourde et verbose pour tout, qu'il s'agisse d'une question simple ou d'un casse-tête complexe.

La Solution : ALAR (Raisonnement Agentique Latent Adaptatif)
Le document présente un nouveau système appelé ALAR. Considérez ALAR comme le fait d'apprendre à cet assistant un nouveau super-pouvoir : la Pensée Silencieuse.

ALAR donne à l'assistant deux modes :

Le mode « Murmure » (Raisonnement Latent) : Pour les tâches de routine (comme vérifier la météo ou ouvrir une porte), l'assistant réfléchit silencieusement dans sa propre tête. Il n'écrit rien. Il traite simplement l'information et agit. C'est rapide et cela utilise très peu d'espace.
Le mode « Parole » (Raisonnement Explicite) : Lorsque la tâche est vraiment difficile (comme résoudre un problème mathématique complexe ou planifier un voyage en plusieurs étapes), l'assistant passe en mode « Parole ». Il écrit son entrée de journal complète et détaillée pour s'assurer de bien maîtriser la logique.

Comment il apprend : L'astuce de l'« Action »
Enseigner à une IA à penser silencieusement est délicat car vous ne pouvez pas évaluer ses « pensées silencieuses » (puisqu'elles sont invisibles).

La méthode du papier (Auto-distillation ancrée sur l'action) : Imaginez un chef cuisinier expert (l'Enseignant) qui écrit chaque étape d'une recette. On demande à l'élève (l'IA) de cuisiner le plat, mais sans écrire les étapes.
Au lieu de vérifier les notes de l'élève, les chercheurs vérifient uniquement si le plat final a bon goût. Si l'élève cuisine le même repas délicieux que l'enseignant, le système suppose que la pensée silencieuse de l'élève était correcte.
En se concentrant uniquement sur les actions (le résultat final), l'IA apprend à faire ce qu'il faut sans avoir besoin d'écrire le « pourquoi ».

Le « Commutateur Intelligent » (Sélection de mode adaptative)
Le système apprend aussi quand changer de mode.

L'entraînement : L'IA est récompensée lorsqu'elle utilise le « Mode Silencieux » pour obtenir la bonne réponse rapidement. Mais si elle tente d'utiliser le « Mode Silencieux » sur un problème difficile et échoue, elle est pénalisée.
Le résultat : L'IA apprend à être un caméléon. Elle utilise la « Pensée Silencieuse » pour 80 à 90 % des étapes faciles (économisant ainsi énormément de temps et d'espace) mais bascule automatiquement vers une réflexion bruyante et détaillée lorsqu'elle se heurte à un obstacle.

Les Résultats : Plus Rapide et Plus Intelligent
Les chercheurs ont testé le système sur deux tâches principales : la Recherche (trouver des réponses sur Internet) et l'Utilisation d'Outils (utiliser des logiciels pour accomplir des tâches).

Recherche : L'IA a utilisé 43,6 % de mots en moins (tokens) tout en obtenant des réponses identiques ou meilleures.
Utilisation d'Outils : L'IA a utilisé un nombre impressionnant de 84,6 % de mots en moins tout en obtenant en réalité plus de réponses correctes.

En termes simples
Le document soutient que nous n'avons pas besoin que nos assistants IA « se parlent à eux-mêmes » à voix haute pour chaque étape. En apprenant à l'IA à penser silencieusement pour les tâches faciles et à ne s'exprimer que pour les tâches difficiles, nous pouvons rendre l'IA beaucoup plus rapide et efficace sans perdre son intelligence. C'est comme dire à votre assistant : « N'écrivez pas un roman pour chaque petite tâche ; faites-le, c'est tout. Mais s'il s'agit d'un gros problème, prenez votre temps et écrivez-le. »

Résumé Technique : Raisonnement Agentique Latent Adaptatif (ALAR)

1. Énoncé du Problème

Les Grands Modèles de Raisonnement (LRM) ont démontré qu'une Chaîne de Pensée (CoT) étendue améliore considérablement les performances sur des tâches complexes. Cependant, lorsqu'ils sont appliqués à des agents LLM opérant dans des environnements interactifs multi-tours (ex: recherche, utilisation d'outils), ce comportement introduit une inefficacité substantielle. Les agents actuels génèrent souvent un raisonnement textuel verbeux à chaque étape de décision et allouent l'effort de raisonnement de manière uniforme, indépendamment de la complexité réelle du tour.

Ce « sur-réflexion » (overthinking) entraîne :

Inefficacité des Tokens : Les tokens de raisonnement s'accumulent dans la fenêtre de contexte à travers les tours, augmentant la latence et le coût.
Inadéquation Structurelle : De nombreux tours d'agent ne nécessitent qu'un calcul interne léger pour sélectionner l'action suivante basée sur des observations externes, mais produisent tout de même des traces de CoT explicites complètes.
Limites des Solutions Existantes : Les méthodes de compression de tokens actuelles (ex: élagage, budgets de longueur) opèrent au sein de l'interface CoT explicite. Elles raccourcissent le texte mais n'éliminent pas la nécessité de tokens de raisonnement textuels, échouant ainsi à traiter l'inefficacité structurelle de la génération de tout texte pour des décisions de routine.

2. Méthodologie : Raisonnement Agentique Latent Adaptatif (ALAR)

Les auteurs proposent ALAR, un cadre à double mode qui permet aux agents d'utiliser un raisonnement latent compact pour les tours de routine et de passer sélectivement à une CoT explicite uniquement lorsqu'une délibération plus profonde est requise.

2.1 Architecture Centrale

Politique à Double Mode : À chaque tour $t$ $t$ , l'agent échantillonne un mode $m_t \in \{<LAT>, <THINK>\}$ $m_{t} \in {< L A T >, < T H I N K >}$ directement depuis sa politique.
- Mode Latent ($$) : L'agent génère une séquence de longueur fixe de $K$ pensées continues ( $z_t$ ) dans l'espace des états cachés plutôt que des tokens discrets. Ces pensées sont traitées de manière autorégressive via une couche de projection $f_\phi$ avant que l'agent ne sélectionne une action.
- Mode Explicite ($$) : L'agent génère une CoT textuelle standard de longueur variable ( $c_t$ ).
Raisonnement Orienté vers l'Action : Contra-irement au raisonnement à passage unique où les pensées latentes mènent à une réponse finale, le raisonnement latent d'ALAR est conçu pour soutenir la sélection d'actions intermédiaires dans une trajectoire couplée à l'environnement.

2.2 Pipeline d'Entraînement

Le cadre utilise une procédure d'optimisation en deux étapes :

Étape 1 : Auto-Distillation Ancrée sur l'Action (AASD)

L'entraînement du raisonnement latent est difficile car les états cachés continus ne peuvent pas être directement supervisés par une CoT textuelle de longueur variable. L'AASD y répond par :

Configuration Enseignant-Étudiant : Le LRM de base agit comme un enseignant en mode explicite et comme un étudiant en mode latent.
Ancrage sur l'Action : Au lieu d'aligner les pensées latentes avec la CoT textuelle, l'étudiant est entraîné à reproduire l'action subséquente de l'enseignant. Les segments de CoT de l'enseignant sont remplacés par des blocs latents dans la trajectoire de l'étudiant.
Objectif : La fonction de perte maximise la log-vraisemblance des actions ancres ( $a_t$ ) de l'enseignant étant donné l'état ( $s_t$ ) et le bloc latent ( $z_t$ ). Cela permet à la projection $f_\phi$ de découvrir la trajectoire optimale dans l'espace des états cachés pour produire la bonne action sans être contrainte par la structure du texte de l'enseignant.

Étape 2 : AR-GRPO (Adaptive Reasoning GRPO)

Pour apprendre quand utiliser le raisonnement latent versus explicite, les auteurs introduisent une méthode d'apprentissage par renforcement :

Chauffage de Mode (Mode Warmup) : Un bref réglage fin supervisé (SFT) initialise la politique pour explorer les deux modes, car l'AASD biaise initialement le modèle vers le raisonnement latent.
Récompense Asymétrique : La récompense de trajectoire $R(\tau)$ $R (τ)$ encourage le raisonnement latent uniquement lorsque le succès de la tâche est préservé :
- Si la trajectoire est correcte ($EM=1$), la récompense augmente avec la fraction de tours latents ( $f(\tau)$ ).
- Si la trajectoire est incorrecte, la récompense pénalise l'utilisation excessive du raisonnement latent.
Contrôle de la Diversité et de la Longueur : Un bonus de diversité encourage l'exploration de différents mélanges de modes au début de l'entraînement, tandis qu'un facteur d'échelle de longueur pénalise les segments de raisonnement explicite excessivement longs.

3. Contributions Clés

Cadre ALAR : Une architecture de raisonnement à double mode qui combine le raisonnement latent avec une sélection de mode adaptative, permettant aux agents de contourner le raisonnement textuel inutile tout en conservant une délibération explicite pour les étapes complexes.
Auto-Distillation Ancrée sur l'Action (AASD) : Une nouvelle technique d'auto-distillation qui entraîne le raisonnement agentique latent sans supervision directe de l'état latent, en utilisant les actions faisant face à l'environnement comme ancres de supervision.
AR-GRPO : Une méthode d'apprentissage par renforcement qui optimise la sélection de mode par tour, récompensant l'efficacité du raisonnement latent lorsqu'elle ne compromet pas le succès de la tâche.

4. Résultats Expérimentaux

Les auteurs ont évalué ALAR sur des domaines de recherche agentique (6 benchmarks de QA en domaine ouvert) et d'utilisation d'outils (benchmark BFCL), en comparant avec des bases telles que O1-Pruner, ThinkPrune et ShorterBetter.

Domaine de Recherche (Search-R1 3B/7B) :
- ALAR a obtenu une précision Exact Match (EM) comparable ou légèrement supérieure tout en réduisant les tokens générés de 22,1 % à 43,6 % (Étape 2).
- L'étape 1 (pur latent) a atteint jusqu'à 52,5 % de réduction de tokens avec une précision compétitive.
- Les bases de compression textuelles ont montré des gains limités (réduction de 4 à 10 %) car les modèles de base produisaient déjà des CoT relativement compactes.
Domaine d'Utilisation d'Outils (Qwen3-4B-Thinking) :
- ALAR a démontré une performance supérieure, améliorant la précision moyenne de 86,1 % à 89,2 % tout en réduisant les tokens de 84,6 %.
- Cela souligne que le modèle de base était trop verbeux, et qu'ALAR a réussi à remplacer le texte inutile par un calcul latent.
Analyse du Comportement Adaptatif :
- Difficulté de la Tâche : Le modèle utilise plus fréquemment le raisonnement explicite sur les benchmarks plus difficiles (ex: Bamboogle, 2Wiki) et repose fortement sur le raisonnement latent pour les jeux de données plus faciles (ex: NQ, TriviaQA).
- Position du Tour : Le raisonnement explicite est concentré dans le premier tour (planification initiale), tandis que les tours suivants sont majoritairement latents.

5. Signification et Revendications

L'article affirme que ALAR améliore le compromis précision-efficacité des agents LLM en changeant fondamentalement le substrat de raisonnement plutôt qu'en se contentant de compresser le texte.

Hétérogénéité du Raisonnement : Les résultats soutiennent l'hypothèse que les besoins de raisonnement agentique sont hétérogènes ; les tours de routine ne nécessitent souvent qu'un calcul interne suffisant (latent) pour sélectionner une action, tandis que seules certaines étapes (ex: planification initiale ou décomposition complexe) nécessitent une CoT explicite.
Au-delà de la Compression : En remplaçant l'interface de raisonnement elle-même, ALAR atteint des réductions de tokens (jusqu'à 84,6 % en utilisation d'outils) inaccessibles aux méthodes qui se contentent de raccourcir les traces textuelles.
Praticité : L'approche démontante que les agents LLM peuvent devenir nettement plus efficaces sans sacrifier la performance, à condition qu'ils puissent allouer dynamiquement les ressources de raisonnement entre les modes latent et explicite.

6. Limites

Les auteurs reconnaissent plusieurs limites :

Portée : Le travail se concentre sur des tâches agentiques impliquant des environnements externes (recherche, outils) et n'évalue pas les domaines à passage unique comme les mathématiques ou le codage où des tokens de raisonnement supplémentaires pourraient être directement corrélés à la précision de la réponse finale.
Biais de l'Enseignant : La politique latente hérite de la couverture et des biais des trajectoires de l'enseignant réussies utilisées dans l'AASD.
Interprétabilité : Le raisonnement latent réduit la transparence des étapes intermédiaires, ce qui peut être indésirable dans des contextes à enjeux élevés où la justification des actions est requise.
Granularité Fixe : L'implémentation actuelle utilise une longueur de bloc latent fixe ( $K=4$ ) et un choix de mode discret, laissant place à un contrôle plus fin pour les travaux futurs.