🤖 AI

Closing the Loop on Latent Reasoning via Test-Time Reconstruction

L'article présente ReLAT, une méthode d'entraînement au moment du test auto-supervisée qui améliore le raisonnement latent en reconstruisant la requête originale à partir des états latents intermédiaires afin de garantir que les informations pertinentes pour la tâche sont préservées, augmentant ainsi considérablement les performances sur les bancs d'essai de mathématiques, de connaissances et de génération de code.

Auteurs originaux : Xiaopeng Yuan, Haibo Jin, Ye Yu, Peng Kuang, Lijun Yu, Yushun Dong, Haohan Wang

Publié 2026-06-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xiaopeng Yuan, Haibo Jin, Ye Yu, Peng Kuang, Lijun Yu, Yushun Dong, Haohan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle très difficile, comme un problème de mathématiques complexe ou un défi de programmation.

Le Problème : Le raccourci de la « Boîte Noire »

Traditionnellement, lorsqu'une IA tente de résoudre ces problèmes, elle se parle à voix haute. Elle écrit chaque étape de son raisonnement en anglais courant (comme un humain écrivant dans un carnet de notes). C'est excellent car vous pouvez lire les notes et voir si l'IA s'est distraite ou a oublié une règle. Cependant, écrire tous ces mots prend beaucoup de temps et de puissance informatique (c'est comme payer pour un appel téléphonique très long).

Pour gagner du temps, des chercheurs ont commencé à laisser l'IA réfléchir dans un « code secret » (appelé raisonnement latent). Au lieu d'écrire des phrases complètes, l'IA conserve ses pensées sous forme de nombres compressés et invisibles à l'intérieur de son cerveau. C'est super rapide et efficace.

Mais il y a un piège : Comme ces pensées sont invisibles, l'IA n'a aucun moyen de vérifier si elle est toujours sur la bonne voie. C'est comme conduire une voiture les yeux fermés, en espérant ne pas avoir accidentellement déraillé dans le fossé. Si l'IA oublie une règle cruciale du puzzle pendant qu'elle réfléchit en « code secret », elle ne le saura qu'au moment de donner une mauvaise réponse. Le document appelle cela une « boucle ouverte » — l'IA réfléchit, puis répond, sans contrôle de sécurité entre les deux.

La Solution : ReLAT (Le « Test de Mémoire »)

Les auteurs proposent une nouvelle méthode appelée ReLAT (Reconstruction-Guided Latent Reasoning At Test Time).

Considérez ReLAT comme un test de mémoire que l'IA s'impose à elle-même avant de répondre à la question.

Voici comment cela fonctionne, en utilisant une analogie simple :

La Mise en Place : Vous donnez à l'IA un problème de mathématiques difficile (la « Question »).
La Pensée Secrète : L'IA compresse rapidement sa réflexion en ce « code secret » invisible (la « Pensée Latente »).
Le Test de Mémoire (La Boucle) : Avant que l'IA ne soit autorisée à donner la réponse finale, elle doit essayer de reconstruire la question d'origine en utilisant uniquement ce code secret.
- Si l'IA peut reconstruire parfaitement la question à partir de son code secret, cela prouve qu'elle s'est souvenue de toutes les règles et contraintes. Elle réussit le test.
- Si l'IA échoue à reconstruire la question (peut-être a-t-elle oublié un chiffre ou une condition), elle sait que sa « pensée secrète » était défectueuse.
La Correction : Si l'IA échoue au test de mémoire, elle utilise cet échec pour ajuster rapidement ses paramètres internes (un processus appelé « entraînement au moment du test » ou test-time training) afin de réparer la fuite dans sa mémoire.
La Réponse : Ce n'est qu'après avoir réussi le test de mémoire que l'IA génère la réponse finale.

Pourquoi c'est important

Le papier affirme que cette méthode transforme la « boucle ouverte » (conduire à l'aveugle) en une « boucle fermée » (conduire avec un GPS qui vérifie constamment votre position).

C'est auto-correctif : L'IA n'a pas besoin qu'un humain vérifie son travail. Elle utilise la question d'origine elle-même comme « corrigé » pour vérifier son propre raisonnement.
C'est efficace : Contrairement aux anciennes méthodes où l'IA écrivait de longs paragraphes de texte pour se vérifier (ce qui est lent et coûteux), ReLAT effectue cette vérification en utilisant des nombres compressés et invisibles.
Cela fonctionne : Les auteurs ont testé cette méthode sur des concours de mathématiques difficiles (comme l'AIME), des tâches de codage et des questions médicales. Ils ont constaté que ReLAT améliore considérablement la précision par rapport à l'IA standard, à la vérification textuelle et aux autres méthodes de « code secret ». Par exemple, sur un test de mathématiques difficile, cela a fait passer le score de l'IA de 56,7 % à 73,3 %.

L'essentiel

ReLAT est un moyen de rendre la pensée invisible et rapide de l'IA plus fiable. Cela force l'IA à prouver qu'elle n'a pas perdu le fil en lui demandant de « rejouer » le problème d'origine à partir de ses pensées cachées avant qu'elle ne soit autorisée à donner la solution finale. C'est comme s'assurer que vous n'avez pas oublié votre liste de courses avant de partir de chez vous, mais en le faisant en une fraction de seconde sans rien écrire.

Résumé Technique : Boucler la boucle du raisonnement latent via la reconstruction au moment de l'inférence

1. Énoncé du Problème

Les avancées récentes des grands modèles de langage ont déplacé le raisonnement intermédiaire des traces explicites en langage naturel vers des représentations latentes ou au niveau du cache. Ce passage vise à réduire la surcharge de jetons (tokens) et à éviter les goulots d'étranglement de communication discrets inhérents au texte (ex: Chaîne de Pensée, échange de texte entre agents multiples). Cependant, cette transition introduit un défaut critique : la perte de fidélité intermédiaire.

Dans le raisonnement textuel traditionnel, les états intermédiaires sont inspectables ; si un modèle omet une contrainte de la requête originale, l'erreur est visible. En revanche, le raisonnement latent opère en boucle ouverte. Une fois qu'un état latent est produit, il est consommé par le calcul en aval sans vérification. Parce que ces états sont opaques, une dérive sémantique ou la perte de contraintes pertinentes à la tâche peut se produire sans être détectée. Ces dérives mènent à des erreurs de raisonnement qui semblent cohérentes en interne, mais qui sont fondamentalement en décalage avec la spécification du problème initial. Les méthodes existantes manquent de mécanisme pour vérifier si un état latent opaque préserve toujours les contraintes de la requête qui l'a généré.

2. Méthodologie : ReLAT

Pour remédier à cela, les auteurs proposent ReLAT (Reconstruction-Guided Latent Reasoning At Test Time), un cadre d'entraînement auto-supervisé au moment de l'inférence qui boucle le processus de raisonnement en utilisant la requête elle-même comme référence de fidélité.

Principe Fondamental

L'observation centrale est que si un état latent représente fidèlement une requête, la requête doit être récupérable à partir de celui-ci. Si la requête ne peut pas être reconstruite, l'état latent a perdu des informations pertinentes à la tâche. ReLAT opérationnalise cela en construisant un cycle différentiable Question $\rightarrow$ Pensée Latente $\rightarrow$ Question.

Implémentation Technique

Représentation Latente Différentiable : Pour permettre l'optimisation par gradient lors de l'inférence, ReLAT remplace la sélection discrète de jetons par une relaxation continue. Les pensées latentes sont représentées par des plongements (embeddings) de jetons attendus dérivés de la distribution du vocabulaire du modèle (en utilisant un softmax adouci avec une température $\tau$ ). Cela maintient les vecteurs latents liés à l'espace d'embedding tout en préservant un chemin différentiable pour la rétropropagation.
La Boucle de Reconstruction :
- Génération : Étant donné une requête de test $Q$ , le modèle génère une séquence de pensée latente continue $E_\phi(Q)$ en utilisant des paramètres LoRA temporaires $\phi$ .
- Reconstruction : Le même modèle tente de reconstruire la question originale $Q$ à partir de la séquence latente $E_\phi(Q)$ .
- Optimisation : Une perte de reconstruction ( $L_{ReLAT}$ ), définie comme une entropie croisée masquée entre la question reconstruite et l'originale, est calculée.
- Mise à jour : Les paramètres LoRA sont mis à jour via la descente de gradient pour minimiser cette perte de reconstruction. Le modèle de base reste gelé.
Inférence : Après $N$ étapes d'optimisation, la réponse finale est générée en utilisant les paramètres adaptés. Les paramètres LoRA sont ensuite réinitialisés pour l'instance suivante, garantissant une adaptation au niveau de l'instance sans contamination entre les échantillons.

Crucialement, la reconstruction est utilisée comme un signal d'adaptation pour ancrer l'état latent à la spécification du problème avant que la réponse finale ne soit générée, plutôt que comme un substitut pour résoudre directement la tâche.

3. Contributions Clés

Le papier expose trois contributions principales :

Le raisonnement latent comme un problème en boucle fermée : Les auteurs identifient la perte de fidélité intermédiaire comme le coût principal du passage du raisonnement dans l'espace latent. Ils formulent cela comme un problème de fidélité d'entrée où les pipelines standards consomment des états latents sans vérifier s'ils représentent toujours la requête originale.
La reconstruction comme un signal de fidélité naturel : Le papier soutient que la requête originale est la référence naturelle pour tester la fidélité de l'état latent. ReLAT instancie cela comme une boucle différentiable et auto-supervisée optimisée au moment de l'inférence, fournissant une vérification structurelle que les pensées latentes préservent les contraintes originales.
Évaluation Systématique : La méthode est évaluée sur les modèles de la famille Qwen (4B, 8B, 14B) et DeepSeek-R1-Distill-Qwen-7B à travers trois benchmarks : AIME 2024/2025 (Mathématiques), MBPP+ (Code) et GPQA-Diamond/MedQA (Connaissances), en comparaison avec l'inférence à modèle unique, la collaboration textuelle multi-agents, la collaboration latente en boucle ouverte et d'autres objectifs d'entraînement au moment de l'inférence.

4. Résultats Expérimentaux

Les auteurs ont évalué ReLAT sur la famille de modèles Qwen (4B, 8B, 14B) et DeepSeek-R1-Distill-Qwen-7B sur trois benchmarks : AIME 2024/2025 (Math), MBPP+ (Code) et GPQA-Diamond/MedQA (Connaissance).

Gains de Performance : ReLAT surpasse systématiquement l'inférence à modèle unique, les systèmes multi-agents basés sur le texte (TextMAS) et la collaboration latente en boucle ouverte (LatentMAS).
- Sur AIME 2024 avec Qwen3-8B, ReLAT a amélioré la précision de 56,7 % (LatentMAS) à 73,3 %, soit un gain de 16,6 points par rapport au point de référence en boucle ouverte le plus fort.
- Sur MBPP+ (Code), ReLAT a atteint 79,9 % sur Qwen3-4B et 83,3 % sur Qwen3-14B, surpassant les bases de référence LatentMAS respectives.
- Sur GPQA-Diamond, ReLAT a obtenu les meilleurs résultats sur toutes les échelles Qwen3.
Comparaison avec les bases de référence TTT : ReLAT a surpassé d'autres objectifs d'entraînement au moment de l'inférence comme COME (minimisation de l'entropie) et QTTT (mises à jour au niveau de la requête). Cela suggère que les gains ne proviennent pas simplement d'une adaptation générique mais spécifiquement du signal de fidélité guidé par la reconstruction.
Efficacité : Comparé au raffinement itératif basé sur le texte (Self-Refine), ReLAT a obtenu une précision plus élevée (63,33 % contre 53,33 % sur AIME 2025) avec une réduction de 84,0 % de l'utilisation de jetons (10 280 jetons contre 64 381 jetons), démontrant des gains d'efficacité significatifs en évitant la génération de texte explicite pour les étapes intermédiaires.
Études d'Ablation : L'étude a révélé qu'un taux d'apprentissage de $2 \times 10^{-5}$ et une longueur de pensée latente $K=16$ offraient l'équilibre optimal entre adaptation et stabilité.

5. Signification et Revendications

Le papier affirme que ReLAT fournit une ancre structurelle nécessaire pour le raisonnement latent. En transformant les pipelines de raisonnement latent en boucle ouverte en processus en boucle fermée vérifiés par rapport à l'entrée originale, ReLAT rend les états de raisonnement opaques plus fiables et ancrés.

Les auteurs notent modestement que la reconstruction n'est pas suffisante pour garantir un raisonnement correct ; un état latent pourrait théoriquement reconstruire la question mais échouer tout de même à résoudre le problème. Cependant, ils soutiennent qu'il s'agit d'une vérification structurelle nécessaire pour filtrer et corriger les états latents invalides qui se sont éloignés des contraintes du problème. La signification réside dans la fourniture d'un mécanisme auto-supervisé et différentiable pour boucler le raisonnement latent sans nécessiter de réponses de vérité terrain ou de feedback externe, améliorant ainsi les performances à travers diverses tâches tout en conservant les avantages d'efficacité du calcul latent.