Résumé technique : Raisonneurs d'équilibre (EqR)

1. Énoncé du problème

Les systèmes d'IA modernes reposent de plus en plus sur l'augmentation de la puissance de calcul au moment de l'inférence pour améliorer les performances de raisonnement, souvent par des mises à jour itératives d'un état latent. Cependant, les mécanismes internes permettant à ces modèles itératifs de généraliser au-delà des motifs mémorisés restent obscurs. Alors que certains modèles montrent des rendements décroissants, voire une dégradation des performances avec une puissance de calcul accrue, d'autres obtiennent des gains significatifs. La question centrale est la suivante : Quels mécanismes internes permettent un raisonnement évolutif et généralisable ?

Les modèles de raisonnement itératif actuels (par exemple, HRM, TRM) appliquent des règles de mise à jour apprises aux états latents, mais peinent souvent à généraliser à des tâches nécessitant un raisonnement profond ou à s'adapter efficacement à une augmentation du budget d'inférence. L'article postule que l'échec de l'évolutivité découle souvent d'un désalignement entre les dynamiques internes apprises du modèle et l'espace de solutions de la tâche.

2. Méthodologie : Raisonneurs d'équilibre (EqR)

Les auteurs proposent les Raisonneurs d'équilibre (EqR), un cadre qui formalise le raisonnement itératif comme l'apprentissage d'un paysage d'attracteurs conditionné par la tâche. Dans cette perspective, les solutions valides correspondent à des points fixes stables (attracteurs) dans le système dynamique latent défini par la règle de mise à jour $z_{k+1} = f_\theta(z_k; x)$.

Hypothèse centrale

Un raisonnement généralisable émerge lorsque le modèle apprend un paysage interne où :

1. Alignement avec la tâche : Les attracteurs stables correspondent aux solutions correctes de la tâche (bassins à faible erreur).
2. Accessibilité : Ces attracteurs corrects sont accessibles depuis divers états initiaux.

Composantes clés et interventions

Pour façonner ce paysage, les auteurs introduisent une voie de construction contrôlée, allant des modèles feedforward aux raisonneurs itératifs évolutifs, intégrant des interventions d'entraînement spécifiques :

• Itération à poids partagés (Weight-Tied Iteration) : Réutilisation des paramètres à travers les couches pour définir un système dynamique récurrent, permettant au modèle de se dérouler sur des profondeurs arbitraires (par exemple, équivalent à 40 000 couches) sans augmenter le nombre de paramètres.
• Initialisation aléatoire de l'état (RI) : Au lieu d'utiliser un état initial fixe $z_0$, le modèle échantillonne $z_0 \sim \mu_0(\cdot|x)$ (par exemple, du bruit gaussien) pour chaque trajectoire. Cela aligne l'entraînement sur l'extension de la largeur au moment de l'inférence (redémarrages multiples) et encourage l'indépendance du chemin.
• Stochasticité du chemin par injection de bruit (NI) : Du bruit additif est injecté à chaque étape d'itération ($z_{k+1} = z_k + (1-\lambda)r_\theta(z_k; x) + \beta \epsilon_k$). Cela empêche une convergence prématurée vers des attracteurs spurius et élargit l'exploration du paysage.
• Entraînement en ligne segmenté (SOT) : Un calendrier d'entraînement qui divise les longues trajectoires en segments, appliquant une supervision et des mises à jour de paramètres après chaque segment. Cela alterne entre l'affinement de l'état latent et la remodelage de l'opérateur de mise à jour, évitant ainsi le décalage de « trajectoire obsolète » trouvé dans la supervision hors ligne.
• Temps de calcul adaptatif (ACT) : Un mécanisme d'arrêt appris qui permet au modèle de se terminer prématurément sur des instances faciles, allouant ainsi plus de puissance de calcul aux cas difficiles.

Mise à l'échelle de l'inférence

EqR met à l'échelle la puissance de calcul au moment de l'inférence selon deux axes :

1. Profondeur ($D$) : Augmentation du nombre d'itérations déroulées par trajectoire pour affiner la solution au sein d'un bassin.
2. Largeur ($B$) : Agrégation des sorties de multiples trajectoires stochastiques indépendantes (redémarrages) pour augmenter la couverture du paysage d'attracteurs.

Une sélection basée sur la convergence (choisir la trajectoire avec le résidu de point fixe le plus faible $\|f_\theta(z; x) - z\|$) est utilisée pour sélectionner la meilleure prédiction, ce qui ne devient fiable qu'une fois le paysage correctement façonné.

3. Résultats clés

Les auteurs évaluent EqR sur Sudoku-Extreme (une tâche de satisfaction de contraintes 9x9 difficile) et Maze-Unique (une tâche de recherche de chemin 30x30 à solution unique).

• Généralisation vs Mémorisation : Les modèles feedforward standards (même avec 64 couches) atteignent une précision proche de zéro sur Sudoku-Extreme (2,6 %), tandis que les modèles itératifs à poids partagés sans façonnage du paysage atteignent 32,6 %.
• Impact des interventions : L'application de l'initialisation aléatoire (RI) et de l'injection de bruit (NI) améliore considérablement les performances. Sur Sudoku, le modèle itératif de base (de style TRM) atteint 84,8 % de précision ; EqR (avec RI+NI) atteint 86,4 % avec le même budget de calcul.
• Évolutivité :
  • Mise à l'échelle de la profondeur : L'augmentation des itérations de 16 à 64 améliore la précision sur Sudoku de 86,4 % à 93,0 %.
  • Mise à l'échelle de la largeur : La combinaison de la profondeur (64) et de la largeur (128 redémarrages) porte la précision sur Sudoku à 99,8 % et celle sur Maze à 93,0 %.
  • Résidu de point fixe : Il existe un couplage étroit entre des résidus de point fixe plus faibles et une précision de tâche plus élevée. À mesure que la profondeur augmente, le résidu diminue et la précision s'améliore, validant l'hypothèse de l'attracteur.
• Efficacité : Avec le temps de calcul adaptatif (ACT), EqR atteint des objectifs de précision équivalents avec beaucoup moins d'évaluations de fonctions (par exemple, 11,34 fois moins d'évaluations de fonctions que la base sur Sudoku-Lite) en se terminant prématurément sur des instances faciles.

4. Importance et affirmations

L'article prétend fournir une compréhension mécaniste de la raison pour laquelle le raisonnement itératif est évolutif. Les contributions principales sont :

1. La perspective de l'attracteur : Changer la vision du raisonnement itératif, passant d'une simple convergence à l'apprentissage d'un paysage d'attracteurs conditionné par la tâche. Le succès dépend de l'alignement des états stables internes du modèle avec les solutions correctes de la tâche.
2. Interventions d'entraînement pour l'évolutivité : Démontrer que des interventions spécifiques et agnostiques de la tâche (RI et NI) sont essentielles pour façonner ce paysage, rendant les attracteurs corrects accessibles et stables. Sans celles-ci, l'augmentation de la puissance de calcul conduit souvent à des rendements décroissants ou à un échec.
3. Signaux de convergence fiables : Montrer que, une fois le paysage façonné, le résidu de point fixe devient un proxy fiable pour la correction de la tâche, permettant des stratégies de sélection efficaces (convergence Top-1) qui surpassent le vote majoritaire.
4. Raisonnement évolutif sans vérificateurs externes : EqR atteint une mise à l'échelle massive (déploiement équivalent à 40 000 couches) et une précision quasi parfaite sur des tâches difficiles sans dépendre de vérificateurs externes ou de priors spécifiques à la tâche, reposant uniquement sur les dynamiques internes et la puissance de calcul au moment de l'inférence.

Les auteurs concluent que pour que les modèles de raisonnement latent itératif soient évolutifs, ils doivent être évalués non seulement par leur précision finale, mais aussi par la manière dont leurs dynamiques internes rendent les solutions correctes stables, accessibles et sélectionnables. Cette perspective offre une voie pour comprendre et améliorer les capacités de généralisation des modèles itératifs.