Résumé Technique : Modèle Récursif Guidé par l'Énergie (ERM)

1. Énoncé du Problème

Les modèles de raisonnement récursif, tels que le Modèle de Raisonnement Hiérarchique (HRM), le Modèle Récursif Minuscule (TRM) et les Raisonneurs d'Équilibre (EqR), traitent des problèmes structurés en mettant à jour de manière répétée les états latents de petits réseaux de neurones. Bien que ces modèles puissent générer de multiples trajectoires candidates en augmentant la profondeur récurrente ($D$) ou la largeur stochastique ($K$), ils manquent d'un mécanisme fondé sur des principes pour sélectionner la bonne réponse lors du test.

Les méthodes de sélection existantes reposent sur :

• Des têtes d'arrêt apprises (q-heads) : Prédisant la fiabilité à partir de signaux internes au modèle.
• Des scores de confiance : Utilisant les probabilités au niveau du jeton (token).
• Le vote heuristique : Vote majoritaire sur les sorties échantillonnées.

La limitation fondamentale identifiée est que ces méthodes mesurent la « certitude interne du modèle » plutôt que la « compatibilité avec la tâche ». Dans le raisonnement itératif latent, une profondeur ou une largeur supplémentaire génère des trajectoires cachées sans dérivations explicites. Par conséquent, une candidate correcte peut exister dans le pool de déploiement mais être écartée parce que le sélecteur manque d'un critère pour vérifier son adhérence aux contraintes globales de la tâche (par exemple, les règles du Sudoku ou la connectivité d'un labyrinthe). L'article postule que l'écart de sélection persiste car les sélecteurs actuels ne mesurent pas explicitement la compatibilité avec les structures de tâches valides.

2. Méthodologie : Modèle Récursif Guidé par l'Énergie (ERM)

Les auteurs proposent le Modèle Récursif Guidé par l'Énergie (ERM), qui remplace les sélecteurs heuristiques par un principe de sélection intrinsèque basé sur des énergies de Hopfield explicites.

2.1 Cadre Fondamental

L'ERM traite la sélection au moment du test comme un problème de sélection basé sur l'énergie sur un pool fini de candidats $Y(x) = \{y_1, \dots, y_K\}$. L'objectif est de sélectionner la candidate $\hat{y}$ qui minimise une fonction d'énergie $E(y_k; x)$ :
$$\hat{y} = \arg \min_{k \in \{1, \dots, K\}} E(y_k; x)$$
Une énergie plus faible indique une plus grande compatibilité avec la tâche. Contraなる aux sélecteurs standards qui reposent sur des log-probabilités négatives ou des logits appris, l'ERM construit l'énergie à partir de mémoires structurées par la tâche.

2.2 Formulation de l'Énergie

La fonction d'énergie est dérivée de la dynamique de récupération des réseaux de Hopfield modernes. Une tâche est décomposée en $J$ facteurs (par exemple, lignes, colonnes, règles locales de puzzle). Pour chaque facteur $j$, il existe un ensemble de mémoire conditionné par l'entrée $M_j(x)$ contenant des structures locales ou globales valides.

L'énergie totale $E_{ERM}$ est définie comme :
$$E_{ERM}(y_k; x) = \mu G(y_k, x) - \sum_{j=1}^{J} \tau \log \sum_{m \in M_j(x)} \exp\left( \frac{-\beta d_j(y_k, m)}{\tau} \right)$$

Où :

• $d_j(y_k, m)$ : Distance entre la candidate $y_k$ et la mémoire $m$ pour le facteur $j$ (nulle si correspondante).
• $\beta$ : Force de la pénalité pour la distance de mémoire.
• $\tau$ : Température de récupération (contrôlant la douceur de la récupération).
• $G(y_k, x)$ : Une pénalité de violation globale pour les contraintes difficiles à énumérer localement (ex: connectivité).
• $\mu$ : Poids du terme global.

Cette formulation permet au sélecteur de « récupérer doucement » la mémoire la plus proche pour chaque facteur. Dans la limite de basse température, elle agit comme un vérificateur de la mémoire la plus proche.

2.3 Instantiations de Tâches

L'article implémente l'ERM pour trois domaines spécifiques :

1. Sudoku : Utilise des mémoires de permutation pour les lignes, les colonnes et les boîtes $3\times3$. L'énergie est calculée via un log-permanent (programmation dynamique) sur les permutations de chiffres valides.
2. Pencil Puzzle Bench (PPBench) : Combine des mémoires de règles locales (ex: comptes exacts pour Lightup, motifs cycliques pour Tapa) avec des potentiels de distance globaux pour les règles de connectivité et de couverture qui ne peuvent être énumérées localement.
3. Labyrinthe (Maze) : Utilise une mémoire de chemin le plus court globale, conditionnée par l'entrée, dérivée d'un parcours en largeur (BFS). L'énergie est la négative de la similitude entre le chemin candidat et l'unique chemin le plus court du départ vers l'arrivée.

2.4 Tempérance Parallèle (PT)

La même fonction d'énergie est utilisée pour l'échantillonnage, et non seulement pour le re-classement. Les auteurs emploient la Tempérance Parallèle, faisant tourner des répliques à différentes températures ($T_1 < \dots < T_R$). Les répliques chaudes explorent le paysage énergétique, tandis que les répliques froides exploitent les états de basse énergie. Les échanges entre répliques sont acceptés selon le critère de Metropolis. Cela permet au système d'échapper aux minima locaux et de potentiellement découvrir des candidates correctes qu'une simple sélection gourmande pourrait manquer.

3. Principales Contributions

1. Mécanisme de Sélection Fondé sur des Principes : Introduit une couche de sélection basée sur des énergies de Hopfield explicites dérivées de mémoires de tâches, remplaçant la dépendance aux scores de confiance appris ou aux heuristiques de vote.
2. Interface Unifiée : Démontre que les fonctions d'énergie servent d'interface partagée entre la dynamique d'attracteur, les vérificateurs et le calcul au moment du test, permettant une séparation claire entre la génération de candidates et la sélection.
3. Cadre de Diagnostic : Propose une méthodologie pour évaluer la performance de raisonnement en distinguant entre :
   • Échecs de Génération de Candidates : Lorsque l'« Oracle » (la meilleure précision possible dans le pool) est faible.
   • Échecs de Sélection : Lorsque la précision sélectionnée est nettement inférieure à celle de l'Oracle.
   • Échecs d'Échantillonnage : Lorsque la Tempérance Parallèle améliore la sélection statique.

4. Résultats Expérimentaux

Les expériences ont été menées avec une profondeur récurrente $D=64$ et $K=128$ candidates à travers Sudoku, PPBench et Labyrinthe.

• Sudoku : L'ERM a atteint 98,97 % de précision, égalant l'Oracle de candidates partagées (98,97 %). Cela a amélioré les bases q-head (98,54 %) et confiance (98,58 %), comblant efficacement l'écart de sélection.
• PPBench : L'ERM a atteint 88,04 % de précision, égalant l'Oracle et surpassant significativement le q-head (83,39 %) et le vote majoritaire (79,07 %). Cela souligne la capacité de la méthode à gérer des règles hétérogènes là où les scores de confiance échouent.
• Labyrinthe : L'ERM a atteint 99,30 % de précision, égalant l'Oracle. Cela a démontré que lorsqu'une mémoire de chemin le plus court globale est utilisée, la candidate correcte peut être sélectionnée dès qu'elle apparaît dans le pool de déploiement.
• Tempérance Parallèle : La PT-ERM a systématiquement égalé ou amélioré la sélection statique. Notamment, sur Sudoku, la PT-ERM a atteint 98,97 % (égalant l'Oracle), montrant que le paysage énergétique a réussi à guider l'exploration pour trouver la solution optimale.

5. Signification et Revendications

L'article affirme que l'incorporation de fonctions d'énergie explicites dans le raisonnement récursif offre une voie fondée sur des principes vers une inférence plus efficace.

• Combler l'Écart de Sélection : Le principal goulot d'étranglement dans le raisonnement latent est souvent non pas la génération de candidates, mais l'absence d'un principe scalaire pour décider quelle candidate croire. L'ERM comble cet écart en utilisant des mémoires de tâches pour vérifier la compatibilité.
• Modestie sur la Généralisation : Les auteurs précisent explicitement que les énergies actuelles sont structurées par la tâche (utilisant par exemple des matrices de permutation ou des chemins BFS faits à la main) plutôt qu'apprises universellement. La méthode est présentée comme un outil de diagnostic et un vérificateur structuré, et non encore comme une fonction d'énergie universelle entièrement apprise.
• Changement Méthodologique : Ce travail suggère que le calcul au moment du test doit être évalué en séparant la génération de candidates de la sélection basée sur l'énergie. Il fournit un cadre où les chercheurs peuvent identifier si les améliorations doivent porter sur la génération (faible Oracle) ou sur la sélection (grand écart entre l'Oracle et l'ERM).

En résumé, l'ERM démontre que les fonctions d'énergie explicites basées sur les mémoires de Hopfield peuvent servir de sélecteurs extrêmement efficaces et interprétables pour le raisonnement itératif latent, atteignant souvent la limite théorique de performance compte tenu de l'ensemble des candidates générées.