Résumé Technique : Amélioration de l'Inférence par Raisonnement Guidé

Énoncé du Problème

Les récents progrès en raisonnement structuré ont démontré que de minuscules réseaux de neurones (par exemple, 7 millions de paramètres) utilisant des architectures récursives peuvent égaler les performances des grands modèles de langage sur des tâches telles que les Sudoku et la résolution de labyrinthes. Cependant, ces modèles reposent sur une récursion déterministe, qui représente une « limite à une particule, sans bruit » d'un système dynamique latent plus large. Bien que ces architectures contiennent souvent des composants appris, tels que des têtes Q d'arrêt anticipé, la manière optimale d'utiliser ces composants au moment de l'inférence — spécifiquement comment allouer un calcul supplémentaire entre différentes trajectoires de raisonnement latentes sans réentraînement — reste une question ouverte. Le défi central consiste à déterminer quand un modèle dispose d'une « marge de manœuvre au niveau de la trajectoire » (c'est-à-dire que des solutions réussies existent à proximité du chemin déterministe) et si le guide interne du modèle peut les identifier efficacement.

Méthodologie

Les auteurs proposent un cadre pour l'Exploration Stochastique Guidée, traitant l'inférence comme une inférence approchée sur des trajectoires de raisonnement latentes. La méthode opère sur un socle pré-entraîné figé et introduit trois composants clés :

1. Noyau de Proposition Stochastique : La récursion interne déterministe est généralisée en injectant un bruit gaussien ($\sigma$) à chaque étape. Cela crée un « nuage » de trajectoires latentes voisines autour du chemin déterministe, élargissant efficacement l'espace de recherche sans modifier les poids du socle.
2. Inclinaison de la Tête Q (Feynman–Kac) : La tête Q d'arrêt anticipé existante du modèle (à l'origine entraînée comme classificateur binaire pour la justesse de la solution) est réaffectée en tant que guide appris. Elle répondère le nuage de particules en ligne via une inclinaison exponentielle (flux de Feynman–Kac). Plus précisément, la probabilité d'une trajectoire est ajustée par $G_\beta(h) = \exp(\beta q_\theta(h))$, où $q_\theta$ est l'estimation à l'échelle des logits de la réussite et $\beta$ est un paramètre de température inverse.
3. Filtre à Particules Bootstrap : Le cadre met en œuvre une approche de Monte Carlo séquentielle. Les particules (trajectoires) sont propagées à travers le noyau stochastique, répondérées par la tête Q, et rééchantillonnées lorsque la Taille d'Échantillon Effective (ESS) tombe en dessous d'un seuil. La sortie finale est l'estimation du Maximum A Posteriori (MAP) pondérée sur les réponses décodées.

Contributions Clés

L'article introduit un cadre théorique et opérationnel pour l'adaptation au moment de l'inférence dans les modèles récursifs :

• Cadre d'Inférence Approchée : Un mécanisme de proposition stochastique et un algorithme de sélection guidée qui récupèrent exactement le TRM déterministe original dans la limite d'un bruit nul et d'une seule particule.
• Trois Diagnostics Sans Étiquettes : Les auteurs dérivent trois métriques pour prédire si l'exploration guidée améliorera les performances et quels résultats faire confiance :
  1. Stabilité Locale : Une borne (Proposition 5.1) garantissant que les perturbations stochastiques restent dans un « tube » autour du chemin déterministe, empêchant la divergence.
  2. Alignement du Guide : Une caractérisation (Lemme 5.4) et deux diagnostics :
     • Écart conditionnel par classe ($\hat{\Delta}_n$) : Mesure la séparation des scores de la tête Q entre les trajectoires réussies et échouées (nécessite des étiquettes).
     • Borne de dispersion Q (Éq. 19) : Une condition nécessaire sans étiquettes mesurant la variance de la tête Q à travers le nuage de particules. Si la dispersion est trop faible, le guide ne peut pas distinguer les trajectoires réussies, et aucune amélioration n'est possible.
  3. Entropie des Jetons : Entropie de Shannon des marginales des jetons (terminaux et intégrés le long du chemin) pour classer l'incertitude et soutenir l'abstention sélective sur les jetons à haut risque.
• Amélioration Sans Réentraînement : La méthode améliore la précision de résolution exacte sur Sudoku-Extreme de 85,9 % à 98,0 % sans réentraîner le socle.

Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks utilisant des socles de Modèles Récursifs Minuscules (TRM) figés :

• Sudoku-Extreme :

  • Performance : L'exploration stochastique guidée a augmenté la précision de résolution exacte de 85,9 % à 98,0 % sur l'ensemble de test. Sur la partition « échec déterministe » (où la ligne de base échoue 100 % du temps), la méthode a récupéré 85,9 % de précision, réduisant presque l'écart avec la borne supérieure de la particule oracle (86,0 %).
  • Diagnostics : Les conditions de stabilité et d'alignement du guide étaient toutes deux satisfaites. La borne de dispersion Q a permis un déplacement de masse de >12,5 %, cohérent avec les gains observés.
  • Incertitude : L'entropie des jetons a classé avec succès le risque d'erreur, permettant une abstention sélective pour atteindre 100 % de précision sur l'ensemble de test conservé.

• Maze-Hard :

  • Performance : L'exploration stochastique a exposé 5 % de marge de manœuvre de particule oracle (améliorant la performance non guidée de 86,6 % à 90,9 %), mais le MAP guidé est revenu à la performance de base (85,3 %).
  • Diagnostics : Bien que les trajectoires fussent localement stables, le diagnostic de dispersion Q a correctement prédit l'échec. Le guide de la tête Q était « trop plat » (faible variance entre les particules), échouant à concentrer la masse sur les trajectoires réussies. La borne sans étiquettes a signalé cet désalignement a priori, confirmant que le guide interne ne pouvait pas récupérer la marge de manœuvre disponible.

Signification et Revendications

L'article soutient que le comportement au moment de l'inférence des architectures récursives est mieux compris comme une inférence approchée sur des trajectoires latentes. Sa signification principale réside dans :

1. Opérationnalisation du Calcul au Moment de l'Inférence : Il démontre qu'un calcul supplémentaire peut être alloué efficacement entre des trajectoires stochastiques en utilisant les composants existants du modèle (la tête Q) sans réentraînement.
2. Diagnostics Prédictifs : Le travail fournit une base théorique pour prédire quand le raisonnement récursif a de la place pour l'amélioration. La borne de dispersion Q sert de vérificateur sans étiquettes capable d'identifier les cas où le guide interne est insuffisant (comme observé dans Maze-Hard) avant toute évaluation.
3. Marge de Manœuvre au Niveau de la Trajectoire : Les résultats suggèrent que les petits modèles récursifs possèdent souvent une « marge de manœuvre » (des trajectoires réussies existent à proximité du chemin déterministe), mais que récupérer ce potentiel nécessite à la fois une exploration stable et un guide interne suffisamment aligné avec la réussite.

Les auteurs concluent que, bien que la tête Q actuelle soit une instantiation spécifique, le cadre suggère une direction plus large où le guide pourrait être un objet de conception de premier ordre, permettant potentiellement aux petits modèles récursifs d'agir comme des dispositifs de raisonnement réutilisables, spécialisés en ligne via des guides externes.