Résumé technique : Modèles de raisonnement récursif génératif (GRAM)

Énoncé du problème

Les futurs systèmes de raisonnement neuronal font face à un défi central : comment mettre en œuvre un calcul étendu de manière efficace. Alors que les grands modèles autorégressifs étendent le raisonnement en prolongeant la génération de séquences (par exemple, la chaîne de pensée), les modèles de raisonnement récursif (RRM) offrent une alternative en affinant un état latent persistant par l'application répétée de fonctions de transition partagées. Cette approche découple la profondeur du raisonnement de l'échelle des paramètres et de la longueur de la sortie.

Cependant, les RRM existants (par exemple, HRM, TRM) sont fondamentalement déterministes. Étant donné la même entrée et la même initialisation, ils suivent une unique trajectoire latente et convergent vers une seule prédiction. Ce déterminisme réduit l'espace des chemins de raisonnement plausibles à un seul attracteur, échouant à maintenir l'incertitude, à considérer des hypothèses alternatives ou à explorer plusieurs stratégies de solution. Ceci est particulièrement limitant pour les problèmes présentant une ambiguïté intrinsèque, plusieurs solutions valides, ou là où un unique chemin d'affinement peut se retrouver piégé dans des trajectoires de raisonnement sous-optimales. La question centrale abordée est la suivante : le calcul latent récursif peut-il soutenir un raisonnement probabiliste, génératif et multi-hypothèses tout en préservant l'efficacité des modèles récurrents compacts ?

Méthodologie : Modèles de raisonnement récursif génératif (GRAM)

GRAM introduit un cadre qui transforme le raisonnement latent récursif en un calcul probabiliste multi-trajectoires. Il traite le processus de raisonnement comme une trajectoire latente stochastique, permettant au modèle de maintenir plusieurs hypothèses et d'explorer des stratégies de solution alternatives.

1. Architecture

GRAM modélise la distribution conditionnelle $p_\theta(y | x)$ en marginalisant sur des trajectoires de raisonnement latentes stochastiques. L'architecture se compose d'un encodeur, d'un noyau récursif et d'un décodeur, organisés en deux boucles imbriquées :

• Boucle interne (Affinement de bas niveau) : Au sein d'une seule transition, un composant latent de bas niveau $l$ est affiné $K$ fois à l'aide d'une fonction déterministe $f_L$, conditionnée par l'état de haut niveau $h$ et l'embedding d'entrée $e_x$.

• Boucle externe (Transition de haut niveau) : Le composant de haut niveau $h$ est mis à jour une fois par transition. Contrairement aux RRM déterministes, GRAM définit cette mise à jour comme une transition stochastique :

  1. Une mise à jour déterministe $u_t$ est calculée : $u_t = f_H(h_{t-1}, l_t; \theta)$.
  2. Une guidance stochastique apprenable $\epsilon_t$ est échantillonnée à partir d'une Gaussienne dépendante de l'état : $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$.
  3. Le nouvel état est $h_t = u_t + \epsilon_t$.

  Cette conception permet au modèle de capturer l'incertitude et de guider la trajectoire via la moyenne $\mu_\theta$ tout en contrôlant l'exploration via la variance $\sigma^2_\theta$. L'affinement de bas niveau reste déterministe, tandis que la stochasticité est injectée uniquement au niveau de l'état abstrait de haut niveau.

• Structure récursive : Le calcul procède à travers $N_{sup}$ étapes de supervision. L'état terminal d'une étape sert d'état initial à l'étape suivante, formant une chaîne récursive complète.

2. Entraînement

GRAM est entraîné en utilisant une inférence variationnelle amortie pour maximiser la borne inférieure de la vraisemblance (ELBO).

• Formulation à variables latentes : Le modèle marginalise sur les trajectoires latentes $\tau$. L'ELBO est optimisé par rapport aux paramètres génératifs $\theta$ et aux paramètres variationnels $\phi$.
• Supervision profonde : Pour fournir des signaux d'apprentissage denses, le modèle applique une supervision profonde sur $N_{sup}$ étapes consécutives. Les gradients ne sont propagés que par la transition finale de chaque étape de supervision (rétropropagation tronquée) pour assurer l'efficacité mémoire, servant d'objectif de substitution pour l'ELBO complet.
• Génération inconditionnelle : En remplaçant l'entrée par un embedding de conditionnement vide, le même processus récursif définit un modèle génératif inconditionnel $p_\theta(x)$.

3. Mise à l'échelle au moment de l'inférence

GRAM prend en charge deux axes de mise à l'échelle :

• Profondeur : En utilisant le temps de calcul adaptatif (ACT), les trajectoires peuvent se terminer à une profondeur d'arrêt apprise.
• Largeur : Le modèle échantillonne plusieurs trajectoires latentes en parallèle à partir de l'a priori appris. Les candidats sont sélectionnés par vote majoritaire ou par un modèle de récompense de processus latent (LPRM), qui prédit la qualité finale d'une trajectoire à partir de son état latent. Cela permet de mettre à l'échelle l'inférence sans augmenter la longueur de récursion séquentielle.

Contributions clés

1. Formulation probabiliste : Les auteurs formulent le raisonnement récursif comme un processus génératif à variables latentes où les solutions sont obtenues en marginalisant sur des trajectoires de raisonnement stochastiques, plutôt qu'en suivant un unique chemin déterministe.
2. Mise à l'échelle basée sur la largeur : L'article introduit une mise à l'échelle de l'inférence basée sur la « largeur », permettant des améliorations de performance en échantillonnant plusieurs trajectoires latentes en parallèle, complétant ainsi la mise à l'échelle traditionnelle basée sur la profondeur.
3. Validation empirique : Les auteurs fournissent des preuves que cette formulation offre des avantages architecturaux par rapport aux bases récurrentes et récursives déterministes, spécifiquement dans le raisonnement structuré, la satisfaction de contraintes multi-solutions et la génération inconditionnelle.

Résultats expérimentaux

GRAM a été évalué sur des tâches de raisonnement et de génération contrôlées, en comparaison avec des bases déterministes (Transformers en boucle, HRM, TRM) et de grands modèles de raisonnement (LRM) utilisés comme références externes.

• Raisonnement structuré (Sudoku-Extreme, ARC-AGI) : GRAM surpasse constamment les bases récursives déterministes. Sur Sudoku-Extreme, GRAM atteint une précision de 97,0 % contre 87,4 % pour TRM et 55,0 % pour HRM. Sur ARC-AGI-1, GRAM atteint 52,0 %, dépassant TRM (44,6 %) et HRM (40,3 %). Les auteurs attribuent cela à la capacité d'explorer des trajectoires de raisonnement diversifiées.
• Tâches multi-solutions (N-Reines, Coloration de graphes) : Les modèles déterministes souffrent d'un effondrement de mode à mesure que le nombre de solutions valides augmente. GRAM maintient une précision constante indépendamment du nombre de solutions. Sur le problème des 8-Reines (8x8), GRAM atteint une précision de 99,7 % et une couverture de 90,3 % (solutions valides uniques trouvées), surpassant nettement les modèles déterministes (couverture maximale de 36,1 %) et les bases génératives comme AR (couverture de 84,8 %).
• Génération inconditionnelle :
  • MNIST binarisé : GRAM produit des chiffres reconnaissables avec des scores d'Inception (IS) et des FID comparables à D3PM, tandis que la base déterministe TRM présente un effondrement de mode sévère (FID 303,29).
  • Génération de Sudoku : À partir d'un plateau vide, GRAM génère des plateaux de Sudoku valides avec une validité de 99,05 % en utilisant uniquement 16 étapes d'inférence et 10,9 millions de paramètres, surpassant les bases D3PM qui utilisent jusqu'à 1000 étapes et 55,1 millions de paramètres.
• Études d'ablation : La suppression de la guidance stochastique entraîne des baisses de performance, en particulier dans les tâches multi-solutions. La suppression totale de la stochasticité provoque un échec complet (0 % de précision), confirmant que les gains proviennent du cadre variationnel plutôt que d'une simple randomisation.

Importance et affirmations

L'article affirme que GRAM établit la récursivité multi-trajectoires probabiliste comme principe de conception pour les futures architectures de raisonnement récurrent et récursif. En transformant la récursivité déterministe en un processus génératif, GRAM permet :

• Exploration robuste : La capacité de naviguer dans des espaces de problèmes complexes et de sortir des minima locaux en maintenant plusieurs hypothèses.
• Mise à l'échelle efficace : Un nouvel axe pour la mise à l'échelle de l'inférence (largeur) qui contourne les goulots d'étranglement de latence de la mise à l'échelle basée uniquement sur la profondeur.
• Modélisation unifiée : La capacité de fonctionner à la fois comme un modèle de raisonnement conditionnel ($p(y|x)$) et comme un modèle génératif inconditionnel ($p(x)$) en utilisant le même mécanisme récursif.

Les auteurs notent que bien que GRAM démontre un potentiel dans le raisonnement structuré et la génération, la nature séquentielle de la supervision profonde limite l'efficacité de l'entraînement par rapport aux Transformers, constituant un obstacle à la mise à l'échelle vers de plus grands modèles de base. Ils mettent également en garde contre le fait que des générations plausibles mais invalides pourraient être confondues avec des solutions vérifiées dans des contextes à haut risque, nécessitant une validation rigoureuse et un étalonnage de l'incertitude.