Résumé technique : Les propriétés d'échelle du raisonnement déductif implicite dans les Transformers

Énoncé du problème

L'article examine les limites computationnelles du raisonnement déductif implicite dans les Transformers à profondeur bornée lorsqu'ils sont appliqués à la satisfiabilité des clauses de Horn. Bien que les Transformers aient démontré leur capacité à simuler des algorithmes logiques, des travaux antérieurs suggèrent qu'ils reposent souvent sur des caractéristiques fallacieuses (raccourcis) spécifiques aux distributions d'entraînement plutôt que sur l'exécution d'algorithmes séquentiels fidèles. Cela entraîne une mauvaise généralisation hors distribution (OOD) et un échec à s'adapter à la complexité des problèmes.

Le défi central consiste à déterminer si l'augmentation de la profondeur et de la largeur d'un modèle peut permettre à un Transformer d'effectuer un chaînage avant (un processus séquentiel P-complet) de manière implicite, sans la génération étape par étape explicite fournie par l'incitation de type Chaîne de Pensée (CoT). Les auteurs visent à identifier les propriétés d'échelle requises pour des « approximations fidèles » du raisonnement déductif et à comprendre les goulots d'étranglement architecturaux qui empêchent les modèles à profondeur bornée de résoudre directement ces tâches.

Méthodologie

1. Génération de jeux de données et atténuation des biais

Pour étudier systématiquement le raisonnement sans apprentissage de raccourcis, les auteurs utilisent trois générateurs de jeux de données basés sur des travaux antérieurs [7] :

• Priorité des règles (RP) : Génère des graphes entrelacés avec des faits et des règles aléatoires.
• Priorité des étiquettes (LP) : Génère des graphes hiérarchiques avec une charpente logique obscurcie par des règles de distraction aléatoires.
• LP :* Une variante de LP avec des dépendances cycliques accrues.

Pour empêcher les modèles d'exploiter des corrélations superficielles (par exemple, le nombre de règles ou de faits prédisant la démontrabilité), les auteurs introduisent l'heuristique $r^2$. Cette stratégie d'augmentation de données construit des paires contrefactuelles $(C_1, C_2)$ minimalement différentes, avec des étiquettes opposées mais des statistiques superficielles presque identiques. Cela force le modèle à se fier à des caractéristiques structurelles (topologie du graphe) plutôt qu'à des comptes linéaires.

De plus, les auteurs équilibrent les jeux de données selon la profondeur logique ($\delta$) plutôt que la profondeur de chaînage arrière, garantissant ainsi que les échantillons non démontrables nécessitent un effort de recherche significatif pour vérifier leur non-existence, éliminant ainsi la corrélation entre une faible profondeur et l'indémontrabilité.

2. Interventions architecturales

L'étude utilise un Transformer uniquement décodeur basé sur Llama 3 avec plusieurs modifications spécifiques :

• Embeddings de type : Un système d'embedding compositionnel découple les rôles logiques (fait, prémisse de règle, conclusion de règle) de l'identité des tokens, fournissant une ancrage explicite pour la topologie.
• Masquage bidirectionnel de préfixe : Contrairement au masquage causal standard, cela permet une attention tous-à-tous au sein de l'énoncé du problème, atténuant le biais séquentiel et permettant au modèle de visualiser l'ensemble du graphe logique simultanément.
• Objectif correctif : Au lieu d'entraîner sur des jeux de données mixtes d'échantillons directs et de CoT (ce qui provoque un effondrement des embeddings de tokens de tâche), les auteurs concatènent la prédiction directe et la trace CoT en une séquence unique. Un masque d'attention isolé permet aux deux branches de s'attarder sur l'énoncé du problème mais les empêche de s'attarder l'une sur l'autre. Cela aligne les primitives de raisonnement de la prédiction directe avec les étapes algorithmiques explicites du CoT.

3. Cadre théorique

Les auteurs analysent l'échelle à travers des lentilles de complexité et d'information :

• Synthèse de règles : Hypothèse d'une échelle de $\lambda(\delta) = \Omega(\log \delta)$ couches, réalisable via un saut de pointeurs parallèle.
• Chaînage avant : En raison de la P-complétude de la déduction des clauses de Horn, la vérification fidèle d'une chaîne de profondeur $\delta$ est supposée nécessiter $\lambda(\delta) = \Omega(\delta)$ couches, car elle est intrinsèquement séquentielle.
• Superposition : Le modèle doit emballer des caractéristiques dans une dimension contrainte de tête d'attention. Les auteurs utilisent l'alignement de Procruste pour suivre l'évolution des états cachés, constatant que les informations linéairement séparables restent topologiquement cohérentes à travers les couches malgré des transformations orthogonales.

Contributions clés

1. Tendances d'échelle empiriques : L'article identifie que l'augmentation de la profondeur du modèle ($L$) est le facteur principal pour combler l'écart entre les performances de raisonnement implicite (direct) et explicite (CoT). Bien que l'augmentation de la largeur (augmentation de $d_{model}$) offre des bénéfices marginaux, elle ne peut surmonter le goulot d'étranglement séquentiel fondamental du chaînage avant.
2. Atténuation systématique des raccourcis : La combinaison de l'heuristique $r^2$, du masquage bidirectionnel et de l'objectif correctif améliore considérablement la généralisation OOD. L'heuristique $r^2$ force spécifiquement le modèle à apprendre des caractéristiques structurelles en décorrélatant les statistiques superficielles des étiquettes.
3. Alignement architectural : L'étude démontre qu'un objectif correctif (unifiant le direct et le CoT dans une seule séquence) rend l'optimisation de la prédiction directe traitable. Cela permet au modèle d'apprendre les primitives de raisonnement partagées du chaînage avant, utilisant efficacement le CoT comme une limite supérieure empirique.
4. Limites d'extrapolation de profondeur : Les auteurs constatent que, bien que l'augmentation de la profondeur permette au raisonnement implicite de se rapprocher des performances du CoT dans l'horizon d'entraînement ($\delta \leq 6$), le CoT reste nécessaire pour l'extrapolation de profondeur ($\delta > 6$). Le raisonnement implicite dans les modèles à profondeur bornée ne peut pas résoudre parfaitement les problèmes P-complets sans une croissance de largeur super-polynomiale dans le pire des cas.

Résultats expérimentaux

• Ablation des composants : Sur le jeu de données LP, l'objectif correctif a fourni la plus grande amélioration marginale (environ +18,9 % pour $\delta \leq 6$), suivi du masquage bidirectionnel (+8,4 %) et de l'heuristique $r^2$ (+7,1 %). L'heuristique $r^2$ seule, sans objectif correctif, a montré un impact négligeable ou négatif sur l'apprentissage direct, suggérant qu'elle élimine les raccourcis sans fournir de signal d'apprentissage viable à moins que le modèle ne soit guidé par l'objectif correctif.
• Échelle de profondeur : L'augmentation de la profondeur du modèle de $L=8$ à $L=128$ a comblé avec succès l'écart de performance entre les modes direct et CoT à travers diverses topologies de graphes et largeurs de problèmes dans l'horizon d'entraînement. Pour $L=128$, la performance directe a atteint une précision quasi parfaite sur les problèmes $\delta \leq 6$, égalant le CoT.
• Sondage : Le sondage des états cachés avec des classificateurs linéaires a révélé que, à mesure que la profondeur du modèle augmente, la démontrabilité des étapes intermédiaires devient de plus en plus décodable à travers l'ensemble de l'énoncé du problème, indiquant une approximation distribuée du chaînage avant.
• Apprentissage par renforcement : Les tentatives d'améliorer davantage les performances en utilisant l'apprentissage par renforcement (GRPO et FlowRL) ont échoué à améliorer la généralisation OOD. GRPO a préservé la couverture de raisonnement du modèle de base sans expansion, tandis que FlowRL a souffert d'une dégradation systématique due à un « rétrécissement du support empirique », où le modèle a sacrifié la couverture de raisonnement pour une convergence à entropie réduite.

Importance et affirmations

L'article affirme que l'augmentation de la profondeur du modèle est essentielle pour atteindre une généralisation robuste dans le raisonnement déductif implicite, permettant efficacement aux Transformers d'approcher des algorithmes séquentiels comme le chaînage avant. Les auteurs soutiennent que l'objectif correctif est un mécanisme critique qui aligne les représentations internes du modèle avec des cibles algorithmiques, rendant l'apprentissage de ces processus séquentiels traitable sans génération explicite de CoT au moment de l'inférence.

Cependant, l'article reste modeste concernant les limites de cette approche. Il déclare explicitement que :

• Le CoT reste nécessaire pour l'extrapolation de profondeur. Le raisonnement implicite dans les modèles à profondeur bornée ne peut pas s'étendre à des profondeurs arbitraires sans CoT.
• Les résultats sont restreints à des tâches synthétiques. Les expériences utilisent des modèles jouets sur des données de clauses de Horn synthétiques. Les auteurs mettent en garde contre l'extrapolation de ces techniques vers des domaines réels ou un raisonnement en langage naturel complexe, ce qui nécessite de la prudence.
• Les mécanismes restent insaisissables. Bien que les auteurs observent que l'augmentation de la profondeur fonctionne, les mécanismes internes exacts par lesquels ces approximations se manifestent (par exemple, la dynamique spécifique de la superposition de caractéristiques) restent partiellement inexpliqués en raison du dilemme de représentation non linéaire.

En fin de compte, ce travail fournit un cadre rigoureux pour distinguer l'apprentissage de raccourcis de l'exécution algorithmique fidèle dans les Transformers, suggérant qu'avec une profondeur suffisante et un alignement architectural, le raisonnement implicite peut approcher la fiabilité du raisonnement explicite dans une complexité bornée.