Résumé technique : Sur le « biais d'induction » dans les modèles de séquences

Énoncé du problème

Bien que les modèles de langage basés sur les transformeurs aient atteint un succès pratique remarquable, la littérature récente a mis en évidence leurs limitations fondamentales en matière de suivi d'état (state tracking), particulièrement concernant la généralisation hors distribution (OOD) telle que l'extrapolation de longueur. Cependant, la mesure dans laquelle ces limitations se manifestent en distribution — spécifiquement concernant l'efficacité des données et la capacité à généraliser à travers différentes longueurs de séquences au sein de la distribution d'entraînement — reste moins bien comprise.

Ce travail postule que le problème central réside dans le biais inductif des architectures. Les transformeurs calculent des sorties en portant attention à toutes les entrées et sorties précédentes au sein d'une fenêtre de contexte, ce qui permet théoriquement un recalcul global de l'état. En revanche, les réseaux de neurones récurrents (RNN) doivent encoder toutes les informations passées pertinentes dans un unique vecteur d'état caché à chaque pas de temps. Les auteurs soutiennent que cette contrainte dans les RNN encourage un mécanisme de mise à jour d'état « étape par étape » (analogue à l'étape d'induction dans les preuves mathématiques), qu'ils nomment « biais d'induction ». Ce biais facilite le partage des mécanismes de résolution à travers différentes longueurs de séquences, alors que les transformeurs peuvent apprendre des solutions spécifiques à une longueur de manière isolée.

Méthodologie

Les auteurs mènent une étude empirique systématique à grande échelle pour quantifier l'efficacité des données des transformeurs par rapport aux modèles récurrents sur des tâches synthétiques de suivi d'état.

Tâches

L'étude formalise le suivi d'état comme le maintien d'un état latent sous une séquence de mises à jour au sein d'un cadre de théorie des groupes. Deux tâches canoniques sont utilisées :

1. Addition modulaire : Une opération commutative sur le groupe cyclique $\mathbb{Z}_m$.
2. Composition de permutations : Une opération non commutative sur le groupe symétrique $S_5$.

Ces tâches synthétiques permettent de contrôler indépendamment la longueur de la séquence ($n$) et la taille de l'espace d'état (module $m$), isolant ainsi le calcul du suivi d'état des artefacts de compréhension du langage ou de mémorisation.

Régimes de supervision

Trois formats de tâches sont évalués pour varier la densité du signal de supervision :

1. Supervision par résultat (Outcome Supervision) : Le modèle prédit uniquement la somme ou l'état final.
2. Chaîne de pensée (Chain-of-Thought - CoT) : Le modèle génère une séquence de sommes partielles intermédiaires de manière autorégressive.
3. Chaîne de pensée alignée (Aligned Chain-of-Thought - ACoT) : Le modèle produit la somme partielle correspondant à chaque jeton d'entrée (supervision par jeton).

Modèles

L'étude compare :

• Transformeurs : Architectures de type décodeur uniquement multi-couches (style GPT-2, 6 couches).
• Modèles récurrents : Long Short-Term Memory (LSTM) et modèles d'espace d'état denses (Dense-SSM), qui utilisent des matrices de transition denses dépendantes de l'entrée.
• SSM sélectifs : Mamba est inclus pour l'analyse du partage de poids.

Métriques

La métrique principale est l'efficacité d'échantillonnage, définie comme la taille minimale du jeu de données ($N^*$) requise pour qu'un modèle atteigne une perte de validation en dessous d'un seuil de convergence. De plus, les auteurs introduisent un Facteur de partage ($\kappa$) pour quantifier le partage de mécanisme entre les longueurs :
$$\kappa = \frac{\sum_{n=2}^{L} N^*_n}{N^*_{joint}}$$
Où $N^*_n$ est le nombre d'échantillons nécessaires pour une longueur fixe $n$, et $N^*_{joint}$ est le nombre d'échantillons nécessaires pour apprendre toutes les longueurs simultanément.

• $\kappa > 1$ : Indique un apprentissage amorti (mécanismes partagés).
• $\kappa \approx 1$ : Indique un apprentissage isolé, spécifique à la longueur.
• $\kappa < 1$ : Indique une interférence destructrice.

Résultats clés

1. Préférences divergentes pour la supervision

• Les transformeurs sont les plus efficaces avec une supervision par Chaîne de pensée (CoT). Ils éprouvent des difficultés significatives avec l'ACoT et la supervision par résultat, échouant souvent à converger sur des configurations non triviales.
• Les modèles récurrents (LSTM/Dense-SSM) présentent une efficacité d'échantillonnage supérieure avec l'ACoT et la supervision par résultat. Ils peinent avec le CoT, probablement en raison d'un « goulot d'étranglement de rappel » où ils doivent dérouler les calculs intermédiaires après avoir traité l'entrée complète.

2. Efficacité des données et longueur de séquence

• Transformeurs : La quantité de données d'entraînement requise croît rapidement avec la longueur de la séquence et la taille de l'espace d'état. Crucialement, les transformeurs ne parviennent pas à exploiter les signaux de supervision supplémentaires fournis par les séquences plus longues dans les formats CoT ; la complexité d'échantillonnage ne diminue pas comme attendu avec des séquences plus longues.
• Modèles récurrents : Dans le régime ACoT, les modèles récurrents montrent une efficacité des données améliorée à mesure que la longueur maximale de la séquence augmente, suggérant qu'ils utilisent efficacement la densité accrue des signaux de supervision. Dans le régime de supervision par résultat, des séquences plus courtes fournissent un signal d'apprentissage plus fort pour les RNN que des séquences plus longues.

3. Partage de poids et biais d'induction

• Les transformeurs présentent un faible facteur de partage ($\kappa \approx 1$ ou $\kappa < 1$) pour tous les formats de tâches. Cela indique qu'ils apprennent des solutions spécifiques à chaque longueur de manière isolée. Dans le régime CoT, les transformeurs montrent une interférence destructrice ($\kappa \ll 1$), où l'entraînement sur des longueurs mixtes est moins efficace que l'entraînement de modèles séparés pour chaque longueur.
• Les modèles récurrents présentent des facteurs de partage élevés ($\kappa \gg 1$) dans leurs régimes de prédilection (Résultat et ACoT). Cela confirme qu'ils intériorisent un opérateur de transition réutilisable, permettant aux données d'une longueur de séquence donnée d'amortir les coûts d'apprentissage des autres.
• Corrélation avec l'OOD : L'article trouve une forte corrélation entre un facteur de partage élevé et la capacité à généraliser à des longueurs de séquences non vues (OOD). Les modèles avec de faibles facteurs de partage échouent à extrapoler.

Signification et affirmations

Les auteurs affirment que le suivi d'état reste un défi fondamental pour les transformeurs, même lorsque les distributions d'entraînement et d'évaluation correspondent. L'étude démontre que :

1. Les transformeurs nécessitent des quantités extraordinaires de données d'entraînement pour généraliser sur des tâches simples de suivi d'état, même en distribution.
2. L'absence de « biais d'induction » chez les transformeurs empêche un partage de poids efficace entre les longueurs de séquences, menant à un apprentissage isolé d'heuristiques spécifiques à la longueur.
3. L'efficacité des données des transformeurs évolue mal avec la longueur de la séquence, ce qui peut expliquer les défis tels que la « décomposition du contexte » (context rot) dans les fenêtres de contexte étendues.
4. Bien que les transformeurs puissent apprendre ces tâches avec une supervision spécifique (CoT), ils le font en apprenant des mécanismes distincts pour chaque longueur plutôt qu'un algorithme généralisable.

L'article conclut que ces résultats suggèrent que l'apprentissage de bout en bout dans des scénarios « agentiques » (ex: robotique, contrôle d'interface graphique) impliquant un suivi d'état à long horizon peut être nettement plus difficile pour les transformeurs qu'on ne le supposait, car ils manquent du biais inductif inhérent pour partager efficacement les mécanismes de mise à jour d'état à travers diverses échelles temporelles.

Limites

Les auteurs reconnaissent que leur étude est limitée par un ensemble représentatif de tâches synthétiques et de modèles. Bien que ces tâches isolent le suivi d'état, elles ne capturent pas toutes les complexités de la prédiction séquentielle du monde réel. De plus, l'espace de recherche étendu requis pour les expériences limite le nombre d'architectures et de familles de tâches qui pourraient être directement évaluées. Le transfert de ces modèles d'efficacité des données vers des domaines réalistes (exécution de code, contrôle incarné) reste une direction pour des travaux futurs.