Résumé technique : Les modèles de langage de pointe peinent à copier : Le texte peut être mieux visualisé en 2D

Énoncé du problème

Malgré l'obtention de performances de pointe sur des tâches de raisonnement complexes, les modèles de langage de grande taille (LLM) de pointe présentent un échec fondamental dans l'exécution de la copie exacte de chaînes de caractères. Les auteurs démontrent que même les modèles dotés de fenêtres de contexte nettement plus grandes que les chaînes d'entrée échouent à reproduire fidèlement les séquences d'entrée, particulièrement lorsque les entrées contiennent des sous-chaînes répétées ou lorsque la longueur de la séquence dépasse la distribution d'entraînement.

Le papier identifie deux modes de défaillance primaires :

1. Échec de la généralisation de la longueur : La précision de la copie se dégrade à mesure que la longueur de l'entrée augmente, tombant souvent en dessous de 50 % pour des longueurs pourtant bien comprises dans la fenêtre de contexte du modèle.
2. Sensibilité à la répétition : Les modèles éprouvent des difficultés significatives avec les entrées contenant des motifs répétés (par exemple, des signaux périodiques ou des structures récursives), ce qui suggère qu'ils s'appuient sur une correspondance de contexte local plutôt que sur une récupération positionnelle précise.

Les auteurs émettent l'hypothèse que cet échec provient du biais inductif des encodages positionnels standards (comme RoPE). Au lieu de récupérer le $k$-ième jeton basé sur son index absolu ou relatif, les modèles semblent utiliser un raccourci « basé sur le contexte », cherchant des sous-chaînes locales similaires dans l'entrée. Lorsque des sous-chaînes répétées existent, ce mécanisme devient ambigu, entraînant des erreurs.

Méthodologie

1. Analyse diagnostique

Les auteurs établissent d'abord l'existence du problème par des tests de référence approfondis :

• Copie binaire : Les modèles sont chargés de copier des chaînes binaires générées via des distributions uniformes, déséquilibrées ou de type "flip-récursif".
• Conversion de listes Python : Les modèles doivent convertir des données de capteurs physiques séparées par des virgules en listes Python.
• Interprétabilité mécaniste : L'analyse des cartes d'attention révèle que les modèles RoPE standards n'apprennent pas un alignement propre basé sur la position. Au lieu de cela, ils présentent un mélange de :
  • Motifs horizontaux : Une attention portée à des délimiteurs fixes (ex: <\n>, <I:>), un raccourci basé sur la position qui échoue sur des longueurs non vues.
  • Motifs diagonaux : Un comportement de "tête d'induction" qui correspond aux contextes locaux, ce qui échoue lorsque les sous-chaînes se répètent.

2. Solution proposée : 2D-RoPE

Motivés par l'observation que la copie d'une chaîne d'entrée $x_1, \dots, x_n$ vers une sortie $y_1, \dots, y_n$ est structurellement une opération 2D (deux lignes), les auteurs proposent le 2D-RoPE.

• Concept : Le texte est organisé en une grille 2D plutôt qu'en une séquence 1D. Le jeton de saut de ligne <\n> agit comme un séparateur de ligne.
• Identifiants de position : Chaque jeton se voit assigner une paire $(r_i, c_i)$, où $r_i$ est l'indice de la ligne et $c_i$ l'indice de la colonne au sein de cette ligne.
• Mécanisme : L'attention RoPE est appliquée séparément aux coordonnées de ligne et de colonne. Dans une tâche de copie, le jeton source $x_k$ et le jeton cible $y_k$ partagent le même indice de colonne. Ainsi, la copie se réduit à la récupération d'un jeton de la même colonne dans la ligne précédente, une opération à décalage fixe qui est géométriquement plus simple à apprendre pour une seule couche d'attention qu'un décalage 1D dépendant de la longueur.

3. Variante adaptative : Auto-2D-RoPE

Reconnaissant que le texte naturel peut ne pas toujours contenir de sauts de ligne explicites pour définir les lignes, les auteurs introduisent l'Auto-2D-RoPE.

• Au lieu de s'appuyer sur un jeton séparateur fixe, cette variante apprend une transformation dépendante des données.
• À chaque couche, le modèle prédit des coefficients de mise à jour basés sur les états cachés des jetons pour déterminer comment les coordonnées 2D évoluent (incrémenter la colonne vs réinitialiser la colonne et incrémenter la ligne).
• Cela permet au modèle d'inférer la structure 2D de manière adaptative, maintenant la généralisation de la longueur même sans séparateurs de nouvelle ligne explicites.

Contributions clés

1. Preuve empirique de l'échec de la copie : Le papier fournit des benchmarks rigoureux montrant que les LLM de pointe (incluant GPT-5.5, Gemini 3.1 Pro et DeepSeek V4 Pro) échouent aux tâches de copie exacte, particulièrement sur des séquences longues ou répétitives, contredisant l'hypothèse selon laquelle les capacités algorithmiques de base sont maîtrisées par les grands modèles.
2. Diagnostic théorique et mécaniste :
   • Théorie de l'expressivité : Les auteurs prouvent que les Transformers à une seule couche avec des encodages positionnels invariants par décalage ne peuvent pas résoudre la copie binaire pour des séquences courtes ($n \le 5$), tandis que les modèles RoPE à deux couches le peuvent. Cela suggère que l'échec n'est pas dû à des limites d'expressivité mais plutôt au biais inductif de l'entraînement.
   • Analyse de l'attention : Ils démontellent que les modèles entraînés reposent sur un mélange fragile d'heuristiques basées sur la position et le contexte plutôt que sur un algorithme robuste.
3. Architecture 2D-RoPE : L'introduction du 2D-RoPE, qui reformule le texte en une grille 2D, fournissant un fort biais inductif pour la récupération basée sur la position.
4. Garanties théoriques :
   • Expressivité : Prouvé qu'un Transformer 2D-RoPE à une couche peut représenter la tâche de copie binaire avec des paramètres bornés.
   • Généralisation : Sous des contraintes de régularisation $\ell_\infty$ (imitant l'optimisation AdamW), les minima globaux de 2D-RoPE entraînés sur une longueur $L$ se généralisent de manière prouvable à des longueurs polynomiales en $L$.
5. Validation à grande échelle : La méthode est validée par un pré-entraînement à partir de zéro (de 350M à 1.4B de paramètres) sur le jeu de données DCLM. Les modèles 2D-RoPE atteignent une généralisation de longueur quasi parfaite sur les tâches de copie tout en maintenant des performances comparables sur les benchmarks de raisonnement de bon sens.

Résultats

• Expériences synthétiques :
  • Modèles à 1 couche : 2D-RoPE atteint une copie parfaite avec une généralisation de longueur allant jusqu'à 1000$\times$ (entraînement sur la longueur 100, test sur la longueur 100 000), alors que les encodages standards échouent immédiatement.
  • Modèles à 12 couches : 2D-RoPE maintient une performance parfaite jusqu'à une généralisation de longueur de 100$\times$.
• Pré-entraînement de LLM à grande échelle :
  • Les modèles pré-entraînés sur DCLM et affinés sur des tâches de copie montrent que 2D-RoPE surpasse significativement les standards RoPE et Hybrid-RoPE (H-RoPE) tant sur les tâches de copie en domaine (Imbalanced) que hors domaine (Recursive-Flip).
  • Par exemple, un modèle 2D-RoPE de 1.4B de paramètres atteint 100 % de précision sur des chaînes "recursive-flip" de 8K de long, tandis que la ligne de base RoPE standard chute à 0 %.
  • Les performances de raisonnement de bon sens restent comparables aux bases de référence RoPE, indiquant que l'apprentissage de la tâche de copie ne dégrade pas les capacités de modélisation du langage courant.
• Auto-2D-RoPE : Maintient avec succès la généralisation de la longueur sur les tâches de copie même lorsque le séparateur de nouvelle ligne est remplacé par un caractère générique, démontrant la capacité d'apprendre la structure 2D sans indices de formatage explicites.

Signification et revendications

Le papier affirme que la représentation de l'information positionnelle façonne fondamentalement les comportements algorithmiques des modèles de langage. L'incapacité des LLM actuels à copier n'est pas un manque d'intelligence, mais une conséquence du biais inductif introduit par les encodages positionnels 1D, qui favorisent la correspondance de contexte plutôt que la récupération positionnelle précise.

En visualisant le texte en 2D, les auteurs soutiennent que la tâche de copie devient géométriquement simple (récupération à colonne fixe), permettant aux modèles d'apprendre des algorithmes robustes capables de généraliser la longueur. Ce travail suggère que les recherches futures devraient explorer les encodages positionnels 2D pour mieux capturer la structure latente du texte et améliorer la fiabilité du raisonnement algorithmique dans les LLM. Les auteurs restent modestes, notant que la compréhension théorique de la raison pour laquelle les Transformers RoPE multi-couches échouent à copier et la mise à l'échelle de l'Auto-2D-RoPE vers des régimes plus pratiques restent des directions de recherche ouvertes.