Technische Samenvatting: Frontier Language Models Struggelen met Kopiëren: Tekst Kan Beter in 2D Bekeken Worden

Probleemstelling

Ondanks het bereiken van state-of-the-art prestaties op complexe redeneertaken, vertonen frontier Large Language Models (LLMs) een fundamenteel falen bij het uitvoeren van exacte string-kopieeropdrachten. De auteurs demonstreren dat zelfs modellen met contextvensters die aanzienlijk groter zijn dan de invoerstrings, er niet in slagen om invoersequenties nauwkeurig te reproduceren, met name wanneer de invoer herhaalde substrings bevat of wanneer de sequentielengte de trainingsdistributie overschrijdt.

De paper identificeert twee primaire faalmodi:

1. Lengte-generalisatiefalen: De nauwkeurigheid van het kopiëren neemt af naarmate de invoerlengte toeneemt, en valt vaak onder de 50% voor lengtes die ruim binnen het contextvenster van het model liggen.
2. Repetitiegevoeligheid: Modellen hebben aanzienlijke moeite met inputs die herhaalde patronen bevatten (bijv. periodieke signalen of recursieve structuren), wat suggereert dat ze vertrouwen op lokale context-matching in plaats van precieze positionele retrieval.

De auteurs hypothetiseren dat dit falen voortkomt uit de inductieve bias van standaard positionele encodings (zoals RoPE). In plaats van het $k$-de token te ophalen op basis van zijn absolute of relatieve index, lijken modellen een "context-gebaseerde" shortcut te gebruiken door te zoeken naar vergelijkbare lokale substrings in de input. Wanneer herhaalde substrings aanwezig zijn, wordt dit mechanisme ambigu, wat leata tot fouten.

Methodologie

1. Diagnostische Analyse

De auteurs stellen eerst het bestaan van het probleem vast via uitgebreide benchmarks:

• Binary Copy: Modellen krijgen de opdracht om binaire strings te kopiëren die gegenereerd zijn via uniforme, ongebalanceerde of recursieve-flip distributies.
• Python List Conversion: Modellen moeten komma-gescheiden fysieke sensordata converteren naar Python-lijsten.
• Mechanistic Interpretability: Analyse van attention maps laat zien dat standaard RoPE-modellen geen zuivere, positie-gebaseerde uitlijning leren. In plaats daarvan vertonen ze een mengeling van:
  • Horizontale patronen: Het attenderen op vaste delimiters (bijv. <\n>, <I:>), een positie-gebaseerde shortcut die faalt bij onbekende lengtes.
  • Diagonale patronen: Induction-head gedrag dat lokale contexten matcht, wat faalt wanneer substrings herhalen.

2. Voorgestelde Oplossing: 2D-RoPE

Gesterkt door de observatie dat het kopiëren van een inputstring $x_1, \dots, x_n$ naar een output $y_1, \dots, y_n$ structureel een 2D-operatie is (twee rijen), stellen de auteurs 2D-RoPE voor.

• Concept: Tekst wordt georganiseerd in een 2D-grid in plaats van een 1D-sequentie. Het newline-token <\n> fungeert als een rij-separator.
• Position IDs: Elk token krijgt een paar $(r_i, c_i)$ toegewezen, waarbij $r_i$ de rij-index is en $c_i$ de kolom-index binnen die rij.
• Mechanisme: RoPE attention wordt apart toegepast op rij- en kolomcoördinaten. In een kopieertaak delen het bron-token $x_k$ en het doel-token $y_k$ dezelfde kolomindex. Kopiëren reduceert daarmee tot het ophalen van een token uit dezelfde kolom in de vorige rij, een fixed-offset operatie die geometrisch eenvoudiger te leren is voor een enkele attention layer dan een lengte-afhankelijke 1D-offset.

3. Adaptieve Variant: Auto-2D-RoPE

In het besef dat natuurlijke tekst mogelijk niet altijd expliciete regeleinden bevat om rijen te definiëren, introduceren de auteurs Auto-2D-RoPE.

• In plaats van te vertrouwen op een vaste separator-token, leert deze variant een data-afhankelijke transformatie.
• Bij elke layer voorspelt het model update-coëfficiënten op basis van token hidden states om te bepalen hoe de 2D-coördinaten evolueren (het incrementeren van de kolom versus het resetten van de kolom en het incrementeren van de rij).
• Dit stelt het model in staat om 2D-structuur adaptief te infereren, waardoor de lengte-generalisatie behouden blijft zelfs zonder expliciete newline separators.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Kopieerfalen: De paper levert rigoureuze benchmarks die aantonen dat frontier LLMs (inclusief GPT-5.5, Gemini 3.1 Pro, en DeepSeek V4 Pro) falen bij exacte kopieertaken, vooral bij lange of repetitieve sequenties, wat de aanname dat basis algoritmische capaciteiten door grote modellen worden beheerst, tegenspreekt.
2. Theoretische en Mechanistische Diagnose:
   • Expressiviteitstheorie: De auteurs bewijzen dat één-laag Transformers met shift-invariant positionele encodings de binary copy niet kunnen oplossen voor korte sequenties ($n \le 5$), terwijl twee-laag RoPE modellen dat wel kunnen. Dit suggereert dat het falen niet te wijten is aan expressiviteitslimieten, maar aan de inductieve bias van training.
   • Attention Analyse: Ze demonstreren dat getrainde modellen vertrouwen op een fragiele mix van positie-gebaseerde en context-gebaseerde heuristieken in plaats van een robuust algoritme.
3. 2D-RoPE Architectuur: De introductie van 2D-RoPE, die tekst herformuleert als een 2D-grid, wat een sterke inductieve bias biedt voor positie-gebaseerde retrieval.
4. Theoretische Garanties:
   • Expressiviteit: Er is bewezen dat een enkele-laag 2D-RoPE Transformer de binary copy taak kan representeren met gebonden parameters.
   • Generalisatie: Onder $\ell_\infty$ regularisatie-constraints (die AdamW optimalisatie nabootsen), generaliseert het globale minimum van 2D-RoPE getraind op lengte $L$ bewezen naar lengtes die polynomiaal zijn in $L$.
5. Grootschalige Validatie: De methode wordt gevalideerd via pretraining vanaf nul (350M tot 1.4B parameters) op de DCLM-dataset. 2D-RoPE modellen bereiken bijna perfecte lengte-generalisatie op kopieertaken, terwijl ze vergelijkbare prestaties leveren op common-sense reasoning benchmarks.

Resultaten

• Synthetische Experimenten:
  • 1-Laag Modellen: 2D-RoPE bereikt perfect kopiëren met een lengte-generalisatie tot 1000$\times$ (trainen op lengte 100, testen op lengte 100.000), terwijl standaard encodings direct falen.
  • 12-Laag Modellen: 2D-RoPE behoudt perfecte prestaties tot 100$\times$ lengte-generalisatie.
• Grootschalige LLM Pretraining:
  • Modellen die zijn voorgetraind op DCLM en zijn gefinetuned op kopieertaken laten zien dat 2D-RoPE significant beter presteert dan standaard RoPE en Hybrid-RoPE (H-RoPE) op zowel in-domain (Imbalanced) als out-of-domain (Recursive-Flip) kopieertaken.
  • Bijvoorbeeld: een 1.4B parameter 2D-RoPE model bereikt 100% accuratesse op 8K-lengte recursive-flip strings, terwijl de standaard RoPE baseline naar 0% zakt.
  • Prestaties op common-sense reasoning blijven vergelijkbaar met de RoPE baselines, wat aangeeft dat het leren van de kopieertaak de algemene taalmodellering-capaciteiten niet schaadt.
• Auto-2D-RoPE: Slaagt erin om de lengte-generalisatie op kopieertaken te behouden, zelfs wanneer de newline separator wordt vervangen door een generiek karakter, wat het vermogen aantoont om 2D-structuur te leren zonder expliciete formattering cues.

Betekenis en Claims

De paper claimt dat de representatie van positionele informatie fundamenteel vormgeeft aan de algoritmische gedragingen van taalmodellen. Het onvermogen van huidige LLMs om te kopiëren is geen gebrek aan intelligentie, maar een gevolg van de inductieve bias geïntroduceerd door 1D positionele encodings, die de voorkeur geven aan context matching boven precieze positionele retrieval.

Door tekst in 2D te bekijken, beweren de auteurs dat de kopieertaak geometrisch eenvoudig wordt (fixed-column retrieval), waardoor modellen robuuste, lengte-generaliserende algoritmen kunnen leren. Het werk suggereert dat toekomstig onderzoek zich moet richten op 2D positionele encodings om de latente structuur van tekst beter te vangen en de betrouwbaarheid van algoritmisch redeneren in LLMs te verbeteren. De auteurs blijven bescheiden en merken op dat het theoretische begrip van waarom multi-layer RoPE transformers falen om te kopiëren, en de schaalbaarheid van Auto-2D-RoPE naar meer praktische regimes, openstaande richtingen blijven voor toekomstig onderzoek.