Sintesi Tecnica: I Modelli Linguistici di Frontiera Faticano a Copiare: Il Testo Può Essere Visualizzato Meglio in 2D

Problematica

Nonostante il raggiungimento di prestazioni allo stato dell'arte in compiti di ragionamento complesso, i modelli linguistici di grandi dimensioni (LLM) di frontiera mostrano un fallimento fondamentale nell'esecuzione della copia esatta di stringhe. Gli autori dimostrano che anche i modelli con finestre di contesto significativamente più grandi delle stringhe di input falliscono nel riprodurre accuratamente le sequenze di input, in particolare quando gli input contengono sottostringhe ripetute o quando la lunghezza della sequenza supera la distribuzione di addestramento.

Il documento identifica due modalità primarie di fallimento:

1. Fallimento della Generalizzazione della Lunghezza: L'accuratezza della copia degrada all'aumentare della lunghezza dell'input, scendendo spesso al di sotto del 50% per lunghezze ben all'interno della finestra di contesto del modello.
2. Sensibilità alla Ripetizione: I modelli faticano significativamente con input contenenti pattern ripetuti (ad esempio, segnali periodici o strutture ricorsive), suggerendo che si affidino al matching del contesto locale piuttosto che a un recupero posizionale preciso.

Gli autori ipotizzano che questo fallimento derivi dal bias induttivo delle codifiche posizionali standard (come RoPE). Invece di recuperare il $k$-esimo token in base al suo indice assoluto o relativo, i modelli sembrano utilizzare una scorciatoia "basata sul contesto", cercando sottostringhe locali simili nell'input. Quando esistono sottostringhe ripetute, questo meccanismo diventa ambiguo, portando ad errori.

Metodologia

1. Analisi Diagnostica

Gli autori stabiliscono prima l'esistenza del problema attraverso benchmark estesi:

• Copia Binaria: Ai modelli viene chiesto di copiare stringhe binarie generate tramite distribuzioni uniforme, sbilanciata o di "recursive-flip".
• Conversione di Liste Python: I modelli devono convertire dati di sensori fisici separati da virgole in liste Python.
• Interpretabilità Meccanicistica: L'analisi delle mappe di attenzione rivela che i modelli RoPE standard non apprendono un allineamento pulito basato sulla posizione. Invece, esibiscono un mix di:
  • Pattern Orizzontali: Attenzione verso delimitatori fissi (ad esempio, <\n>, <I:>), una scorciatoia basata sulla posizione che fallisce su lunghezze non viste.
  • Pattern Diagonali: Comportamento di "induction-head" che effettua il matching di contesti locali, il quale fallisce quando le sottostringhe si ripetono.

2. Soluzione Proposta: 2D-RoPE

Motivati dall'osservazione che copiare una stringa di input $x_1, \dots, x_n$ in un output $y_1, \dots, y_n$ è strutturalmente un'operazione 2D (due righe), gli autori propongono 2D-RoPE.

• Concetto: Il testo è organizzato in una griglia 2D piuttosto che in una sequenza 1D. Il token di nuova riga <\n> funge da separatore di riga.
• ID Posizionali: A ogni token viene assegnata una coppia $(r_i, c_i)$, dove $r_i$ è l'indice della riga e $c_i$ è l'indice della colonna all'interno di quella riga.
• Meccanismo: L'attenzione RoPE è applicata separatamente alle coordinate di riga e di colonna. In un compito di copia, il token sorgente $x_k$ e il token target $y_k$ condividono lo stesso indice di colonna. Pertanto, la copia si riduce al recupero di un token dalla stessa colonna nella riga precedente, un'operazione a offset fisso che è geometricamente più semplice da apprendere per un singolo strato di attenzione rispetto a un offset 1D dipendente dalla lunghezza.

3. Variante Adattiva: Auto-2D-RoPE

Riconoscendo che il testo naturale potrebbe non contenere sempre interruzioni di riga esplicite per definire le righe, gli autori introducono Auto-2D-RoPE.

• Invece di fare affidamento su un separatore di token fisso, questa variante apprende una trasformazione dipendente dai dati.
• Ad ogni strato, il modello predice coefficienti di aggiornamento basati sugli stati latenti dei token per determinare come evolvono le coordinate 2D (incrementando la colonna vs. resettando la colonna e incrementando la riga).
• Ciò consente al modello di inferire la struttura 2D in modo adattivo, mantenendo la generalizzazione della lunghezza anche senza separatori di nuova riga espliciti.

Contributi Chiave

1. Evidenza Empirica del Fallimento della Copia: Il documento fornisce benchmark rigorosi che mostrano come i modelli di frontiera (inclusi GPT-5.5, Gemini 3.1 Pro e DeepSeek V4 Pro) falliscano nei compiti di copia esatta, in particolare su sequenze lunghe o ripetitive, contraddicendo l'assunto che le capacità algoritmiche di base siano padroneggiate dai modelli di grandi dimensioni.
2. Diagnosi Teorica e Meccanicistica:
   • Teoria dell'Espressività: Gli autori dimostrano che i Transformer a uno strato con codifiche posizionali invarianti per traslazione non possono risolvere la copia binaria per sequenze brevi ($n \le 5$), mentre i modelli RoPE a due strati possono farlo. Ciò suggerisce che il fallimento non sia dovuto a limiti di espressività, ma al bias induttivo dell'addestramento.
   • Analisi dell'Attenzione: Dimostrano che i modelli addestrati si affidano a un mix fragile di euristiche basate sulla posizione e sul contesto piuttosto che a un algoritmo robusto.
3. Architettura 2D-RoPE: L'introduzione di 2D-RoPE, che riformula il testo come una griglia 2D, fornendo un forte bias induttivo per il recupero basato sulla posizione.
4. Garanzie Teoriche:
   • Espressività: Dimostrato che un Transformer 2D-RoPE a singolo strato può rappresentare il compito di copia binaria con parametri limitati.
   • Generalizzazione: Sotto vincoli di regolarizzazione $\ell_\infty$ (che mimano l'ottimizzazione AdamW), i minimi globali di 2D-RoPE addestrato su una lunghezza $L$ generalizzano provabilmente a lunghezze polinomiali in $L$.
5. Validazione su Larga Scala: Il metodo è validato tramite pre-addestramento da zero (da 350M a 1.4B di parametri) sul dataset DCLM. I modelli 2D-RoPE raggiungono una generalizzazione della lunghezza quasi perfetta nei compiti di copia, mantenendo al contempo prestazioni comparabili nei benchmark di ragionamento del senso comune.

Risultati

• Esperimenti Sintetici:
  • Modelli a 1 Strato: 2D-Roce raggiunge una copia perfetta con una generalizzazione della lunghezza fino a 1000$\times$ (addestramento su lunghezza 100, test su lunghezza 100.000), mentre le codifiche standard falliscono immediatamente.
  • Modelli a 12 Strati: 2D-RoPE mantiene una performance perfetta fino a una generalizzazione della lunghezza di 100$\times$.
• Pre-addestramento di LLM su Larga Scala:
  • I modelli pre-addestrati su DCLM e sottoposti a fine-tuning su compiti di copia mostrano che 2D-RoPE supera significativamente il RoPE standard e l'Hybrid-RoPE (H-RoPE) sia nei compiti di copia in-domain (Imbalanced) che out-of-domain (Recursive-Flip).
  • Ad esempio, un modello 2D-RoPE da 1.4 miliardi di parametri raggiunge il 100% di accuratezza su stringhe recursive-flip di lunghezza 8K, mentre il baseline RoPE standard scende allo 0%.
  • La performance nel ragionamento del senso comune rimane comparabile ai baseline RoPE, indicando che l'apprendimento del compito di copia non degrada le capacità generali di modellazione del linguaggio.
• Auto-2D-RoPE: Mantiene con successo la generalizzazione della lunghezza nei compiti di copia anche quando il separatore di nuova riga è sostituito da un carattere generico, dimostrando la capacità di apprendere la struttura 2D senza indizi di formattazione espliciti.

Significato e Rivendicazioni

Il documento sostiene che la rappresentazione delle informazioni posizionali plasma fondamentalmente i comportamenti algoritmici dei modelli linguistici. L'incapacità degli attuali LLM di copiare non è una mancanza di intelligenza, ma una conseguenza del bias induttivo introdotto dalle codifiche posizionali 1D, che favoriscono il matching del contesto rispetto al recupero posizionale preciso.

Visualizzando il testo in 2D, gli autori sostengono che il compito di copia diventi geometricamente semplice (recupero da colonna fissa), permettendo ai modelli di apprendere algoritmi robusti che generalizzano la lunghezza. Il lavoro suggerisce che la ricerca futura dovrebbe esplorare le codifiche posizionali 2D per catturare meglio la struttura latente del testo e migliorare l'affidabilità del ragionamento algoritmico negli LLM. Gli autori rimangono modesti, notando che la comprensione teorica del perché i transformer RoPE multi-strato falliscano nel copiare e la scalabilità di Auto-2D-RoPE verso regimi più pratici rimangono direzioni di studio aperte.