Resumo Técnico: Modelos de Linguagem de Fronteira Têm Dificuldade em Copiar: O Texto Pode Ser Melhor Visualizado em 2D

Declaração do Problema

Apesar de alcançarem um desempenho de estado da arte em tarefas de raciocínio complexo, os modelos de linguagem de grande escala (LLMs) de fronteira exibem uma falha fundamental ao realizar a cópia exata de strings. Os autores demonstram que mesmo modelos com janelas de contexto significativamente maiores que as strings de entrada falham em reproduzir sequências de entrada com precisão, particularmente quando os inputs contêm substrings repetidas ou quando o comprimento da sequência excede a distribuição de treinamento.

O artigo identifica dois modos primários de falha:

1. Falha de Generalização de Comprimento: A precisão de cópia degrada conforme o comprimento do input aumenta, frequentemente caindo abaixo de 50% para comprimentos que estão bem dentro da janela de contexto do modelo.
2. Sensibilidade à Repetição: Os modelos têm dificuldades significativas com inputs que contêm padrões repetidos (por exemplo, sinais periódicos ou estruturas recursivas), sugerindo que eles dependem de correspondência de contexto local em vez de recuperação posicional precisa.

Os autores hipotetizam que essa falha decorre do viés indutivo das codificações posicionais padrão (como RoPE). Em vez de recuperar o $k$-ésimo token com base em seu índice absoluto ou relativo, os modelos parecem usar um atalho "baseado em contexto", buscando substrings locais semelhantes no input. Quando existem substrings repetidas, esse mecanismo torna-se ambíguo, levando a erros.

Metodologia

1. Análise Diagnóstica

Os autores primeiro estabelecem a existência do problema através de benchmarks extensivos:

• Cópia Binária: Os modelos recebem a tarefa de copiar strings binárias geradas via distribuições uniforme, desbalanceada ou de flip recursivo.
• Conversão de Lista Python: Os modelos devem converter dados de sensores físicos separados por vírgulas em listas Python.
• Interpretabilidade Mecanística: A análise dos mapas de atenção revela que modelos RoPE padrão não aprendem um alinhamento limpo baseado em posição. Em vez disso, eles exibem uma mistura de:
  • Padrões horizontais: Atender a delimitadores fixos (ex: <\n>, <I:>), um atalho baseado em posição que falha em comprimentos não vistos.
  • Padrões diagonais: Comportamento de cabeça de indução que combina contextos locais, o que falha quando as substrings se repetem.

2. Solução Proposta: 2D-RoPE

Motivados pela observação de que copiar uma string de entrada $x_1, \dots, x_n$ para um output $y_1, \dots, y_n$ é estruturalmente uma operação 2D (duas linhas), os autores propõem o 2D-RoPE.

• Conceito: O texto é organizado em uma grade 2D em vez de uma sequência 1D. O token de nova linha <\n> atua como um separador de linha.
• IDs de Posição: Cada token recebe um par $(r_i, c_i)$, onde $r_i$ é o índice da linha e $c_i$ é o índice da coluna dentro dessa linha.
• Mecanismo: A atenção RoPE é aplicada separadamente às coordenadas de linha e coluna. Em uma tarefa de cópia, o token de origem $x_k$ e o token de destino $y_k$ compartilham o mesmo índice de coluna. Assim, a cópia reduz-se à recuperação de um token da mesma coluna na linha anterior, uma operação de offset fixo que é geometricamente mais simples de aprender para uma única camada de atenção do que um offset 1D dependente de comprimento.

3. Variante Adaptativa: Auto-2D-RoPE

Reconhecendo que o texto natural pode nem sempre conter quebras de linha explícitas para definir linhas, os autores introduzem o Auto-2D-RoPE.

• Em vez de depender de um token separador fixo, esta variante aprende uma transformação dependente dos dados.
• Em cada camada, o modelo prevê coeficientes de atualização baseados nos estados ocultos dos tokens para determinar como as coordenadas 2D evoluem (incrementando a coluna vs. resetando a coluna e incrementando a linha).
• Isso permite que o modelo infira a estrutura 2D de forma adaptativa, mantendo a generalização de comprimento mesmo sem separadores de nova linha explícitos.

Principais Contribuições

1. Evidência Empírica de Falha de Cópia: O artigo fornece benchmarks rigorosos mostrando que LLMs de fronteira (incluindo GPT-5.5, Gemini 3.1 Pro e DeepSeek V4 Pro) falham em tarefas de cópia exata, particularmente em sequências longas ou repetitivas, contradizendo a suposição de que capacidades algorítmicas básicas são dominadas por modelos grandes.
2. Diagnóstico Teórico e Mecanístico:
   • Teoria de Expressividade: Os autores provam que Transformers de uma camada com codificações posicionais invariantes ao deslocamento não podem resolver a cópia binária para sequências curtas ($n \le 5$), enquanto modelos RoPE de duas camadas podem. Isso sugere que a falha não é devido a limites de expressividade, mas sim ao viés indutivo do treinamento.
   • Análise de Atenção: Eles demonstram que os modelos treinados dependem de uma mistura frágil de heurísticas baseadas em posição e contexto, em vez de um algoritmo robusto.
3. Arquitetura 2D-RoPE: A introdução do 2D-RoPE, que reformula o texto como uma grade 2D, fornecendo um forte viés indutivo para a recuperação baseada em posição.
4. Garantias Teóricas:
   • Expressividade: Provado que um Transformer 2D-RoPE de uma camada pode representar a tarefa de cópia binária com parâmetros limitados.
   • Generalização: Sob restrições de regularização $\ell_\infty$ (imitando a otimização AdamW), os mínimos globais do 2D-RoPE treinado no comprimento $L$ provadamente generalizam para comprimentos polinomiais em $L$.
5. Validação em Larga Escala: O método é validado no pré-treinamento do zero (350M a 1.4B de parâmetros) no dataset DCLM. Modelos 2D-RoPE alcançam uma generalização de comprimento quase perfeita em tarefas de cópia, mantendo um desempenho comparável em benchmarks de raciocínio de senso comum.

Resultados

• Experimentos Sintéticos:
  • Modelos de 1 Camada: O 2D-RoPE alcança cópia perfeita com até 1000$\times$ generalização de comprimento (treinando no comprimento 100, testando no comprimento 100.000), enquanto codificações padrão falham imediatamente.
  • Modelos de 12 Camadas: O 2D-RoPE mantém performance perfeita até 100$\times$ de generalização de comprimento.
• Pré-treinamento de LLM em Larga Escala:
  • Modelos pré-treinados no DCLM e ajustados para tarefas de cópia mostram que o 2D-RoPE supera significativamente o RoPE padrão e o Hybrid-RoPE (H-RoPE) tanto em tarefas de cópia in-domain (Imbalanced) quanto out-of-domain (Recursive-Flip).
  • Por exemplo, um modelo 2D-RoPE de 1.4B de parâmetros alcança 100% de precisão em strings de recursive-flip de 8K de comprimento, enquanto o baseline RoPE padrão cai para 0%.
  • O desempenho de raciocínio de senso comum permanece comparável aos baselines de RoPE, indicando que aprender a tarefa de cópia não degrada as capacidades gerais de modelagem de linguagem.
• Auto-2D-RoPE: Sucesso em manter a generalização de comprimento em tarefas de cópia mesmo quando o separador de nova linha é substituído por um caractere genérico, demonstrando a capacidade de aprender a estrutura 2D sem pistas de formatação explícitas.

Significância e Alegações

O artigo afirma que a representação da informação posicional molda fundamentalmente os comportamentos algorítmicos dos modelos de linguagem. A incapacidade dos LLMs atuais de copiar não é uma falta de inteligência, mas uma consequência do viés indutivo introduzido pelas codificações posicionais 1D, que favorecem a correspondência de contexto em vez da recuperação posicional precisa.

Ao visualizar o texto em 2D, os autores argumentam que a tarefa de cópia torna-se geometricamente simples (recuperação de coluna fixa), permitindo que os modelos aprendam algoritmos robustos que generalizam o comprimento. O trabalho sugere que pesquisas futuras devem explorar codificações posicionais 2D para capturar melhor a estrutura latente do texto e melhorar a confiabilidade do raciocínio algorítmico em LLMs. Os autores permanecem modestos, observando que a compreensão teórica de por que Transformers RoPE de múltiplas camadas falham em copiar e a escala do Auto-2D-RoPE para regimes mais práticos permanecem como direções abertas para estudos futuros.