Resumo Técnico: Modelos de Linguagem Recursivos (RLMs)

Declaração do Problema

Os modelos de linguagem grandes (LLMs) de fronteira enfrentam limitações significativas no processamento de prompts arbitrariamente longos. Mesmo dentro dos limites de suas janelas de contexto, esses modelos exibem "decomposição de contexto" (context rot), onde o desempenho degrada-se acentuadamente à medida que o comprimento do prompt e a complexidade da tarefa aumentam. As abordagens existentes para processamento de contexto longo geralmente se enquadram em duas categorias:

1. Modificações de Arquitetura/Treinamento: Retreinar modelos para lidar com sequências mais longas (por exemplo, via atenção linear ou espaços de estado).
2. Andaimagens no Tempo de Inferência: Métodos como compactação de contexto (sumarização) ou agentes de recuperação. No entanto, a compactação é frequentemente insuficiente para tarefas que exigem acesso denso a todo o prompt, pois pressupõe que detalhes iniciais podem ser esquecidos com segurança. Abordagens de recuperação e delegação a subagentes são frequentemente prejudicadas pelos comprimentos de saída limitados do modelo subjacente ou pela falta de controle programático sobre a recursão.

Os autores postulam que escalar o tamanho do contexto em ordens de grandeza exige uma mudança de paradigma onde o prompt não é tratado como uma entrada estática para uma rede neural, mas como uma parte dinâmica de um ambiente externo com o qual o modelo pode interagir simbolicamente.

Metodologia: Modelos de Linguagem Recursivos (RLMs)

O artigo introduz os Modelos de Linguagem Recursivos (RLMs), um paradigma geral de inferência que transfere o prompt do usuário para um ambiente externo persistente (especificamente um REPL Python) em vez de alimentá-lo diretamente na janela de contexto do modelo.

Mecanismo Central

1. Inicialização do Ambiente: Dado um prompt $P$, o RLM inicializa um ambiente de Loop de Leitura-Avaliação- Impressão (REPL) onde $P$ é armazenado como uma variável de string.
2. Interação Simbólica: O LLM base ($M$) é instruído a escrever código dentro deste REPL. Recebe metadados sobre $P$ (por exemplo, comprimento), mas não recebe o texto completo em sua janela de contexto.
3. Decomposição Programática: O LLM escreve código para inspecionar, decompor e transformar $P$. Crucialmente, pode invocar um sub-LLM (ou sub-RLM) programaticamente em fatias ou blocos específicos da variável do prompt.
4. Execução Recursiva: O sistema executa o código gerado. Resultados intermediários são armazenados em variáveis do REPL. O LLM observa iterativamente a saída dessas execuções (truncadas para caber no contexto) e gera mais código até que uma resposta final seja produzida.
5. Terminação: O processo para quando o LLM define uma variável Final no REPL, que é retornada como a resposta.

Escolhas de Design Chave

Os autores distinguem os RLMs de andaimagens "ineficazes" (Algoritmo 2 no artigo) através de três escolhas de design críticas:

• Alças Simbólicas: O prompt é uma variável no ambiente, não texto na janela de contexto, permitindo manipulação sem cópia.
• Saída Indireta: O modelo não gera a resposta final diretamente através de uma ação "Concluir" (que seria limitada pelo tamanho da janela de contexto), mas a constrói via variáveis no REPL.
• Recursão Simbólica: O código executado no ambiente pode invocar programaticamente o LLM sobre transformações de $P$ dentro de loops, permitindo trabalho semântico de $\Omega(|P|)$ ou até $\Omega(|P|^2)$, em vez de apenas verbalizar algumas subtarefas.

Configuração Experimental

Os autores avaliaram os RLMs usando modelos fechados de fronteira (GPT-5) e modelos abertos (Qwen3-Coder-480B-A35B) em quatro tarefas com escalas de complexidade variadas:

• S-NIAH (Agulha Única no Palheiro): Complexidade constante em relação ao comprimento de entrada.
• BrowseComp-Plus: QA multissalto sobre 1.000 documentos (complexidade linear).
• OOLONG: Rotulagem semântica e agregação de um conjunto de dados (complexidade linear).
• OOLONG-Pares: Agregação de pares de blocos para construir respostas (complexidade quadrática).
• LongBench-v2 CodeQA: Compreensão de repositórios de código.

As linhas de base incluíram chamadas diretas de LLM, agentes CodeAct (com/sem subchamadas), agentes de compactação de contexto, agentes de recuperação e agentes de codificação (OpenCode, Claude Code).

Resultados Chave

• Escalabilidade: Os RLMs processaram com sucesso entradas superiores a 10 milhões de tokens, muito além das janelas de contexto dos modelos base (por exemplo, limite de 272k do GPT-5).
• Ganhos de Desempenho:
  • Em OOLONG-Pares (complexidade quadrática), os modelos base alcançaram desempenho próximo de zero ($\le 0,1\%$ F1), enquanto os RLMs alcançaram 58,0% (GPT-5) e 23,1% (Qwen3-Coder).
  • Em todos os benchmarks, os RLMs superaram os modelos base e andaimagens comuns por margens significativas (por exemplo, +26% mediano sobre compactação, +130% sobre CodeAct com subchamadas no GPT-5).
  • Os RLMs demonstraram robustez à "decomposição de contexto", mantendo o desempenho à medida que o comprimento de entrada aumentava, enquanto o desempenho do modelo base degradava-se acentuadamente.
• Eficiência de Custos: Os custos de inferência para RLMs foram comparáveis ou mais baratos do que chamadas de modelos base e outras andaimagens, apesar da sobrecarga de múltiplas subchamadas.
• Ajuste Fino: Um experimento em pequena escala ajustou finamente o RLM-Qwen3-8B em 1.000 trajetórias destiladas de um modelo maior. Este modelo superou o Qwen3-8B base por uma mediana de 28% e aproximou-se da qualidade do GPT-5 vanilla em três tarefas de contexto longo, demonstrando que o comportamento RLM pode ser aprendido com dados mínimos.
• Capacidades de Raciocínio: No benchmark LongCoT-mini, RLMs com dicas de decomposição melhoraram as taxas de resolução em 69,5% sobre o modelo base, orquestrando efetivamente grafos de raciocínio complexos.

Significado e Alegações

O artigo alega que os RLMs representam um novo eixo de escalabilidade para modelos de linguagem, distinto do aumento de parâmetros do modelo ou dos tamanhos de janela de contexto. Ao tratar o prompt como um objeto externo e permitir recursão simbólica, os RLMs superam as limitações de poder expressivo dos Transformers padrão e das andaimagens de agentes existentes.

As alegações principais incluem:

1. Escalabilidade Agnóstica à Tarefa: Os RLMs fornecem um quadro geral para lidar com entradas arbitrariamente longas sem engenharia específica para a tarefa.
2. Eficiência: O paradigma permite processamento denso de contextos longos a custos comparáveis à inferência padrão.
3. Treinabilidade: Os autores fornecem evidências iniciais de que modelos podem ser explicitamente treinados para atuar como RLMs, sugerindo que "raciocinar como RLM" poderia ser uma capacidade treinável que melhora o desempenho geral e a eficiência.
4. Limitações: Os autores reconhecem limitações atuais, incluindo a natureza sequencial de sua implementação (levando a alta latência), a fragilidade em distinguir respostas finais de pensamentos em modelos não treinados e o potencial de custos de subchamadas "explodirem" se não gerenciados. Eles notam que execução assíncrona e REPLs em sandbox são direções futuras para otimização.

O trabalho conclui que os RLMs oferecem um caminho promissor para modelos de linguagem de propósito geral capazes de lidar com tarefas de horizonte longo envolvendo dezenas ou centenas de milhões de tokens.