Resumo Técnico: Gerenciamento de Contexto sem Perdas (LCM)

Declaração do Problema

O principal gargalo para tarefas agênicas complexas e de longo horizonte permanece a janela de contexto efetiva dos Modelos de Linguagem de Grande Porte (LLMs). Mesmo modelos com janelas nominais superiores a 1 milhão de tokens lutam com sessões de vários dias, onde o volume de chamadas de ferramentas, conteúdos de arquivos e raciocínio intermediário excede a capacidade. Isso é agravado pela "podridão de contexto", onde o desempenho degrada-se significativamente antes que o limite rígido de tokens seja atingido.

Trabalhos anteriores, especificamente Modelos de Linguagem Recursivos (RLMs), propuseram que os modelos deveriam gerenciar ativamente seu próprio contexto via recursão simbólica (por exemplo, escrevendo scripts para dividir e processar seus próprios prompts). Embora os RLMs demonstrassem a viabilidade do gerenciamento ativo de contexto, eles herdam a estocasticidade do modelo: uma estratégia de memória que funciona em uma execução pode falhar na próxima. Além disso, envolver cada interação em uma estrutura recursiva introduz latência e custo ("penalidade de contexto curto") para tarefas que cabem dentro das janelas padrão. Existe uma tensão entre a expressividade do fluxo de controle gerado pelo modelo e a confiabilidade exigida para sistemas de produção.

Metodologia: Gerenciamento de Contexto sem Perdas (LCM)

O LCM propõe uma alternativa determinística e centrada na arquitetura à abordagem centrada no modelo dos RLMs. Em vez de pedir ao modelo para inventar estratégias de memória, o LCM transfere o ônus da arquitetura de memória para o motor, fornecendo uma infraestrutura determinística baseada em banco de dados. O sistema é construído sobre dois pilares centrais: Compressão de Contexto Recursiva e Particionamento de Tarefas Recursivo.

1. Arquitetura de Memória de Duplo Estado

O LCM garante recuperabilidade sem perdas através de um design de duplo estado:

• O Armazenamento Imutável: Um armazenamento persistente e transacional (por exemplo, PostgreSQL) onde cada mensagem do usuário, resposta do assistente e resultado de ferramenta é persistido literalmente e nunca modificado. Esta é a fonte da verdade.
• O Contexto Ativo: A janela enviada ao LLM em cada turno, montada a partir de mensagens brutas recentes e nós de resumo pré-computados.

Os nós de resumo funcionam como visualizações materializadas derivadas de mensagens mais antigas via sumarização por LLM. Crucialmente, o sistema retém "ponteiros sem perdas" para os dados originais. Se um resumo for insuficiente, a ferramenta lcm_expand permite que o agente recupere o conteúdo original literalmente. Para evitar inundação de contexto, o lcm_expand é restrito a subtarefas, enquanto o loop de interação principal observa apenas resumos.

2. DAG Hierárquico e Loop de Controle

A estrutura de dados central é um Grafo Acíclico Direcionado (DAG) de resumos. À medida que o contexto ativo se enche, mensagens mais antigas são compactadas em nós de resumo, enquanto os originais são preservados.

• Loop de Controle Determinístico: O motor gerencia a compactação usando limites de tokens suaves ($\tau_{soft}$) e rígidos ($\tau_{hard}$).
• Continuidade de Custo Zero: Abaixo de $\tau_{soft}$, nenhuma sumarização ocorre; o sistema atua como um log passivo, incorrendo em nenhuma sobrecarga. A compactação é acionada assincronamente quando os limites são excedidos, trocando resumos no contexto entre os turnos do LLM.
• Escalonamento de Três Níveis: Para garantir convergência e prevenir "falha de compactação" (onde um resumo é mais longo que a entrada), o LCM emprega um protocolo estrito de escalonamento:
  1. Normal: Sumarização por LLM preservando detalhes.
  2. Agressivo: Sumarização por LLM em tópicos com alvos de tokens reduzidos.
  3. Fallback Determinístico: Uma truncagem não-LLM para um limite fixo de tokens (por exemplo, 512 tokens).

3. Manipulação de Arquivos Grandes

Para arquivos que excedem os limites de contexto (por exemplo, logs grandes ou conjuntos de dados), o LCM não carrega o conteúdo completo. Em vez disso, armazena uma referência (caminho, ID) e um Resumo de Exploração pré-computado. Este resumo é gerado por um dispatcher consciente de tipo (extração de esquema para dados estruturados, análise estrutural para código, resumo por LLM para texto), permitindo que o modelo raciocine sobre o arquivo sem carregá-lo. IDs de arquivo são propagados através do DAG de resumos, garantindo que o modelo mantenha a consciência dos arquivos encontrados mesmo após múltiplos rounds de compactação.

4. Recursão no Nível do Operador

O LCM substitui loops escritos pelo modelo por primitivas gerenciadas pelo motor:

• LLM-Map: Processa uma lista de itens em paralelo via chamadas de LLM sem estado (por exemplo, classificação, extração).
• Agentic-Map: Inicia sessões de sub-agentes completos para cada item, adequado para raciocínio multi-etapa ou uso de ferramentas.
• Garantias: O motor trata iteração, concorrência, retentativas e validação de esquema. As saídas são armazenadas em arquivos JSONL externos, prevenindo poluição de contexto.
• Invariante de Redução de Escopo: Para prevenir loops infinitos de delegação, um sub-agente deve declarar o trabalho que retém versus o que delega. Se um agente tentar delegar toda a sua responsabilidade, o motor rejeita a chamada. Esta garantia estrutural assegura a terminação sem limites de profundidade arbitrários.

Contribuições Principais

1. Mudança Arquitetural: O LCM move o gerenciamento de contexto de um processo estocástico e gerado pelo modelo (RLM) para um processo determinístico e gerenciado pelo motor. Isso espelha a mudança histórica de instruções GOTO irrestritas para fluxo de controle estruturado em linguagens de programação.
2. Recuperabilidade sem Perdas: Diferentemente do RAG ou janelas deslizantes, o LCM garante que qualquer estado anterior possa ser recuperado literalmente via o armazenamento imutável, independentemente de quantas vezes o contexto tenha sido comprimido.
3. Continuidade de Custo Zero: A arquitetura não incorre em sobrecarga de latência ou custo para tarefas curtas que cabem dentro da janela de contexto nativa, abordando uma ineficiência chave em estruturas recursivas.
4. Convergência Determinística: O protocolo de escalonamento de três níveis e a invariante de redução de escopo fornecem garantias matemáticas contra falha de compactação e recursão infinita, respectivamente.

Resultados

Os autores avaliaram o LCM (implementado no agente Volt) contra o Claude Code (v2.1.4) e o Opus 4.6 bruto no benchmark OOLONG (especificamente a partição trec_coarse), testando comprimentos de contexto de 8K a 1 milhão de tokens.

• Desempenho: O Volt (LCM) alcançou uma pontuação absoluta média de 74,8, superando o 70,3 do Claude Code em 4,5 pontos.
• Sensibilidade ao Comprimento do Contexto:
  • < 32K tokens: Volt e Claude Code performaram comparavelmente, com o Claude Code mantendo uma ligeira vantagem em comprimentos mais curtos.
  • > 32K tokens: O Volt consistentemente superou o Claude Code. A lacuna ampliou-se significativamente no regime ultra-longo:
    • Em 256K tokens: Volt liderou por 10,0 pontos.
    • Em 512K tokens: Volt liderou por 12,6 pontos.
    • Em 1M tokens: Volt liderou por 4,3 pontos.
• Degradação da Linha de Base: Opus 4.6 bruto, sem estrutura, mostrou degradação acentuada além de 65K tokens, caindo abaixo de uma pontuação de 20 nos maiores comprimentos.
• Mecanismo: A vantagem de desempenho é atribuída ao uso do LCM de LLM-Map para agregação paralela, o que evita a saturação de contexto. Em contraste, o Claude Code confia no modelo para devisar estratégias de divisão, o que introduz variância de erro e carga cognitiva à medida que o contexto cresce.

Significado e Alegações

O artigo afirma que o LCM representa uma vindicacão e extensão do paradigma recursivo pioneiro pelos RLMs. Ele demonstra que a manipulação recursiva de contexto pode superar não apenas LLMs convencionais, mas também agentes de codificação de fronteira com acesso nativo ao sistema de arquivos (como o Claude Code).

Os autores argumentam que o LCM oferece uma troca superior para ambientes de produção:

• Confiabilidade sobre Flexibilidade: Ao sacrificar a flexibilidade máxima de loops escritos pelo modelo, o LCM ganha garantias de terminação, continuidade de custo zero e recuperabilidade de estado sem perdas.
• Viabilidade de Produção: As primitivas determinísticas permitem a implantação imediata de arquiteturas de contexto infinito sem esperar que os modelos dominem a meta-habilidade de gerenciar sua própria memória.
• Complementaridade: Os autores sugerem que LCM e RLM não são mutuamente exclusivos; um sistema futuro poderia usar por padrão os operadores estruturados do LCM para casos comuns, enquanto retém a recursão simbólica estilo RLM para tarefas excepcionais que exigem flexibilidade máxima.

O artigo conclui que a visão "Centrada na Arquitetura" (fornecendo primitivas estruturadas) gera vantagens de confiabilidade e custo para cargas de trabalho de agregação de produção, particularmente à medida que os comprimentos de contexto escalam além das capacidades das janelas de modelos brutos atuais.