Resumo Técnico: LongAttnComp

Declaração do Problema

À medida que os grandes modelos de linguagem (LLMs) são cada vez mais implantados em aplicações do mundo real que exigem o processamento de entradas excedendo 100.000 tokens, um gargalo crítico surgiu entre o comprimento do contexto e a eficiência da inferência. Embora a compressão de contexto ofereça uma solução ao filtrar ou condensar a entrada antes que ela chegue ao modelo alvo, os métodos existentes baseados em atenção e sem treinamento (como o Speculative Prefill) exibem lacunas substanciais de desempenho em tarefas exigentes de contexto longo, particularmente em raciocínio de código. Além disso, abordagens anteriores de ajuste fino (fine-tuning) como o AttnComp foram estritamente limitadas ao QA com recuperação aumentada (retrieval-augmented QA) com contextos curtos (~12k tokens) e pontuação de nível de documento, deixando seu potencial como compressores de contexto de propósito geral não testado.

Os autores enquadram o desempenho de tarefas de contexto longo como uma decomposição de recuperação (localizar evidências relevantes para a consulta) e raciocínio (inferir respostas a partir dessas evidências). Eles identificam a recuperação como o principal gargalo, argumentando que a compressão de contexto eficaz é fundamentalmente um problema de recuperação que exige a identificação de tokens e segmentos relevantes dentro de entradas massivas.

Metodologia: LongAttnComp

O LongAttnComp é um framework de compressão treinável, orientado por um modelo de rascunho (draft-model-driven), adaptado do AttnComp. Ele mantém o mecanismo central de um backbone de LLM congelado aumentado por uma camada de pontuação de atenção cruzada (cross-attention) treinável, mas introduz quatro adaptações arquiteturais principais e uma receita de ajuste fino em duas etapas para lidar com a inferência de contexto longo.

Adaptações Arquiteturais

1. Fragmentação por Nível de Token (Token-Level Chunking): Diferente da pontuação de nível de documento do AttnComp, o LongAttnComp particiona as entradas em fragmentos (chunks) de tamanho fixo. Isso permite a operação em entradas do mundo real (ex: documentos longos únicos ou bases de código) que carecem de fronteiras naturais de documentos e trata o tamanho do fragmento como um hiperparâmetro ajustável.
2. Seleção Top-p por Orçamento de Tokens (Token-Budget Top-p Selection): O algoritmo original de limiar de pontuação top-$p$ é modificado para incluir um orçamento de tokens de conteúdo ($B$). A seleção para quando o escore cumulativo excede $p$ ou quando os tokens retidos atingem $B$. Isso proporciona controle previsível sobre o comprimento da compressão, evitando a retenção agressivamente baixa vista em tarefas de contexto longo com o limiar de pontuação mínima original.
3. Reordenação Posicional: Os fragmentos de tokens selecionados são restaurados à sua ordem posicional original antes de serem passados para o modelo alvo, preservando a coerência do discurso, o que o AttnComp original não garantia.
4. Analisador de Consulta Agnóstico ao Formato: Para lidar com estruturas de prompt complexas sem templates fixos (ex: Code-Debug), o sistema utiliza um analisador de consulta. Os autores avaliam tanto a extração precisa de trechos quanto uma estratégia "arbitrária" (alocando os últimos $N$ tokens como a consulta), descobrindo que esta última é robusta com degradação mínima de desempenho.

Receita de Ajuste Fino em Duas Etapas

Os autores propõem uma abordagem de aprendizado por currículo para ampliar a cobertura de tarefas:

• Etapa 1 (Fundação): Treina em um conjunto de dados de larga escala (32k exemplos) combinando SQuAD e HotpotQA. Isso estabelece uma fundação de recuperação geral usando dados do tipo NIAH (recuperação de fato único e multi-salto básica).
• Etapa 2 (Extensão): Continua o treinamento a partir do checkpoint da Etapa 1 em um conjunto de dados que visa padrões de recuperação mais difíceis, incluindo MuSiQue e 2WikiMultiHopQA, intercalados com a repetição dos dados da Etapa 1 para evitar o esquecimento catastrófico. Esta etapa testa especificamente o impacto da decomposição de subpergunta (incluindo explicitamente as subperguntas fornecidas pelo dataset na consulta) versus o uso apenas da pergunta de múltiplos saltos.

Principais Contribuições

1. Framework LongAttnComp: Um framework de compressão modular e treinável adaptado para inferência de contexto longo, apresentando fragmentação por nível de token, um algoritmo top-$p$ de orçamento de tokens, reordenação posicional e um analisador de consulta agnóstico ao formato.
2. Receita de Treinamento em Duas Etapas: Uma metodologia que estende a cobertura de tarefas de um compressor e fortalece as capacidades de raciocínio multi-salto sem comprometer suas forças iniciais de recuperação.
3. Validação Empírica:
   • O LongAttnComp iguala ou excede a precisão de contexto total no InfiniteBench Code-Debug.
   • Supera substancialmente os baselines sem treinamento (ex: Speculative Prefill).
   • Demonstra generalização entre famílias de modelos, transferindo efetivamente para quatro modelos alvo de três famílias diferentes (DeepSeek, MiniMax, GPT-OSS) sem retreinamento.
   • A receita de duas etapas fecha significativamente a lacuna de desempenho em tarefas de raciocínio multi-documento (LongBench v2) enquanto preserva o desempenho de raciocínio de código.

Resultados

• Raciocínio de Código (InfiniteBench Code-Debug): No alvo DeepSeek-R1-0528, o compressor da Etapa 1 alcançou 75,38% de precisão, superando o baseline de contexto total (74,37%) e o Speculative Prefill sem treinamento (62,44%). A variante da Etapa 2 (subq) atingiu 76,90%. Tendências semelhantes foram observadas no DeepSeek-V3.1, MiniMax-M2.5 e GPT-OSS-120B, onde o LongAttnComp superou consistentemente o Speculative Prefill em 7 a 31 pontos.
• Raciocínio Multi-Documento (LongBench v2): A Etapa 1 teve desempenho inferior ao baseline de contexto total, refletindo as limitações dos dados de treinamento do tipo NIAH para raciocínio naturalista. O treinamento da Etapa 2 recuperou de 7 a 12 pontos sobre a Etapa 1, superando o Speculative Prefill e ficando a apenas 1,4 pontos do baseline de contexto total truncado em 100k.
• Benchmark RULER: O LongAttnComp recuperou a precisão em subtarefas que sofrem efeitos de "perdido no meio" (lost-in-the-middle, ex: recuperação de agulha única), mas mostrou limitações esperadas em tarefas onde a evidência está distribuída por muitas posições (multi-valor/multi-consulta), consistente com a distribuição dos dados de treinamento.

Significância e Alegações

O artigo afirma que o LongAttnComp demonstra que a sensibilidade à tarefa na compressão reflete a composição dos dados de treinamento, e não limites arquiteturais. A lacuna de desempenho observada na Etapa 1 em tarefas de raciocínio complexo não se deveu à incapacidade do modelo de aprender, mas sim à falta de padrões de treinamento diversos e naturalistas. Ao introduzir a Etapa 2 com dados multi-salto e naturalistas, os autores mostram que um único arquiteto de atenção cruzada pode ser estendido para lidar com tarefas complexas de raciocínio de contexto longo.

Os autores enfatizam que o compressor atua como um passo de pré-processamento agnóstico ao alvo, capaz de transferir entre famílias de modelos não relacionados sem retreinamento. Eles também observam que os hiperparâmetros de inferência (tamanho do fragmento, modo de seleção) dependem da tarefa, sugerindo que implantações futuras podem exigir mecanismos adaptativos para tipos de tarefas desconhecidos. Finalmente, o artigo postula que o custo computacional do LongAttnComp é aproximadamente um terço do Speculative Prefill, pois utiliza apenas as primeiras 13 camadas do modelo de rascunho em vez do backbone completo.