Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget

Resumo Técnico: Compressão de Contexto Não é Uma Coisa Só

Definição do Problema
Pequenos modelos de linguagem (SLMs) enfrentam uma tensão crítica em tarefas de resposta a perguntas (QA) de múltiplos saltos (multi-hop). O contexto de linguagem natural (NL) recuperado é caro em termos de tokens e propenso ao acúmulo de erros em passagens longas, mas estratégias de recuperação curtas frequentemente descartam as "entidades de ponte" necessárias para o raciocínio de múltiplas etapas. As abordagens típicas de compressão de contexto anterior baseiam-se em pontuação ao nível de token (retenção seletiva), sumarização de estado oculto (compressão de espaço latente) ou sumarização abstrativa orientada à tarefa. Esses métodos geralmente se comprometem com o descarte de conteúdo ou com a compressão em representações latentes, em vez de reexpressar o texto de superfície em um formato mais eficiente.

Metodologia: Inglês Telegráfico (TE - Telegraph English)
Os autores propõem o Inglês Telegráfico (TE), um formato de reexpressão simbólica e legível projetado para preservar evidências de raciocínio com um custo de token menor.

• Mecanismo: Um modelo codificador congelado (Claude Sonnet 4.6) reescreve as passagens de NL recuperadas em um formato estruturado onde as entidades são preservadas literalmente, e o "tecido" conectivo de NL é substituído por operadores simbólicos separados por barras (ex: @nasceu, @capital_de).
• Consumidor: Um modelo consumidor pequeno (Qwen-3.5-9B) lê diretamente a saída de TE. O codificador utiliza um prompt fixo e agnóstico à tarefa, e o consumidor não requer ajuste fino (fine-tuning).
• Design Experimental: O estudo avalia o TE em três benchmarks de múltiplos saltos (MuSiQue, 2Wiki, HotpotQA) contra um conjunto rigoroso de baselines:
  1. Controles de Orçamento Correspondente: Três métodos de compressão "triviais" redimensionados para corresponder exatamente ao número de tokens por linha do TE: manipulação de densidade ao nível de caractere, truncamento final e subamostragem aleatória de tokens.
  2. Comparador de Prosa Coerente: Um resumo gerado pelo mesmo codificador e truncado para o mesmo orçamento de tokens.
  3. Baselines de Referência (Landmark): Contexto de NL completo e LLMLingua-2 (um baseline de pontuação de token).
• Teste de Hipótese: Os autores pré-registraram uma hipótese primária de que a vantagem do TE sobre o NL cresceria com a profundidade do raciocínio (número de saltos). Eles também testaram o mecanismo auxiliar de que a vantagem do TE advém da compressão da redundância, em vez de apenas remover tokens.

Principais Resultados

• Superioridade de Orçamento Correspondente: O TE superou todos os três controles triviais de orçamento correspondente em todos os datasets. Os ganhos variaram de +13,6 a +20,2 pontos de F1 (intervalos de confiança de 95% estritamente positivos). Isso descarta explicações baseadas em densidade de caracteres, dispensabilidade de caudas de NL ou suficiência de subconjuntos aleatórios de tokens.
• Comparação com Prosa Coerente: No dataset mais difícil (MuSi Que), o TE superou o resumo de prosa coerente de orçamento correspondente em +11,94 pontos de F1. Os autores atribuem isso à maior "densidade de entidades" do TE; em orçamentos apertados, o truncamento de prosa coerente descarta entidades de ponte críticas, enquanto a estrutura simbólica do TE reserva tokens para o conteúdo portador de entidades.
• Nulidade de Interação de Profundidade: A hipótese pré-registrada de que a vantagem do TE cresce com a profundidade do racínio foi nula. A análise estatística não mostrou interação significativa entre o tipo de representação e o número de saltos (FDR-corrigido $p > 0,41$). A vantagem parece ser um deslocamento constante (offset) em vez de um efeito de escala de profundidade. Uma análise de tamanho de efeito mínimo detectável indica que o estudo teve poder para descartar alargamentos de aproximadamente 4 a 5 pontos de F1 entre os níveis, mas não pôde distinguir efeitos menores de zero.
• Replicação em Multi-Arquitetura: O mecanismo de orçamento correspondente foi replicado em uma segunda família de consumidores (Mistral-7B), produzindo ganhos positivos consistentes em direção, embora as comparações de orçamento total tenham sido limitadas pelas restrições da janela de contexto.

Significância e Alegações
O artigo afirma que a reexpressão simbólica legível é um mecanismo de compressão distinto e eficaz, separado da retenção ou da sumarização latente.

• Argumento de Densidade: A principal contribuição é a demonstração de que o TE preserva o conteúdo de entidades de forma mais densa do que a linguagem natural ou a sumarização coerente em orçamentos de tokens correspondentes. Ao substituir o tecido conectivo por operadores simbólicos, o TE garante que cada token no contexto comprimido carregue informação portadora de entidades.
• Isolamento de Mecanismo: O estudo isola o mecanismo de "reexpressão" das estratégias de compressão triviais. Os resultados sugerem que a vantagem do TE não se deve meramente à redução de tokens, mas à reformatação estrutural específica que mantém as entidades de ponte literalmente.
• Escopo Modesto: Os autores observam explicitamente que a nulidade da interação de profundidade implica que o benefício do TE é um deslocamento constante, não uma vantagem de escala para raciocínios mais profundos. Além disso, o uso de um codificador de fronteira (Claude Sonnet 4.6) deixa em aberto a questão de se codificadores menores podem alcançar densidade semelhante sem condicionamento de entidade órfão (oracle conditioning), uma questão abordada apenas parcialmente em um estudo piloto usando um modelo de 0.8B com condicionamento órfio.

O trabalho conclui que, para pequenos modelos de linguagem, a compressão de contexto não é uma tarefa monolítica; o método específico de reexpressão (simbólico vs. prosa vs. truncamento) altera fundamentalmente a densidade de informação disponível para o modelo consumidor.