Resumo Técnico: Telegraph English (TE)

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados em geração aumentada por recuperação (RAG), orquestração multiagente e raciocínio de contexto longo, a escala linear dos custos de entrada com a contagem de tokens tornou a compressão de prompts uma alavanca crítica para controlar latência e despesas. As abordagens existentes dividem-se em duas categorias: métodos extrativos (seleção de subconjuntos de tokens/frases) e métodos abstrativos (paráfrase/resumo).

A linha de base atual do estado da arte, LLMLingua-2, emprega um classificador para deletar tokens de baixa importância em uma taxa fixa. No entanto, essa abordagem de deleção de tokens sofre de limitações estruturais:

1. Taxa Fixa: Comprime entradas densas e verbosas na mesma taxa, ignorando a densidade de informação.
2. Danos Estruturais: Deletar tokens pode romper cadeias de co-referência e destruir conectivos lógicos, forçando modelos a jusante a alucinar relações entre fragmentos sobreviventes.
3. Falta de Estrutura: A saída é uma cópia degradada da entrada, carecendo da organização interna necessária para indexação, poda seletiva ou atualizações dinâmicas.
4. Limitação de Pipeline: Atua apenas como um pré-processador de entrada; a saída gerada passa descomprimida para estágios subsequentes do pipeline, impedindo economias compostas em sistemas de agentes multi-etapa.

Metodologia: Telegraph English (TE)

Os autores propõem o Telegraph English (TE), um protocolo de compressão de prompts que reescreve a linguagem natural em um dialeto rico em símbolos e formalmente estruturado, em vez de deletar tokens.

Princípios Centrais

A gramática do TE (versão 5) é governada por quatro princípios em ordem de prioridade estrita:

1. Fidelidade sobre Brevidade: Nenhuma informação é descartada, a menos que seja inferível do restante.
2. Estrutura de Linha Atômica: Cada linha de saída contém exatamente uma afirmação, etapa, evento ou questão.
3. Convenções de Maiúsculas/Minúsculas: Maiúsculas padrão, exceto para nomes próprios, código e símbolos do SI.
4. Compressão Adaptativa: Alvo de ~5× de compressão onde viável, mas correção e auditabilidade têm precedência sobre a redução de tokens.

Gramática e Simbolismo

O TE utiliza um vocabulário fixo de aproximadamente 40 símbolos lógicos e relacionais (por exemplo, → para causalidade, ∴ para conclusão, VS para contraste, ↑/↓ para aumento/diminuição). Esses símbolos substituem frases verbosas (por exemplo, "aplicação de... resultou em" torna-se →).

• Tags: Um sistema de marcação (por exemplo, PAST:, LIKELY:, AGENT:, CTX:) colapsa enquadramentos sintáticos verbosos em tokens únicos, fornecendo alças estruturais para recuperação.
• Convenções de Domínio: Formatos padronizados para quantidades, citações, dados financeiros e URLs para prevenir erros factuais.

Processo de Compressão

O compressor é um LLM (especificamente o o4-mini da OpenAI nos experimentos) guiado por um prompt de sistema de 430 linhas que inclui:

• Autoverificação: Uma lista de verificação de qualidade de 12 pontos embutida no prompt para garantir consistência de formatação e preservação de informação.
• Sequência de Destilação: Uma ordem de raciocínio de seis passagens (identificação de conceitos → extração de afirmações → mapeamento de relações → eliminação de redundância → verificação numérica → conferência cruzada de citações) executada dentro de uma única chamada de inferência.

Princípio "Comprimir Uma Vez, Gerenciar Continuamente"

Uma característica arquitetônica única do TE é que compressão e fragmentação semântica são a mesma operação. Como cada linha de saída é um fato atômico, a representação comprimida é simultaneamente um índice semântico. Isso permite:

• Recuperação Seletiva: Consultas recuperam linhas específicas e seus escopos sem fragmentação heurística.
• Compressão Graduada na Leitura: Sistemas podem reter fidelidade total para linhas relevantes enquanto descartam seções irrelevantes inteiramente.
• Refinamento Contínuo de Estado: Fatos podem ser atualizados, mesclados ou podados in loco sem reexecutar o compressor.

Configuração Experimental

• Conjunto de Dados: 4.081 pares de pergunta-resposta derivados de 339 documentos de contexto longo no LongBench-v2 (QA de Documento Único, QA de Múltiplos Documentos, Histórico de Diálogo Longo).
• Linhas de Base: Comparado contra LLMLingua-2 com taxas de retenção de 50% e 33%.
• Modelos Avaliados: Cinco modelos da OpenAI (GPT-4.1, GPT-4o, GPT-4o-mini, GPT-4.1-nano e uma variante ajustada).
• Suites de Avaliação:
  • Fatos Principais: 4.081 pares direcionados a conceitos centrais e afirmações principais.
  • Fatos Detalhados: 801 pares adversariais direcionados a qualificadores numéricos precisos, declarações condicionais e condições de fronteira.

Resultados Principais

1. Preservação de Precisão

• Fatos Principais: Com redução de tokens de aproximadamente 50%, o TE preserva 99,1% de precisão no GPT-4.1 (uma queda de apenas 0,9 pontos percentuais), superando ligeiramente o LLMLingua-2 (0,990).
• Fatos Detalhados: O TE demonstra uma vantagem significativa em tarefas intensivas em detalhes. No GPT-4o-mini, o TE cai 9,5 pontos percentuais em comparação com o original, enquanto o LLMLingua-2 cai 11,8 pontos.
• Vantagem em Modelos Pequenos: A lacuna de desempenho amplia-se em modelos menores. Em tarefas de detalhes finos com GPT-4o-mini, o TE supera o LLMLingua-2 em até 11 pontos percentuais quando comparado em taxas de compressão equivalentes.

2. Estatísticas de Compressão

• A taxa média de compressão é 0,585 (redução de 41,5%), mas é adaptativa. Documentos técnicos densos resistem à compressão (taxa próxima a 1,0), enquanto texto narrativo verboso alcança taxas de 5:1.
• Diferentemente da deleção de tokens, o TE não força uma taxa fixa; a fidelidade é a restrição primária.

3. Custo em Nível de Pipeline

Em um pipeline simulado de agente de cinco etapas, a capacidade do TE de persistir como formato nativo através das etapas gera economias substanciais. Enquanto o LLMLingua-2 comprime apenas a entrada inicial, o TE reduz a contagem total de tokens para um lote de 1.000 chamadas de ~4.000 tokens (Original) para ~1.600 tokens, resultando em uma redução de custo de 60% em comparação com o original e uma redução de 36% em comparação com o LLMLingua-2.

Significado e Alegações

O artigo argumenta que a reescrita semântica estruturada é uma alternativa superior à deleção de tokens para compressão de prompts, particularmente em cenários de implantação prática.

• Integridade Estrutural: O TE não apenas encolhe o texto; reorganiza-o em um formato estruturado e auditável onde as relações são explicitamente marcadas por símbolos em vez de implícitas pelo contexto.
• Compensação de Capacidade: A estrutura relacional explícita compensa a capacidade limitada do modelo. Modelos menores, que lutam para reconstruir relações implícitas a partir de texto fragmentado, beneficiam-se mais da saída pré-estruturada do TE.
• Gerenciamento Dinâmico: Ao unificar compressão e fragmentação, o TE permite um fluxo de trabalho "comprimir uma vez, gerenciar continuamente", permitindo que fatos sejam recuperados e atualizados seletivamente sem novas chamadas de LLM.
• Limitações: Os autores reconhecem que o TE requer uma chamada de LLM por fragmento (adicionando latência/custo no momento da compressão), depende de modelos proprietários de avaliação e atualmente é limitado ao inglês. Além disso, a capacidade de "gerenciar continuamente" é apresentada como um argumento arquitetônico em vez de um resultado empiricamente benchmarkado em sessões de múltiplas voltas.

Em conclusão, o Telegraph English demonstra que preservar a estrutura da informação através da reescrita simbólica produz melhor desempenho a jusante e utilidade operacional do que simplesmente deletar tokens, especialmente para modelos menores e tarefas que exigem detalhes de alta fidelidade.