Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors

Resumo Técnico: "Toda vez que contrato um linguista, os custos de inferência diminuem: Sobre regras linguísticas como compressores de prompts eficazes"

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) enfrentam custos de inferência e latência crescentes ao processar aplicações de contexto longo, como Geração Aumentada por Recuperação (RAG), comunicação entre múltiplos agentes e diálogos de longo prazo. Os métodos atuais de "compressão de prompt rígida" (hard prompt compression), que podam tokens mantendo a legibilidade, baseiam-se predominantemente em pontuação de Modelos de Linguagem (LM) (ex: perplexidade, classificadores treinados ou sinais baseados em atenção) para determinar a importância dos tokens. Esta abordagem apresenta duas limitações críticas:

1. Sobrecarga Computacional: A pontuação baseada em LM exige passagens de forward pass durante a compressão, o que anula parte da economia de custo de inferência pretendida pela compressão.
2. Riscos de Granularidade: A seleção de nível de token baseada em pontuações opacas de modelos corre o risco de romper dependências sintáticas e a coerência semântica.

Os autores questionam se a pontuação de tokens finamente detalhada por modelos é necessária para uma compressão eficaz, propondo, em vez disso, que regras linguísticas determinísticas — há muito estudadas na linguística para identificar conteúdo informativo — poderiam servir como compressores eficazes sem exigir um forward pass de LM durante a implantação.

2. Metodologia

O artigo introduz um framework para descobrir compressores de prompt usando busca evolutiva offline sobre regras linguísticas explícitas.

• Construção de Sementes (Seed Construction): A população inicial consiste em 42 "sementes" que codificam regras determinísticas através de quatro níveis linguísticos:
  • Lexical: Distinções entre palavras de conteúdo e de função, preservação de entidades nomeadas e frequência de palavras (Lei de Zipf).
  • Sintático: Análise de estrutura de dependência para extrair triplas de argumentos centrais (ex: sujeito-verbo-objeto) e podar subárvores dispensáveis (ex: orações relativas, modificadores adjetivais).
  • Semântico: Preservação de marcadores de negação, verbos modais, quantificadores e construções comparativas.
  • Discurso: Posição da sentença, conectivos de discurso, cadeias de entidades e ranking de sentenças baseado em grafos.
  • Composto: Pipelines que encadeiam regras de múltiplos níveis.
• Busca Evolutiva: Os autores adaptam o AlphaEvolve para navegar no espaço combinatório dessas regras.
  • Processo: Um LLM atua como um "mutador", editando scripts Python que implementam a lógica de compressão. A busca é conduzida através de seis "ilhas" independentes com migração periódica para manter a diversidade.
  • Avaliação: Um protocolo de caminho duplo avalia os candidatos:
    1. Caminho Direto: O LLM receptor responde perguntas diretamente do texto comprimido.
    2. Caminho de Reconstrução: Um LLM de reconstrução expande o texto comprimido de volta para prosa, que é então alimentado ao LLM receptor.
  • Função de Aptidão (Fitness Function): $f = \min(D, R)$, onde $D$ é a precisão Direta e $R$ é a precisão de Reconstrução. Esta métrica conservadora garante que o compressor retenha informação suficiente tanto para a inferência direta quanto para a reconstrução fiel.
  • Restrições: A busca utiliza um sistema de filtragem em cascata (verificação sintática, QA grosseiro, QA estrito) para gerenciar o custo computacional. Crucialmente, os compressores evoluídos finais dependem exclusivamente de pipelines padrão de NLP (ex: spaCy) e não requerem nenhum forward pass de LM durante a implantação.

3. Resultados Principais

Os compressores evoluídos foram avaliados em quatro datasets (RACE, Qasper, Multi-doc QA, LongMemEval) em razões de compressão de 1.5×, 2.5×, 4× e 6×, comparados com oito baselines de última geração (ex: LLMLingua, PartPrompt, FrugalPrompt).

• Desempenho: Em configurações de documentos de médio a longo, os compressores linguísticos evoluídos alcançam desempenho semelhante às recentes estratégias avançadas de compressão de prompt.
  • Eles ocupam o primeiro ou segundo lugar em Qasper e Multi-doc QA em compressão leve a moderada (1.5×–2.5×).
  • O desempenho degrada conforme a compressão se torna agressiva (6×), onde a lacuna de granularidade entre as regras linguísticas fixas e a pontuação contínua de LM se torna mais pronunciada.
  • No RACE (passagens curtas), o método fica atrás de baselines mais fortes, provavelmente devido a um viés de treinamento para padrões de textos longos.
• Estabilidade: O método exibe baixa variabilidade entre modelos (medida pelo Coeficiente de Variação) no RACE e Multi-doc QA, indicando robustez entre diferentes LLMs receptores (Qwen, LLaMA, Gemma).
• Eficiência: Os compressores implantados rodam inteiramente em CPU com latência negligenciável (ex: ~8–33 ms por entrada) e baixa pegada de memória, contrastando fortemente com baselines que exigem inferência de LM baseada em GPU.
• Controlabilidade: Ao contrário dos baselines baseados em LM que frequentemente se desviam das razões de compressão alvo, a abordagem baseada em regras impõe orçamentos exatos de palavras, alcançando desvio quase nulo das razões pretendidas.
• Transferibilidade: Os compressores generalizam para tarefas fora da distribuição (OOD) (OOD QA, sumarização, classificação) sem re-evolução, performando competitivamente com os baselines mais fortes.

4. Insights Analíticos

A análise evolutiva revela padrões distintos de como a compressão eficaz é alcançada:

• Fusão de Níveis Cruzados: Os melhores compressores fundem consistentemente sinais de níveis léxico, sintático, semântico e de discurso, em vez de depender de um único nível.
• Mudança de Granularidade: À medida que a razão de compressão aumenta, a unidade dominante de compressão muda de poda de nível de token (em 1.5×) para extração de nível de sentença (em 6×).
• Evolução de Regras: A busca elimina certas regras teoricamente motivadas (ex: correspondência consciente de query, substituição de sinônimos) que se mostram redundantes na combinação final, enquanto retém sinais centrais como entidades nomeadas, negação e conectivos de discurso.

5. Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Framework: Introduz um dos primeiros frameworks de compressão de prompt centrados em regras linguísticas explícitas evoluídas via busca guiada por LLM, afastando-se de pontuações opacas dependentes de LM.
2. Achados Empíricos: Demonstra que compressores baseados em regras podem alcançar desempenho comparável a estratégias aprendidas avançadas em muitos cenários de documentos longos, oferecendo implantação computacionalmente eficiente (apenas CPU, sem forward pass) e alta estabilidade entre modelos.
3. Insights Analíticos: Fornece evidências de que a compressão eficaz requer a fusão de múltiplos níveis linguísticos e que a granularidade ideal muda de tokens para sentenças conforme os orçamentos de compressão ficam mais apertados.

Os autores mantêm uma postura modesta, reconhecendo limitações como a dependência de parsers específicos para o inglês (spaCy), a falta de uma busca exaustiva sobre todas as possíveis regras linguísticas e a assimetria nos orçamentos de otimização em comparação aos baselines treinados em dados gerais. Eles concluem que, embora as regras linguísticas sozinhas possam não dominar universalmente os métodos aprendidos sob compressão extrema, elas oferecem uma alternativa altamente interpretável e leve para aplicações de contexto longo.