Resumo Técnico: CAVEWOMAN – Como Grandes Modelos de Linguagem se Comportam sob Compressão Linguística de Entrada e Saída

Definição do Problema

Os custos de inferência para Grandes Modelos de Linguagem (LLMs) escalam tanto com a contagem de tokens de entrada quanto de saída, sendo que os tokens de saída são tipicamente precificados de 4 a 8 vezes mais caro que os de entrada. Embora existam métodos de compressão para reduzir tanto o prompt (entrada) quanto a resposta (saída), eles são tradicionalmente avaliados de forma isolada usando uma única métrica: a precisão da tarefa em uma contagem reduzida de tokens.

Este artigo identifica duas falhas críticas nos protocolos de avaliação existentes:

1. Falha em medir o custo realizado: Um prompt mais curto não reduz necessariamente o custo total de inferência se o modelo compensar gerando uma resposta mais longa.
2. Colapso de precisão binário: Métricas de precisão padrão colapsam gerações em resultados binários, falhando em distinguir entre uma resposta comprimida que se alinha com o raciocínio não restrito do modelo e uma que diverge dele, embora ainda seja "correta".

Metodologia: O Protocolo CAVEWOMAN

Os autores introduzem o CAVEWOMAN, um protocolo de avaliação de dois canais projetado para pontuar cada geração em três eixos: precisão da tarefa, custo realizado por item e concordância com o texto de referência contra a própria geração não restrita do modelo.

Desenho Experimental

• Modelos: Oito modelos foram avaliados, incluindo modelos de pesos abertos (Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill-Qwen-7B, Gemma-4-E4B) e modelos de API (GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6).
• Datasets: Cinco benchmarks cobrindo quatro tipos de tarefas: GSM8K (matemática), BoolQ (booleano), ARC-Easy (ciências MCQ), CommonsenseQA (senso comum MCQ) e MMLU-STEM (STEM MCQ).
• Níveis de Compressão: Cinco níveis de redução linguística ($L_0$ a $L_4$) foram aplicados usando um filtro determinístico de Classe Gramatical (POS):
  • $L_0$: Linha de base não restrita.
  • $L_1$: Telegráfico (remove palavras de classe fechada como determinantes, preposições, conjunções).
  • $L_2$: Apenas palavras-chave (substantivos, verbos, números cardinais).
  • $L_3$: Esqueleto de frase nominal (substantivos e números cardinais).
  • $L_4$: Orçamento de 15 tokens.
• Duas Condições:
  • Condição A (Compressão de Entrada): O prompt do usuário é filtrado via filtro POS antes que o modelo o veja.
  • Condição B (Restrição de Saída): O prompt permanece intacto, mas o prompt de sistema instrui o modelo a gerar uma resposta no registro reduzido correspondente.

Métricas de Avaliação

1. Precisão da Tarefa: Respostas extraídas via regex comparadas com a verdade fundamental (ground truth).
2. Custo Realizado: Calculado como $C = n_{in} \cdot p_{in} + n_{out} \cdot p_{out}$, medindo o custo real de tokens incorrido.
3. Concordância com o Texto de Referência: Medida via inferência de linguagem natural (NLI) bidirecional de implicação contra a geração não restrita ($L_0$) do próprio modelo para o mesmo item. Isso é suplementado por 11 medidas semânticas complementares.
4. Tabela de Dissociação: Uma matriz 2x2 cruzando a correção da tarefa com a concordância do texto de referência para identificar casos onde as respostas são corretas, mas semanticamente divergentes da linha de base não restrita (Célula C2).

Principais Descobertas

1. Assimetria de Custo entre Canais

• Compressão de Saída (Condição B): Reduz com sucesso o custo realizado na maioria dos modelos de API (redução de 1.4–2.4× por modelo, até 3× no melhor caso) e em todos os quatro modelos de pesos abertos. Isso ocorre porque a restrição limita diretamente os tokens de saída, que são mais caros.
• Compressão de Entrada (Condção A): Resulta em um "perde-perde estrito". Ela eleva o custo líquido (aproximadamente 1.15× em média, até 1.8× em datasets específicos, e 2.7× sob compressão profunda) porque os modelos compensam o prompt simplificado gerando respostas mais longas. Como os tokens de saída são precificados mais alto, a economia nos tokens de entrada é superada pelo custo da expansão da saída.
• Mecanismo: A compressão de entrada desencadeia a "expansão compensatória de saída", onde o modelo tenta reconstruir o contexto ausente, levando a custos totais mais altos, mesmo quando a precisão colapsa em níveis de redução profundos.

2. Desacoplamento de Precisão e Concordância de Texto de Referência

Sob compressão de saída, surge uma divergência significativa entre a correção da tarefa e o traço de raciocínio interno do modelo:

• Divergência de Texto de Superfície: Em modelos que não são de raciocínio, 51,9% das gerações no nível telegráfico ($L_1$) são corretas, mas seu texto de superfície não implica mais a geração não restrita ($L_0$) do modelo.
• Robustez: Essa divergência persiste mesmo ao controlar o comprimento (re-pontuando gerações $L_0$ truncadas para corresponder ao comprimento de $L_1$) e mantém-se através de múltiplas métricas semânticas e juízes.
• Interpretação: O modelo pode chegar à resposta correta através de um caminho de raciocínio ou formulação de superfície diferente quando restrito, o que significa que a "correção" da resposta não garante a preservação do traço de raciocínio original.

3. Robustez Variável entre Modelos

• A robustez à compressão de saída (a razão entre a precisão com restrição de saída e a precisão com restrição de entrada) varia amplamente entre os modelos (faixa de 1.5× a 3.7×).
• Essa robustez não é prevista pela contagem de parâmetros ou pela precisão da linha de base não restrita. Por exemplo, o modelo de API com maior precisão (GPT-5.4) foi um dos menos robustos às restrições de saída, enquanto um modelo de pesos abertos de 7B (Gemma-4-E4B) mostrou a maior robustez.

Significância e Alegações

O artigo argumenta que a avaliação de eixo único da compressão é subdeterminada. Os autores alegam que:

1. O custo não pode ser inferido pela redução do prompt: O custo realizado depende da interação entre a redução de entrada e a expansão de saída.
2. A precisão é condicional: A precisão observada depende da confiabilidade da extração e do eixo semântico específico usado para avaliação.
3. Implicações de Implementação: Para implementações que consomem apenas a resposta final, a compressão de saída é uma estratégia viável de economia de custos. No entanto, para implementações que exigem trilhas de auditoria ou transparência de raciocínio (onde o texto gerado em si é consumido), a compressão de saída introduz um risco significativo de divergência semântica da linha de base de raciocínio não restrita do modelo.
4. Protocolo de Avaliação: Candidatos para implementação restrita devem ser classificados com base em seu desempenho no nível de restrição específico que enfrentarão, em vez de seu desempenho de linha de base não restrita.

O estudo conclui que comprimir a inferência de LLMs é um problema de dois canais onde a compressão de entrada e de saída produzem resultados econômicos e semânticos fundamentalmente diferentes, necessitando de protocolos de avaliação multimétricos como o CAVEWOMAN.