FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) atuais dependem de contextos de entrada expansivos para alcançar alto desempenho. No entanto, essa "verbosidade" gera três problemas críticos:

• Custos Monetários Elevados: O processamento de tokens redundantes aumenta diretamente o custo de inferência via API.
• Impacto Ambiental: Maior consumo de energia e pegada de carbono.
• Latência: Tempo de inferência aumentado devido ao processamento de tokens de baixa utilidade.

O artigo parte da premissa de que a linguagem humana é inerentemente redundante (cerca de 80% de redundância estatística) e que os seres humanos conseguem reconstruir significados ricos a partir de entradas "telegráficas" (poucos tokens). Em contraste, os LLMs processam todos os tokens com peso igual, desperdiçando recursos em palavras de função, artigos e repetições que não carregam peso semântico significativo para a tarefa.

2. Metodologia: FRUGALPROMPT

O FRUGALPROMPT é um framework de compressão de prompts sem treinamento (training-free) que filtra tokens com base na sua atribuição de importância (salience). O processo funciona da seguinte forma:

• Atribuição de Tokens: O sistema utiliza dois métodos de atribuição de tokens de última geração (SOTA) para calcular escores de saliência para cada token na sequência de entrada:
  1. GlobEnc: Quantifica a atribuição global agregando análises por camada usando attention rollout e normas de vetores.
  2. DecompX: Propaga representações de tokens localmente decompostas globalmente, incorporando todos os componentes do modelo, incluindo redes feed-forward não lineares.
• Classificação e Filtragem:
  • Os tokens são classificados em ordem decrescente de seus escores de saliência.
  • Mantém-se apenas o top-$k\%$ dos tokens mais importantes.
  • Os tokens selecionados são reordenados para preservar a coerência temporal e sintática original da frase, descartando os tokens de baixa utilidade (como artigos, preposições e palavras de preenchimento).
• Eficiência Computacional: O método requer apenas um codificador pré-treinado leve (um modelo BERT de 110M parâmetros), gerando uma sobrecarga mínima comparada a métodos que exigem modelos auxiliares grandes ou treinamento adicional.

3. Contribuições Chave

• Estratégia de "Frugalização" Sem Treinamento: Introdução de uma nova abordagem para filtrar tokens de baixa importância baseada em escores de saliência de codificadores pré-treinados, sem necessidade de ajuste fino (fine-tuning) do LLM principal.
• Fundamentação Teórica e Empírica: O trabalho estabelece limites teóricos para a estabilidade da exclusão de tokens e demonstra empiricamente as compensações (trade-offs) entre a porcentagem de retenção e o desempenho.
• Insights Comportamentais: Revela padrões assimétricos de desempenho, sugerindo que certas tarefas (como classificação e sumarização) toleram bem a esparsidade contextual, enquanto outras (como raciocínio) sofrem degradação severa.
• Detecção de Contaminação de Tarefas: O estudo identifica que a manutenção de desempenho em tarefas de filtragem aleatória ou de "fundo" (bottom-k) pode indicar contaminação de dados (o modelo já memorizou as respostas), levantando questões sobre a validade de benchmarks atuais.

4. Resultados Experimentais

Os autores avaliaram o método em quatro tarefas de NLP (Análise de Sentimento, Sumarização, QA de Senso Comum e Raciocínio Matemático) utilizando diversos modelos (Llama-3 8B/70B, GPT-3.5, Gemini 2.0, o3-mini).

• Desempenho por Tarefa:
  • Classificação e QA: Com retenção de 80% dos tokens, o desempenho permaneceu próximo ao baseline (100%) na maioria dos modelos. Mesmo com 50-60% de retenção, a queda foi moderada.
  • Sumarização: Mostrou uma tolerância variável; alguns modelos mantiveram qualidade, enquanto outros (como GPT-3.5 com GlobEnc) sofreram degradação rápida.
  • Raciocínio Matemático: Sofreu a queda mais acentuada. A exclusão de tokens abaixo de 60% resultou em colapso de desempenho (ex: pass@1 caiu para <15%), indicando que tarefas de raciocínio dependem criticamente da integridade sequencial e de conectores lógicos/números.
• Comparação de Métodos:
  • Para tarefas de classificação e QA, o GlobEnc geralmente superou o DecompX.
  • Para tarefas de raciocínio, o DecompX mostrou-se superior, possivelmente por capturar melhor a importância de subpalavras e ativações lineares.
• Custo vs. Benefício: A redução de tokens oferece economias significativas de custo e carbono, especialmente para modelos grandes e caros (como o3-mini), onde a redução de tokens de entrada impacta diretamente a fatura.
• Contaminação de Dados: A observação de que a remoção aleatória de tokens ou a retenção apenas dos tokens menos importantes (bottom-k) ainda manteve alto desempenho em tarefas de QA e Classificação sugere que os modelos podem estar "chutando" com base em dados de treino memorizados, em vez de raciocinar sobre o contexto completo.

5. Significado e Conclusão

O FRUGALPROMPT oferece uma solução prática para democratizar o acesso a LLMs, reduzindo custos de inferência e impacto ambiental sem sacrificar significativamente a qualidade em tarefas que não dependem de cadeias de raciocínio complexas.

O trabalho destaca que a eficiência em LLMs não é apenas uma questão de arquitetura do modelo, mas também de otimização de dados de entrada. Além disso, o estudo serve como um alerta crítico para a comunidade de pesquisa: a robustez de modelos a prompts esparsos pode mascarar problemas de avaliação, como a contaminação de conjuntos de dados de teste, sugerindo a necessidade urgente de benchmarks livres de contaminação para avaliar verdadeiramente a capacidade de raciocínio e inferência contextual dos modelos.