Resumo Técnico: Aprendizado por Reforço Sensível a Grafos para Compressão de Prompts Reutilizáveis em LLMs de Caixa Preta

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de contextos de raciocínio longos e reutilizáveis — que compreendem instruções, exemplos trabalhados, restrições, fórmulas e regras de formato de saída — para realizar tarefas complexas como raciocínio matemático e geração de código. Embora esses contextos melhorem o desempenho, seu uso repetido em inúmeras consultas de usuários acarreta custos significativos em tokens de entrada, latência de inferência e uso da janela de contexto.

Os métodos de compressão existentes enfrentam limitações críticas em configurações de LLM de caixa preta (ex: APIs comerciais):

• Truncamento e Sumarização: Frequentemente removem informações logicamente necessárias ou reescrevem o conteúdo, correndo o risco de causar alucinações e perda de interpretabilidade.
• Dependência de Sinais Internos: Muitos métodos dependem de gradientes, logits ou pontuações de atenção, que são inacessíveis em modelos de código fechado.
• Nível de Token vs. Nível de Unidade: A compressão ao nível de token pode quebrar equações, sintaxe de código ou dependências lógicas.
• Falta de Consciência de Tarefa: Abordagens baseadas em similaridade podem reter unidades semanticamente relevantes, mas logicamente redundantes, enquanto descartam restrições essenciais.

O desafio central é formular um framework de compressão extrativa e consciente da tarefa que opere estritamente como uma caixa preta, preservando a informação funcional necessária para a correção, enquanto minimiza a contagem de tokens, sem acesso aos parâmetros internos do modelo.

Metodologia

Os autores propõem um framework de Aprendizado por Reforço (RL) Sensível a Grafos utilizando Otimização de Política Próxima (PPO). O método trata o contexto de raciocínio reutilizável como um grafo e aprende uma política para tomar decisões discretas de "manter ou descartar" em unidades de raciocínio.

1. Formulação do Problema

• Compressão ao Nível de Template: O sistema otimiza um contexto de raciocínio reutilizável fixo ($C$) que é pareado com diversas consultas específicas da tarefa ($x$). O objetivo é aprender um contexto comprimido $C'(z)$ que seja fixo para implantação, em vez de comprimir por consulta.
• Configuração de Caixa Preta: O LLM alvo é tratado como um ambiente fixo $F$. O compressor observa apenas os pares de entrada-saída e recebe recompensas ao nível da tarefa; nenhum sinal interno é utilizado.
• Segmentação ao Nível de Unidade: O contexto é segmentado em unidades semanticamente completas (ex: exemplos específicos, restrições, fórmulas) em vez de tokens, para preservar a integridade sintática e lógica.

2. Representação Estruturada em Grafo

O contexto de raciocínio reutilizável é modelado como um grafo $G_C = (V_C, E_C, W_C)$:

• Nós: Representam unidades de raciocínio.
• Arestas: Codificam quatro tipos de relações: similaridade semântica, proximidade posicional, relações de tipo de unidade e dependências explícitas.
• Características dos Nós: Cada unidade é incorporada usando características locais e características conscientes da distribuição da tarefa (similaridade média/máxima com a distribuição de consultas de treinamento) para garantir que a política aprenda utilidade geral em vez de relevância específica da consulta.

3. Política e Otimização

• Rede de Política: Um codificador de Rede de Atenção de Grafos (GAT) processa o grafo para gerar representações de unidades contextualizadas. Uma cabeça de política produz uma probabilidade de manutenção para cada unidade.
• Espaço de Ação: Uma máscara binária ($z \in \{0, 1\}^M$) determinando quais unidades serão mantidas. Unidades obrigatórias (ex: instruções principais, delimitadores de saída) são forçadas a permanecer.
• Função de Recompensa: A recompensa equilibra quatro objetivos:
  1. Corretude: Desempenho da tarefa (ex: correspondência exata de resposta, passagem em teste unitário) em um lote de consultas.
  2. Compressão: A razão de tokens removidos.
  3. Controle de Degradação: Uma penalidade para perda de precisão que exceda um limiar $\epsilon$.
  4. Coerência Estrutural: Uma penalidade ($\Omega$) para seleções fragmentadas onde unidades fortemente conectadas são mantidas ou descartadas de forma inconsistente.
• Algoritmo: A Otimização de Política Próxima (PPO) é usada para estabilizar o treinamento contra as recompensas esparsas e ruidosas típicas das avaliações de LLM de caixa preta.

4. Implantação

Durante a implantação, a política estocástica é substituída por uma seleção gananciosa determinística baseada nas probabilidades de manutenção aprendidas e nos comprimentos das unidades. O contexto comprimido resultante é armazenado em cache e reutilizado para todas as consultas futuras, recuperando o custo de treinamento offline através da economia de inferência repetida.

Principais Contribuições

1. Formulação de RL Consciente da Tarefa: Um framework que formula a compressão de contexto de raciocínio reutilizável como um problema de RL de caixa preta e consciente da tarefa, otimizando para a corretude a jusante em vez de apenas redução de tokens, estendendo trabalhos anteriores ao focar especificamente em templates reutilizáveis e dependências estruturadas em grafos.
2. Representação Baseada em Grafos: Introdução de um modelo de grafo capturando relações semânticas, posicionais, de tipo e de dependência entre unidades de raciocínio para evitar a fragmentação estrutural da compressão.
3. Política de PPO Extrativa: Uma política de compressão extrativa discreta que aprende decisões de manter-ou-descartar sem reescrever o conteúdo ou exigir acesso a sinais internos, garantindo interpretabilidade e compatibilidade de API.
4. Avaliação Abrangente: Benchmarking extensivo em raciocínio matemático (GSM8K, MATH) e geração de código (MBPP, HumanEval) demonstrando um forte equilíbrio entre eficiência e precisão.
5. Análise de Componentes: Estudos de ablação detalhados validando a necessidade de modelagem de grafos, recompensas baseadas em corretude e otimização PPO.

Resultados Experimentais

Experimentos foram conduzidos no GSM8K, MATH, MBPP e HumanEval usando o GPT-4o-mini como o principal modelo alvo, com testes de transferência entre modelos para Claude 3.5 Sonnet e Llama-3.1-70B-Instruct.

• Eficiência de Compressão: O método proposto alcançou uma taxa de compressão de 52,6% nos contextos de raciocínio reutilizáveis.
• Economia de Custos: Isso resultou em uma redução estimada de 40,3% nos custos de tokens de entrada e reduções significativas de latência.
• Preservação de Precisão: A degradação da precisão foi limitada a 1,0 ponto percentual em relação à linha de base de contexto total, superando significativamente baselines como truncamento estático (perda de 8,4 pp) e seleção baseada em similaridade (perda de 5,2 pp).
• Robustez: O método demonstrou estabilidade superior em vários orçamentos de compressão (até 25% de retenção) em comparação com baselines heurísticos e outros baseados em RL.
• Transferência entre Modelos: Quando aplicado a modelos não vistos sem ajuste fino, o contexto comprimido manteceu alto desempenho, com perdas de precisão de 1,8 pp (Claude) e 2,7 pp (Llama), indicando que a política aprendida captura padrões de raciocínio gerais.

Significância e Alegações

O artigo argumenta que a compressão de prompts eficaz para aplicações intensivas em raciocínio deve priorizar a necessidade funcional sobre a mera redução de tokens. Os autores afirmam que:

• A modelagem consciente de grafos é essencial para preservar as dependências lógicas entre instruções, exemplos e restrições que métricas simples de similaridade ignoram.
• O feedback ao nível da tarefa (corretude) é um sinal de recompensa superior à similaridade de saída ou perplexidade, pois alinha diretamente a compressão com o objetivo de resolver a tarefa.
• A compatibilidade de caixa preta é alcançável sem sacrificar o desempenho, tornando esta abordagem prática para sistemas de API comercial onde sinais internos não estão disponíveis.
• A otimização de contexto reutilizável oferece uma vantagem econômica distinta: embora o treinamento exija chamadas de caixa preta offline, o template comprimido resultante proporciona economia de custos cumulativa quando reutilizado em muitas consultas, tornando-o ideal para ferramentas educacionais, assistentes de codificação e sistemas de suporte técnico.

O trabalho conclui que, embora a compressão introduza riscos (ex: remover restrições ocultas), o framework proposto mitiga esses riscos através de regularização estrutural e controle de degradação, oferecendo um caminho prático para reduzir os custos de inferência enquanto mantém a qualidade do raciocínio.