Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

Resumo Técnico: CORE – Compressão de Prompt Leve para QA em Dispositivos de Borda (Edge Devices)

Declaração do Problema
Em sistemas de Geração Aumentada por Recuperação (RAG) para Questionamento e Resposta (QA), os Modelos de Linguagem de Grande Escala (LLMs) frequentemente sofrem com o "problema do contexto longo". Documentos recuperados frequentemente contêm informações redundantes substanciais (muitas vezes excedendo 95% de ruído), o que dilui as evidências fundamentais e pode degradar a precisão da resposta. Além disso, a complexidade quadrática dos mecanismos de autoatenção significa que prompts longos aumentam significativamente a latência de inferência e o uso de memória. Isso é particularmente crítico para dispositivos de borda (ex: smartphones, veículos autônomos), onde os recursos computacionais e as janelas de contexto são limitados.

Métodos existentes de compressão de prompt tipicamente dependem de Pequenos Modelos de Linguagem (SLMs) auxiliares para estimar a importância de tokens ou sentenças. No entanto, essas abordagens introduzem um overhead proibitivo para implantação em borda:

1. Overhead de Memória: SLMs (ex: modelos de 7B parâmetros) exigem 14–24 GB de VRAM, excedendo em muito os 8–16 GB disponíveis em GPUs de consumo para dispositivos de borda.
2. Latência: O preenchimento (prefilling) de prompts pelos SLMs introduz atrasos que excedem um minuto em dispositivos móveis, tornando-os inadequados para QA em tempo real.
3. Requisitos de Treinamento: Muitos métodos requerem ajuste fino (fine-tuning) extensivo em grandes conjuntos de dados, o que é intensivo em recursos e impraticável para cenários de borda.

Metodologia: CORE (Context Refinement via Entity-aware filtering)
Os autores propõem o CORE, um framework de compressão de prompt em nível de sentença, leve e de dois estágios, projetado para operar sem SLMs auxiliares. O CORE utiliza apenas um classificador de Reconhecimento de Entidades Nomeadas (NER) leve e um modelo de embedding (totalizando ~40 MB em memória).

• Estágio 1: Filtragem de Candidatos

  • Construção do Conjunto de Respostas: O CORE analisa a consulta do usuário para identificar "entidades de interesse" (ex: datas, locais, pessoas) ao comparar a consulta com um conjunto de consultas de templates canônicos em um espaço de embedding. Ele então filtra o contexto recuperado para construir um Conjunto de Respostas ($C_{ans}$), consistindo em sentenças que contêm pelo menos uma dessas entidades identificadas.
  • Construção do Conjunto de Pistas: Simultaneamente, o CORE constrói um Conjunto de Pistas ($C_{clue}$) filtrando sentenças de contexto que exibem alta similaridade semântica com a consulta do usuário, servindo como evidência de ponte.

• Estágio 2: Refinamento de Evidência

  • Refinamento de Pistas (Recuperação de Resíduo Ortogonal): Para lidar com a redundância dentro do conjunto de pistas, o CORE emprega uma estratégia iterativa de decomposição de vetor ortogonal. Ele seleciona sequencialmente pistas que maximizam o alinhamento semântico com a parte residual (não explicada) da consulta, utilizando um coeficiente de penalidade dinâmica ($\mu_t$) calibrado com base em quão bem uma pista selecionada conecta a consulta às respostas candidatas, garantindo cobertura semântica diversa. O número ideal de pistas ($K$) é determinado automaticamente usando o "método do cotovelo" (elbow method) na curva de pontuação de utilidade.
  • Poda de Respostas (Métrica de Proximidade Espacial): Para filtrar o potencialmente grande Conjunto de Respostas, o CORE introduz uma métrica baseada em proximidade espacial. Ele calcula a importância de cada entidade no conjunto de respostas medindo sua distância em relação às pistas de alta confiança. Entidades situadas na vizinhança imediata de pistas relevantes recebem pontuações mais altas. As sentenças de resposta são então classificadas pela soma das pontuações de suas entidades constituintes e podadas para se ajustarem ao orçamento estrito de tokens.

Principais Contribuições

1. Arquitetura Livre de SLM: O CORE elimina a necessidade de SLMs auxiliares pesados, reduzindo o overhead de memória para aproximadamente 0,14% de um SLM padrão de 7B e permitindo a implantação em dispositivos de borda com recursos limitados.
2. Refinamento Sinérgico: O artigo introduz um mecanismo que intercala o refinamento de pistas e respostas. Ele utiliza uma estratégia de resíduo ortogonal para destilar pistas e uma métrica de proximidade espacial para validar respostas, garantindo que o contexto comprimido mantenha a coerência lógica e as cadeias de raciocínio.
3. Implementação Otimizada para Borda: O framework é especificamente projetado para baixa latência e eficiência energética, aproveitando componentes leves (spaCy NER e embeddings MiniLM) adequados para hardware móvel e de borda.

Resultados Experimentais
Os autores avaliaram o CORE em um NVIDIA Jetson AGX Orin (inferência local) e um smartphone Huawei Nova (offloading borda-nuvem) através de seis datasets do LongBench (ex: 2WikiMQA, HotpotQA, NarrativeQA) usando três LLMs de 7B.

• Acurácia: Dentro de um orçamento de 2000 tokens, o CORE melhorou a acurácia em pelo menos 30,19% em comparação com os baselines de estado da arte (LLMLingua, LLMLingua-2, LongLLMLingua). Notavelmente, no dataset 2WikiMQA com LLaMA2-7B-chat-4k, o CORE superou o baseline não comprimido.
• Eficiência:
  • Memória: O CORE reduziu o uso de memória em pelo menos 50,47% em comparação aos baselines, com uso de pico variando entre 0,7 GB e 1,7 GB.
  • Latência: O CORE alcançou uma redução de 48,52% na latência de compressão em relação ao LLMLingua-2 e um aumento de velocidade de até 98,99% em comparação com métodos que utilizam SLMs de 7B.
  • Energia: No smartphone Huawei Nova, o CORE demonstrou uma redução de 95,74% no consumo de energia em comparação ao LLMLingua-2.
• Robustez: O CORE manteve um desempenho superior mesmo sob restrições severas de orçamento de tokens (até 500 tokens), enquanto os baselines sofreram degradação significativa.

Significância e Alegações
O artigo afirma que o CORE aborda o gargalo crítico de implantar agentes de QA baseados em RAG em dispositivos de borda. Ao remover a dependência de SLMs pesados, o CORE torna a compressão de prompt viável para aplicações de QA em tempo real, móveis e industriais de borda, onde memória e energia são escassas. Os autores enfatizam que seu método não apenas reduz os custos computacionais, mas também aumenta a acurácia da resposta ao filtrar efetivamente o ruído e preservar as cadeias lógicas necessárias para o raciocínio complexo, mitigando assim o fenôimento "lost in the middle" (perdido no meio) e as alucinações associadas a contextos longos. O trabalho posiciona o CORE como uma solução prática e generalizável para a próxima geração de agentes de IA de borda.