Resumo Técnico: Compressão de Prompt em Modelos de Linguagem de Difusão

Declaração do Problema

A compressão de prompt é uma técnica estabelecida para reduzir custos de inferência e comprimir o contexto em Modelos de Linguagem de Grande Escala (LLMs), avaliada principalmente dentro de arquiteturas autoregressivas (AR). No entanto, a eficácia desses métodos de compressão quando aplicados a Modelos de Linguagem de Grande Escala de Difusão (DLLMs) permanece amplamente inexplorada. Diferentemente dos modelos AR que geram texto sequencialmente via previsão do próximo token, os DLLMs utilizam um processo de remoção de ruído bidirecional sobre tokens mascarados. Essa diferença arquitetônica levanta uma questão crítica: as heurísticas de compressão projetadas para modelos autoregressivos (que priorizam a condicionamento sequencial) preservam o comportamento a jusante em modelos de difusão, que dependem de informações do prompt ao longo de todo o processo iterativo de remoção de ruído reverso? Especificamente, tokens descartados por compressão centrada em AR podem codificar entidades, valores numéricos ou estruturas discursivas essenciais para estabilizar a trajetória de remoção de ruído em DLLMs.

Metodologia

Este estudo investiga a transferibilidade da compressão de prompt para DLLMs usando LLMLingua-2 como estrutura de compressão e LLaDA (um DLLM de 8 bilhões de parâmetros para seguimento de instruções) como modelo alvo. O desenho experimental isola o efeito da compressão mantendo configurações de decodificação idênticas em todas as tentativas.

Pipeline Experimental:

1. Conjuntos de Dados: Três conjuntos de dados foram selecionados para cobrir estruturas de tarefas distintas:
   • GSM8K: Para raciocínio matemático e reconstrução de prompt.
   • DUC2004: Para sumarização no estilo formal de notícias.
   • ShareGPT: Para sumarização conversacional.
   • Tamanho da Amostra: 250 prompts por conjunto de dados.
2. Compressão: Os prompts foram comprimidos usando LLMLingua-2 a uma razão de compressão aproximada de 2× (retendo ~50% dos tokens).
3. Condições de Avaliação: O estudo comparou quatro configurações comportamentais:
   • Prompt Original: $r_{orig} = \text{LLaDA}(p_{orig})$
   • Prompt Comprimido: $r_{comp} = \text{LLaDA}(p_{comp})$
   • Prompt Reconstruído: O prompt comprimido foi alimentado de volta no LLaDA para reconstruir o prompt original ($\hat{p}_{orig}$), que foi então reavaliado para raciocínio a jusante ($\hat{r} = \text{LLaDA}(\hat{p}_{orig})$).
4. Métricas:
   • Raciocínio Matemático: Precisão de correspondência exata contra o ground truth e consistência entre respostas originais/comprimidas.
   • Reconstrução e Sumarização: BLEU, ROUGE (1, 2, L) e BERTScore (Precisão, Recall, F1).
   • Hiperparâmetros: 128 etapas de remoção de ruído, comprimento máximo 128, temperatura 0.0, orientação sem classificador 0.0.

Contribuições Principais

1. Primeira Avaliação de Compressão AR em DLLMs: Este trabalho fornece a primeira avaliação empírica de se os métodos de compressão de prompt (especificamente LLMLingua-2) transferem-se efetivamente de arquiteturas autoregressivas para de difusão.
2. Desacoplamento da Preservação Semântica da Estabilidade Comportamental: O estudo distingue entre similaridade semântica (medida pelo BERTScore) e desempenho de tarefa a jusante. Demonstra-se que alta similaridade semântica não garante raciocínio ou geração estáveis em DLLMs.
3. Análise de Sensibilidade Específica da Tarefa: A pesquisa identifica que o raciocínio matemático é significativamente mais sensível à perda de informação induzida pela compressão do que tarefas de sumarização ou reconstrução, apesar de pontuações de similaridade semântica semelhantes.
4. Diagnóstico de Modos de Falha: Ao analisar a precisão versus recall do BERTScore, o estudo identifica que as falhas de compressão em DLLMs são impulsionadas principalmente pela omissão de informação e não por desvio semântico.

Resultados

1. Diferenças Arquitetônicas na Transferência de Compressão

Comparações entre modelos autoregressivos e LLaDA (DLLM) revelam comportamentos divergentes:

• Reconstrução (GSM8K): Modelos AR superaram DLLMs em sobreposição lexical (BLEU: 0,55 vs. 0,26; ROUGE-L: 0,86 vs. 0,52). No entanto, ambos alcançaram F1 de BERTScore idêntico (0,94), indicando que DLLMs preservam o significado semântico apesar de uma reconstrução de superfície mais fraca.
• Sumarização (DUC2004): DLLMs superaram modelos AR em F1 de ROUGE-L (0,50 vs. 0,21) e F1 de BERTScore (0,94 vs. 0,85), sugerindo que DLLMs preservam melhor o significado do conteúdo mesmo quando a redação difere.
• Raciocínio Matemático (GSM8K): O LLaDA alcançou maior precisão com prompts comprimidos (0,356) em comparação com a linha de base AR (0,220), embora a precisão absoluta permanecesse baixa.

2. Sensibilidade Específica da Tarefa

• Sumarização: Permaneceu robusta sob compressão. DUC2004 e ShareGPT mantiveram alto F1 de BERTScore (0,944 e 0,910, respectivamente), indicando que o conteúdo semântico amplo é preservado mesmo com ~46–47% de remoção de tokens.
• Raciocínio Matemático: Mostrou degradação substancial. Embora prompts reconstruídos tivessem alta similaridade semântica (F1 de BERTScore: 0,936), a precisão do raciocínio caiu significativamente.
  • Precisão do prompt original: 52,0%
  • Precisão do prompt comprimido: 35,6%
  • Concordância entre respostas originais e comprimidas: Apenas 35,2%.
  • Análise de Partição: O maior grupo de resultados (35,6%) consistiu em casos onde ambos os prompts original e comprimido produziram respostas incorretas diferentes. Em 27,6% dos casos, o original estava correto enquanto o prompt comprimido falhou, sugerindo a perda de informações críticas específicas para o raciocínio.

3. Natureza das Falhas de Compressão

Em todas as tarefas, o recall do BERTScore foi consistentemente menor que a precisão. Isso indica que prompts comprimidos ou reconstruídos tendiam a omitir porções do conteúdo semântico original em vez de introduzir informações não relacionadas (desvio). Em tarefas matemáticas, essas omissões removeram âncoras críticas (quantidades, relações) necessárias para uma remoção de ruído estável, levando a trajetórias de raciocínio divergentes mesmo quando o texto restante parecia semanticamente coerente.

Significado e Alegações

O artigo alega que métodos de compressão de prompt projetados para modelos autoregressivos não se transferem uniformemente para modelos de linguagem de grande escala de difusão.

• Estabilidade Semântica vs. Comportamental: Alta similaridade semântica (ex.: alto BERTScore) é insuficiente para garantir comportamento estável a jusante em DLLMs. O processo iterativo de remoção de ruído parece altamente sensível à distribuição precisa de informações de condicionamento; mesmo omissões menores podem escalar para previsões finais diferentes.
• Dependência da Tarefa: Tarefas de sumarização são relativamente tolerantes à remoção de tokens, enquanto o raciocínio matemático é frágil. Isso sugere que DLLMs requerem não apenas preservação semântica, mas também a retenção de pistas de condicionamento precisas (entidades, números, restrições) para estabilizar a trajetória de remoção de ruído.
• Necessidade de Estratégias Conscientes de Difusão: Heurísticas de compressão atuais, que frequentemente dependem de saliência autoregressiva ou contexto bidirecional de maneira agnóstica à tarefa, podem descartar tokens que são redundantes para previsão sequencial, mas críticos para condicionamento global em modelos de difusão. Os autores argumentam pelo desenvolvimento de estratégias de compressão conscientes de difusão que priorizem a estabilidade de remoção de ruído e a preservação de estruturas críticas para o raciocínio sobre simples sobreposição semântica.

O estudo conclui que futuros frameworks de avaliação para compressão de prompt devem incorporar métricas de consistência comportamental e estabilidade de raciocínio ao lado de medidas tradicionais de sobreposição semântica, particularmente para arquiteturas baseadas em difusão.