Text-Preserving Lossy Text Compression: A Study of Strategic Deletion and LLM Reconstruction

Resumo Técnico: Compressão Textual com Perdas Preservando Texto

Formulação do Problema
Este artigo aborda as limitações da compressão textual sem perdas tradicional (por exemplo, zlib, bzip2, LZMA) em pipelines de processamento de linguagem natural, onde os ganhos de compressão são frequentemente modestos e a exigência de reconstrução bit a bit restringe a utilidade em cenários com limitações de largura de banda ou de janela de contexto. Os autores propõem um framework para compressão semântica com perdas que preserva o texto. Diferentemente da codificação semântica sem restrições (que produz vetores latentes) ou do resumo abstrativo (que reescreve a fonte), esta abordagem visa transmitir um "esqueleto" do texto original — criado pela exclusão estratégica de tokens —, garantindo que o artefato permaneça textual. O objetivo é permitir que um decodificador LLM no receptor reconstrua o conteúdo original com alta fidelidade semântica, preservando a utilidade do texto para inspeção, edição e roteamento antes ou após a reconstrução.

Metodologia
O framework opera como um problema de codificação e decodificação em duas fases:

1. Codificador (Exclusão Estratégica): O codificador reduz um texto fonte $T$ de comprimento $L$ para uma representação degradada $\tilde{T}$ de comprimento $r_{keep} \cdot L$ mediante a exclusão de tokens. O artigo avalia uma progressão de estratégias de exclusão em três níveis de sofisticação:
   • Nível 1 (Nível de Caractere): Exclusão por passo uniforme e baselines estocásticas (Gaussiana, Bernoulli, Poisson). Estas servem como benchmarks de limite inferior, mas ignoram a estrutura linguística.
   • Nível 2 (Nível de Palavra):
     • WordLen: Remoção adaptativa de palavras pequenas e vogais baseada em heurísticas de comprimento.
     • WordFreq: Uma estratégia estática que utiliza pontuações de frequência de Zipf para priorizar a exclusão de palavras de alta frequência e previsíveis, preservando conteúdo raro e denso em informação.
     • Opt (Otimizado por Programação Linear): Uma abordagem de programação linear que aloca cotas de exclusão em seis buckets de tokens (Baixa/Média/Alta frequência, Pontuação, Outros, Espaços em branco) para maximizar a preservação semântica esperada.
   • Nível 3 (Nível Semântico):
     • Baseado em Entropia: Exclusão baseada na surpresa do GPT-2 (previsibilidade contextual por token).
     • Métodos Híbridos: Combinações de sinais de frequência e surpresa (por exemplo, Entropy-LP, Entropy-in-FreqBuckets e Hybrid-$\alpha$).
2. Decodificador (Reconstrução Semântica): Um LLM generativo reconstrói o texto original a partir do esqueleto. O estudo compara:
   • Zero-Shot: Uso do Gemini 2.0 Flash como baseline proprietária robusta.
   • Ajuste Fino: Uso do QLoRA para ajustar finamente o Llama-3.2-3B-Instruct nos padrões específicos de degradação das estratégias de exclusão, criando um decodificador local e leve.

Resultados Chave
A avaliação no conjunto de dados BBC News, em taxas de retenção ($r_{keep} \in [0.1, 0.9]$), utilizando BERTScore, ROUGE-L e Taxa de Erro de Caractere (CER), produz três achados principais:

1. Desempenho Dependente do Regime: Nenhuma estratégia de exclusão única domina todas as taxas de compressão.
   • Compressão Leve a Moderada: Métodos semânticos e híbridos (Entropia, Hybrid-$\alpha$) proporcionam ganhos mais claros sobre as baselines estáticas.
   • Compressão Agressiva (Baixa Retenção): WordFreq (exclusão estática baseada em frequência) prova ser a mais robusta. Apesar de usar apenas uma consulta estática, frequentemente supera métodos semânticos caros nas taxas de retenção mais baixas ($r_{keep} \le 0.3$).
2. Eficiência do Codificador vs. Qualidade: Métodos semânticos que exigem inferência do GPT-2 para cálculo de entropia são significativamente mais lentos (13–115$\times$) do que o WordFreq. Em altas taxas de retenção ($r_{keep}=0.9$), a lacuna de desempenho entre WordFreq e métodos baseados em entropia é negligenciável (~0,002 BERTScore), tornando o WordFreq a escolha prática para codificadores com recursos limitados.
3. Adaptação do Decodificador: O ajuste fino sensível à estratégia de um decodificador local compacto (Llama-3.2-3B) melhora significativamente a qualidade da reconstrução em comparação com sua contraparte zero-shot. Em várias comparações, o modelo ajustado de 3B é competitivo com o Gemini 2.0 Flash zero-shot, particularmente em regimes de baixa retenção onde aprender os padrões específicos de exclusão é crucial.

Análise Cross-Domínio e de Falhas

• Generalizabilidade: O framework transfere-se para Wikipedia (enciclopédico), Reddit (conversacional) e conjuntos de dados em chinês. No entanto, a regra de exclusão ótima permanece dependente do conjunto de dados. Por exemplo, o WordLen performa melhor em texto conversacional (Reddit) do que em notícias, enquanto métodos semânticos mostram graus variados de vantagem dependendo da densidade de informação do domínio.
• Fidelidade Factual: Embora o BERTScore meça similaridade semântica, a análise de Reconhecimento de Entidades Nomeadas (NER) revela que a exclusão uniforme de caracteres destrói âncoras factuais mesmo quando o BERTScore parece aceitável. Métodos híbridos geralmente preservam entidades melhor em compressão leve, mas todos os métodos lutam em taxas de compressão extremas.
• Comparação com Resumo: O resumo direto por LLM (reescrevendo o texto para um comprimento alvo) performa significativamente pior do que o pipeline de exclusão mais reconstrução em regimes de alta retenção, pois perde os tokens originais que servem como âncoras para a reconstrução.

Significância e Alegações
O artigo alega estabelecer o primeiro benchmark sistemático para compressão com perdas orientada à reconstrução e preservando texto. Sua significância reside em:

• Definir um Regime Prático: Identifica um ponto de operação específico onde o artefato comprimido deve permanecer texto (para inspeção humana ou roteamento), mas a recuperação semântica aproximada é aceitável, distinto tanto da codificação sem perdas quanto da codificação de vetores semânticos opacos.
• Baselines de Baixo Custo: Demonstra que a exclusão estática simples baseada em frequência (WordFreq) é uma baseline altamente competitiva e de baixo custo, que frequentemente supera métodos semânticos complexos em cenários de compressão agressiva, oferecendo uma solução viável para ambientes com limitação de largura de banda ou implantação na borda.
• Viabilidade do Decodificador Local: Mostra que o ajuste fino leve e sensível à estratégia pode tornar modelos locais compactos competitivos com modelos proprietários massivos zero-shot, habilitando caminhos de implantação local para compressão semântica.
• Complementaridade: Os autores posicionam seu método como complementar, e não como substituto, para codecs sem perdas. Um esqueleto semântico pode ser posteriormente comprimido usando algoritmos padrão sem perdas (por exemplo, zlib) para armazenamento arquivado.

O artigo limita explicitamente seu escopo, observando que o método é com perdas por design e inadequado para domínios de alto risco que exigem fidelidade exata (por exemplo, registros legais ou médicos). Também reconhece que as avaliações atuais dependem de métricas automatizadas que podem ser indulgentes com alucinações factuais em taxas de retenção muito baixas.