From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

Resumo Técnico: "From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors"

1. O Problema

O uso de Modelos de Linguagem de Grande Escala (LLMs) com contextos extremamente longos (como GPT-4 ou modelos de 400K tokens) enfrenta dois desafios principais:

• Custo Computacional: A atenção do Transformer escala quadraticamente com o comprimento da sequência, tornando o processamento de contextos massivos caro e lento.
• Degradação de Desempenho: Modelos muitas vezes falham em recuperar informações relevantes localizadas no "meio" de contextos longos (lost-in-the-middle) e perdem a coerência estrutural ao truncar textos.

As abordagens atuais de compressão geralmente dependem de modelos treinados (que exigem novos estágios de treinamento), seleção baseada apenas em busca densa (que ignora a estrutura do discurso) ou remoção heurística (que quebra a continuidade do texto).

2. Metodologia Proposta

Os autores propõem um framework de compressão sem treinamento (training-free), agnóstico ao modelo e explicável. Em vez de apenas buscar similaridade semântica, o método utiliza priors de grafos híbridos para capturar a estrutura do documento.

O fluxo de trabalho consiste em:

• Construção de um Grafo de Sentenças Híbrido: O método constrói um grafo esparso combinando dois tipos de arestas:
  1. Arestas Semânticas (Mutual k-NN): Conectam sentenças com alta similaridade de cosseno, mas apenas se a relação for mútua (reduzindo ruído).
  2. Arestas Sequenciais: Conectam sentenças adjacentes para preservar o fluxo narrativo e a continuidade do discurso.
• Extração do Esqueleto de Tópicos: Utiliza o algoritmo MiniBatch K-Means para agrupar sentenças em clusters, identificando os temas centrais do documento.
• Pontuação Estrutural de Sentenças (Scoring): Cada sentença recebe uma pontuação composta baseada em quatro pilares:
  1. Relevância da Tarefa ($S_{task}$): Similaridade com a consulta (query) ou com o centroide do documento.
  2. Representatividade do Tópico ($S_{rep}$): O quanto a sentença é central dentro de seu cluster temático (garante cobertura de tópicos).
  3. Centralidade de Ponte ($S_{bridge}$): Utiliza a betweenness centrality para identificar sentenças que conectam diferentes seções ou tópicos (protege a coerência).
  4. Cobertura de Ciclos ($S_{cycle}$): Identifica sentenças que participam de pequenos ciclos no grafo, preservando padrões de raciocínio local (ex: par afirmação-evidência).
• Seleção com Orçamento e Supressão de Redundância: As sentenças são selecionadas via um algoritmo guloso (greedy) respeitando um limite de tokens. Para evitar repetições, aplica-se uma técnica de Non-Maximum Suppression (NMS) baseada em similaridade de cosseno. O resultado final é reordenado conforme a sequência original para garantir legibilidade.

3. Principais Contribuições

1. Framework Estrutural: Introdução de um método de compressão que não exige treinamento e utiliza a topologia do grafo para guiar a seleção.
2. Priors de Grafo Híbrido: A combinação de similaridade semântica com ordem física (sequencial) permite capturar tanto o "o que" quanto o "como" o texto é organizado.
3. Pontuação Interpretável: Diferente de modelos de "caixa preta", a pontuação permite entender por que uma sentença foi mantida (se foi por relevância, por ser uma ponte entre tópicos ou por representar um tema).

4. Resultados Experimentais

O método foi testado em quatro datasets de sumarização (CNN/DailyMail, GovReport, arXiv, PubMed):

• Desempenho Superior: O método superou baselines fortes (como TextRank, BERTSum e modelos abstrativos como BART e PEGASUS), especialmente em documentos longos (GovReport e arXiv).
• Eficiência de Orçamento: O framework demonstrou ser altamente eficiente sob orçamentos de tokens restritos, mantendo uma curva de qualidade superior à dos concorrentes.
• Fidelidade e Coerência: Obteve excelentes resultados em métricas de consistência factual (QAFactEval) e similaridade semântica (BERTScore), provando que a preservação da estrutura evita a perda de informações críticas.

5. Significância

Este trabalho é significativo porque oferece uma solução plug-and-play para sistemas de LLM. Ele demonstra que, para compressão de contexto, a estrutura do documento é tão importante quanto a similaridade semântica. Ao fornecer um pré-processador leve e explicável, ele permite que sistemas de RAG (Retrieval-Augmented Generation) e agentes de IA processem volumes massivos de dados de forma mais barata, rápida e, crucialmente, mais confiável.