Resumo Técnico: ComprExIT

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) de contexto longo enfrentam desafios significativos relacionados aos custos de tokens, memória e latência à medida que os comprimentos de contexto aumentam. Embora os métodos de Compressão de Contexto (CC) visem mitigar isso reduzindo o comprimento do contexto, as abordagens existentes baseadas no paradigma "LLM como compressor" (por exemplo, ICAE, 500x, Activation Beacon) permanecem notavelmente inferiores ao uso do contexto completo não comprimido.

Os autores identificam que essa lacuna de desempenho decorre da incapacidade de preservar efetivamente a informação contextual durante a compressão. Através da análise estrutural do fluxo de informação em compressores padrão baseados em LLM, eles apontam dois gargalos específicos:

1. Limitação em Largura (Falta de Alocação): Na autoatenção padrão, os tokens de resumo (tokens de compressão) agregam informações independentemente. Isso leva a uma falta de coordenação onde múltiplos tokens podem focar nas mesmas regiões de contexto enquanto outros permanecem subcobertos, resultando em captura de informação redundante e perda de cobertura.
2. Limitação em Profundidade (Diluição por Camada): LLMs propagam informação de maneira acumulativa por camadas. Evidências de alta granularidade capturadas em camadas iniciais frequentemente se emaranham com representações posteriores, mais abstratas e orientadas à geração. Consequentemente, recursos úteis de camadas intermediárias são diluídos ou perdidos até atingirem a camada final, que é tipicamente o único estado utilizado para compressão.

Metodologia: ComprExIT

Para abordar esses gargalos, os autores propõem o ComprExIT (Compressão de Contexto via Transmissão Explícita de Informação). Diferentemente de métodos anteriores que ajustam um LLM para atuar como compressor, o ComprExIT trata um LLM congelado como um extrator de características e formula a compressão como um problema de transmissão explícita de informação sobre seus estados ocultos. O framework opera em duas etapas:

1. Transmissão em Profundidade (Mitigando a Diluição por Camada)

Em vez de depender exclusivamente dos estados ocultos da camada final, o ComprExIT agrega adaptativamente características de todas as camadas para construir Âncoras de Token.

• Mecanismo: Para cada posição de token, o método mistura representações de camadas usando priores estruturais aprendidos. Em seguida, emprega um mecanismo de atenção de porta por token para agregar seletivamente características de múltiplas camadas.
• Objetivo: Isso permite que o compressor acesse diretamente características de alta granularidade de camadas intermediárias mais relevantes para a tarefa, impedindo que sejam diluídas por transformações subsequentes. O controle de porta é condicionado ao token, permitindo que diferentes granularidades de informação sejam preservadas para diferentes tokens e tarefas.

2. Transmissão em Largura (Resolvendo a Falta de Alocação)

Uma vez estabelecidas as Âncoras de Token, o ComprExIT aloca explicitamente informações de $N$ âncoras para $K$ slots de compressão usando um plano coordenado globalmente, em vez de atenção independente.

• Matriz de Utilidade: Uma matriz de utilidade é construída para medir o benefício de transmitir informação de uma âncora específica para um slot específico, baseado na similaridade de cosseno entre representações projetadas.
• Capacidade de Informação: Os remetentes (âncoras) recebem capacidades de informação aprendíveis baseadas em sua importância contextual, enquanto os receptores (slots) têm capacidade uniforme.
• Plano de Transporte Ótimo: A alocação é formulada como um problema de transporte ótimo. O sistema resolve um plano de transmissão $\Pi$ que minimiza o custo (inverso da utilidade) sujeito a restrições marginais (capacidades de remetente/receptor). Isso é resolvido eficientemente usando o algoritmo Sinkhorn com regularização de entropia.
• Objetivo: Isso garante uma distribuição coordenada globalmente onde os slots de compressão cobrem regiões de contexto distintas, evitando redundância e garantindo cobertura abrangente.

Contribuições Principais

1. Análise Estrutural: O artigo identifica e analisa dois gargalos estruturais chave em métodos existentes de "LLM como compressor": a falta de alocação na dimensão de largura e a diluição de informação na dimensão de profundidade.
2. Framework ComprExIT: Os autores propõem um framework leve e eficiente em parâmetros que desacopla a compressão da arquitetura do LLM. Ele utiliza estados ocultos congelados, agregação de camadas em profundidade e um plano de transmissão coordenado em largura baseado em transporte ótimo.
3. Desempenho Empírico: O método demonstrou superar consistentemente fortes baselines de compressão suave em 12 conjuntos de dados.

Resultados Experimentais

Avaliado em 12 conjuntos de dados (incluindo 6 benchmarks de QA no domínio e 6 fora do domínio) usando os modelos base Llama-3.2-1B e Llama-3.2-3B:

• Desempenho: O ComprExIT supera consistentemente as baselines de compressão mais avançadas (ICAE, 500x, Beacon). Ele alcança uma melhoria média de F1 de 18,5% sobre a baseline de compressão mais forte no modelo de 1B e 10,56% no modelo de 3B.
• Comparação com Não Comprimido: O desempenho permanece muito próximo da baseline de ajuste fino (prompt-tuning) não comprimido (dentro de 0,25% no modelo de 1B e 0,64% no modelo de 3B).
• Eficiência: O método adiciona apenas ~1% de parâmetros treináveis. Em termos de latência, alcança mais de 2× compressão mais rápida do que as baselines mais rápidas (ICAE) enquanto mantém velocidades competitivas de decodificação ponta a ponta.
• Escalabilidade: O método demonstra desempenho robusto sob maiores taxas de compressão (8× e 16×), em modelos maiores (8B) e com contextos mais longos (8k).
• Análise: Estudos de ablação confirmam que tanto a alocação coordenada (Transporte Ótimo) quanto a agregação em profundidade são críticos. A análise dos padrões de alocação mostra que o ComprExIT reduz a redundância entre tokens de compressão e melhora a cobertura de entidades relevantes para a pergunta em comparação com as baselines.

Significado e Alegações

Os autores afirmam que o ComprExIT representa um novo paradigma para compressão de contexto suave. Ao tratar a compressão como um problema de transmissão explícita de informação sobre estados ocultos congelados, o método supera as limitações estruturais da compressão baseada em atenção padrão.

O artigo postula que essa abordagem fornece um espaço de design mais flexível além das formulações de atenção padrão. Os resultados sugerem que a compressão eficaz não requer o ajuste fino do LLM em um compressor, mas sim um mecanismo para coordenar e agregar explicitamente a informação rica e multicamada já presente nos estados ocultos do modelo congelado. Os autores esperam que este trabalho inspire pesquisas futuras a explorar mais escolhas de design dentro deste novo paradigma para avançar ainda mais a compressão de contexto.

Limitações: Os autores reconhecem que não testaram em backbones significativamente maiores (por exemplo, 32B ou 70B) ou contextos substancialmente mais longos (por exemplo, 32k ou 128k) devido a restrições computacionais. Além disso, o framework atual é limitado a modelos de apenas texto, com modelos de linguagem e visão deixados para trabalhos futuros.