Resumo Técnico: Compreendendo a Seletividade da Atenção Esparsa em Modelos de Fundação de Contexto Longo via Avaliação Contrafactual

1. Definição do Problema

Mecanismos de atenção esparsa (ex: Block Sparse Flash Attention, evasão de KV-cache) são infraestruturas padrão para modelos de linguagem de contexto longo, selecionados por sua capacidade de reduzir custos computacionais quadráticos. No entanto, os atuais frameworks de avaliação dependem de métricas agregadas, como throughput, uso de memória e acurácia em benchmarks. Os autores argumentam que essas métricas falham em detectar um fenômeno crítico: a esparsificação altera a influência comportamental de conteúdos específicos no output do modelo.

Um modelo esparso implantado pode manter a acurácia agregada enquanto, simultaneamente, amplifica conteúdo enganoso e suprime conteúdo corretivo, com esses deslocamentos se cancelando mutuamente no agregado. Além disso, diagnósticos padrão como pesos de atenção são insuficientes porque são endógenos à decisão de poda e frequentemente falham em testes de fidelidade. O artigo aborda a questão não respondida: Como a seleção de blocos altera a influência causal de um conteúdo específico no output do modelo em relação a um contrafactual denso correspondente?

2. Metodologia

O artigo propõe uma Auditoria Contrafactual Calibrada por Densidade para isolar o componente de influência específico da esparsificação. A metodologia consiste em três braços experimentais convergentes:

A. Validação Causal: Replay de Rota BSFA

Antes da auditoria principal, os autores estabelecem a causalidade usando o replay de rota de Block Sparse Flash Attention (BSFA) em quatro arquiteturas (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B).

• Mecanismo: O modelo é forçado a processar diferentes rotas de evidência (Ouro vs. Errada) sob atenção esparsa nativa.
• Controle: Todas as intervenções utilizam o mesmo caminho de kernel para eliminar confusões de caminho de kernel.
• Métrica: A mudança na margem da resposta "errada menos ouro" ao forçar uma rota errada versus uma rota de ouro.

B. A Auditoria Contrafactual Controlada

O protocolo central mede o efeito marginal de um conteúdo sob condições esparsas vs. densas usando sondas sentinelas correspondentes.

• Cartões Sentinela: Cada prompt contém três cartões de 128 tokens: Ouro (G) (rótulo correto), Veneno (P) (rótulo errado alvo) e Benigno (B) (apenas preenchimento). G e P diferem por exatamente um token em um índice congelado.
• Simetria de Seis Layouts: Todas as seis permutações dos três cartões são utilizadas para remover confusões de slot e ordem.
• Roteamento Forçado: Um passe de captura natural registra a rota do seletor. Passes de roteamento forçado correspondentes adicionam âncoras específicas (G, P, B ou R Neutro) à rota, mantendo o scaffold do prompt fixo.
• Calibração de Densidade: Um "Braço Denso" executa exatamente os mesmos prompts e layouts com atenção eager patcheada em uma razão de compressão $c=0$ (sem poda). Isso fornece uma linha de base dentro do próprio kernel.
• Métrica Primária ($\Delta$): A quantidade calibrada é definida como $\Delta = H^{sparse}_3 - H^{dense}_3$, onde $H_3 = M_P - M_B$ (a diferença de margem entre Veneno e Benigno).
  • $\Delta > 0$: A atenção esparsa amplifica a sonda mais do que a atenção densa.
  • $\Delta < 0$: A atenção densa amplifica a sonda mais.
• Verificação de Caminho de Kernel: Uma validação em $c=0$ confirma que a substituição de rota e a substituição de tokens produzem resultados idênticos dentro de uma discrepância negligenciável (0.044 logits), validando o método de subtração.

C. Evasão de KV-Cache (KVPress)

Para testar a generalidade estrutural, a auditoria é repetida usando evasão de nível de token (Expected Attention e SnapKV) com passagens de envenenamento de evidência reais, em vez de seleção de nível de bloco.

D. Ablação Mecanística

Uma ablação de atenção cross-block isola um bloco de sonda de toda a comunicação cross-block para medir a "perda de integração".

3. Resultados Principais

Validação Causal

• BSFA Route Replay: Em 16 células de modelo-tarefa-razão, forçar uma rota de evidência errada aumentou a margem da resposta errada em 13 células, com zero inversões de rótulo de replay de identidade. Isso confirma que o roteamento esparso altera causalmente a influência do conteúdo.

Padrões Competitivos

A auditoria revela dois padrões competitivos que determinam o efeito líquido:

1. Concentração de Sinal: O seletor retém preferencialmente blocos portadores de sinal (Ouro/Veneno) sobre blocos de preenchimento (Benigno). Traços de rotas naturais mostram $G \approx P \gg B$ em todos os pares de modelo-tarefa.
2. Perda de Integração: Descartar blocos interrompe os caminhos de atenção cross-block. Uma ablação isolando um bloco de sonda colapsou sua influência de 4.48 logits para exatamente zero, confirmando que a conectividade cross-block é necessária para que o conteúdo influencie o output.

Razão de Compressão como Variável de Controle

Uma varredura sistemática através de razões de compressão ($c \in \{0.25, 0.50, 0.75\}$) revela que o equilíbrio entre concentração de sinal e perda de integração é governado pela razão de compressão:

• Qwen3-8B no SCBench-KV: Exibe uma inversão total de sinal. $\Delta$ move-se de $-0.31$ (amplificação densa) em $c=0.25$ para $+0.93$ (forte amplificação esparsa) em $c=0.75$.
• Qwen3-8B no SciFact: Exibe uma segunda inversão de sinal, movendo-se de $+0.19$ para $-0.08$ (em direção à amplificação densa) conforme a compressão aumenta.
• Llama-3.1-8B: Move-se monotonicamente em direção a zero (reduzindo a magnitude da amplificação densa), mas permanece negativa.
• Tendência Geral: Três de quatro pares de modelo-tarefa movem-se para um $\Delta$ mais positivo (forte amplificação esparsa) em compressões mais altas, sugerindo que a compressão agressiva desloca o equilíbrio para a concentração de sinal, apesar da perda de integração.

Convergência

Três métodos independentes (BSFA route replay, controle de bloco top-k, e evasão de KV-cache) convergem para a conclusão de que a esparsificação altera a influência do conteúdo de formas que a acurácia agregada não consegue detectar.

4. Significância e Alegações

O artigo afirma fornecer o primeiro framework que audita como o descarte de blocos altera a influência de um conteúdo específico no output do modelo. Sua significância reside em:

1. Demonstrar Causalidade: Provar que o roteamento esparso não é apenas um atalho computacional, mas uma intervenção comportamental que altera qual evidência influencia a resposta.
2. Inovação Metodológica: Introduzir uma auditoria contrafactual calibrada por densidade que isola efeitos específicos de esparsificação usando sondas correspondentes, simetria de seis layouts e uma linha de base densa dentro do mesmo kernel.
3. Identificar Mecanismos Competitivos: Fornecer evidência causal direta para Concentração de Sinal (retenção de blocos de sinal) e Perda de Integração (interrupção de caminhos cross-block), mostrando que o efeito líquido depende da razão de compressão.
4. Limitações de Métricas Agregadas: Estabelecer que os benchmarks de acurácia agregada são insuficientes para a avaliação de atenção esparsa porque deslocamentos positivos e negativos de conteúdo podem se cancelar, mascarando mudanças comportamentais significativas.
5. Generalizabilidade: O protocolo é aplicável a qualquer modelo que exponha identidades de blocos e foi validado em quatro modelos de fundação de pesos abertos amplamente utilizados (classe de 7B–8B parâmetros).

Os autores concluem que, embora a acurácia agregada possa permanecer estável, a distribuição da influência muda sob esparsificação, potencialmente amplificando conteúdo enganoso ou suprimindo conteúdo corretivo, dependendo da razão de compressão. Isso exige novos protocolos de avaliação que considerem deslocamentos específicos de conteúdo em vez de depender apenas do desempenho agregado.