Resumo Técnico: Atenção Esparsa para Predição de Vocabulário Aberto Densa em CLIP

Declaração do Problema

O Contrastive Language–Image Pre-training (CLIP) e suas variantes de larga escala (ex: EVA-CLIP, SigLIP) destacam-se em semântica global de nível de imagem devido aos seus objetivos de treinamento contrastivo. No entanto, quando aplicados a tarefas de predição densa, como segmentação semântica ou recuperação de regiões finas, eles sofrem com uma localização espacial deficiente. O problema central reside no mecanismo de autoatenção de softmax denso utilizado nas camadas finais do codificador visual.

O softmax atribui massa de probabilidade estritamente positiva a cada par de tokens, incluindo tokens de fundo semanticamente irrelevantes. Embora eficaz para reunir contexto amplo durante o pré-treinamento, essa distribuição "densa" espalha a atenção por tokens de baixa saliência, criando um ruído que obscurece as pistas espaciais finas e localizadas necessárias para tarefas de nível de pixel ou de região. Métodos existentes que não requerem treinamento e modificam a fonte da atenção (ex: alternando de produto query-key para autocorrelação como $Q-Q$ ou $V-V$) melhoram a localização, mas falham em abordar o papel fundamental do normalizador softmax em espalhar a massa globalmente por todos os tokens.

Metodologia

Os autores propõem uma substituição de tempo de inferência, livre de treinamento, do normalizador softmax por linha nas camadas finais de autoatenção visual de um codificador CLIP congelado utilizando a transformação $\alpha$-entmax.

A Transformação $\alpha$-entmax

Ao contrário do softmax, que é a solução para um objetivo regularizado por entropia de Shannon, a $\alpha$-entmax é derivada de um regularizador de entropia $\alpha$ de Tsallis ($\alpha \in (1, 2]$).

• Mecanismo: Ela aplica um limiar $\tau$ dependente dos dados aos escores de atenção. Escores abaixo deste limiar são mapeados exatamente para zero, enquanto os escores restantes são renormalizados para somar um.
• Efeito: Isso atua como um denoiser implícito, zerando dependências contextualmente irrelevantes (a "cauda longa" de tokens de fundo de baixa relevância) e redistribuindo a massa de probabilidade sobre os tokens mais relevantes.
• Parâmetros: O método não introduz parâmetros treináveis e mantém a arquitetura e os pesos pré-treinados intactos. Ele generaliza suavemente o softmax (recuperando-o conforme $\alpha \to 1$).

Configuração Experimental

O estudo avalia esta substituição através de duas tarefas principais:

1. Segmentação Semântica Densa: Predição ao nível de pixel em Pascal VOC, Pascal Context e ADE20K.
2. Detecção de Vocabulário Aberto de Grão Fino (FG-OVD): Reconhecimento ao nível de região focado em discriminação de atributos (cor, material, padrão).

Os autores testam várias fontes de escore de atenção:

• Padrão ($QK^\top$): Atenção query-key nativa.
• Autocorrelação ($SS^\top$): Substituindo o produto query-key por produtos de auto-projeção de Query ($Q$), Key ($K$) ou Value ($V$) (ex: $Q-Q$, $K-K$, $V-V$ e suas combinações).

Os experimentos são conduzidos em backbones CLIP ViT-B/16 e ViT-L/14 congelados.

Principais Contribuições

1. Esparsificação Livre de Treinamento: O artigo avalia empiricamente a substituição do softmax pela $\alpha$-entmax nas camadas finais de codificadores CLIP congelados, isolando a densidade da atenção como uma única variável sem modificar a arquitetura ou os pesos do modelo.
2. Análise de Esparsidade da Atenção: Os autores estabelecem um achado central: o ganho de desempenho da esparsificação é proporcional à difusão da atenção de base.
   • Se a atenção de base já está concentrada na classe alvo, a entmax oferece pouco benefício ou pode degradar o desempenho ao descartar massa útil.
   • Se a atenção de base é difusa (espalhando massa sobre tokens não pertencentes à classe), a entmax melhora significativamente o desempenho ao podar a cauda irrelevante.
3. Resolução e Escala de Backbone: O estudo demonstra que os benefícios da esparsificação aumentam com resoluções de entrada mais altas e backbones maiores (ex: ViT-L/14), pois estas condições aumentam a contagem de tokens e a extensão da "cauda ruidosa" que a entmax pode podar.

Resultados

A avaliação revela comportamentos distintos através de diferentes distribuições de atenção:

• Autocorrelação + Entmax: A combinação de atenção de autocorrelação (ex: $Q-Q$, $K-K$, $V-V$) com $\alpha$-entmax produz ganhos consistentes e significativos.
  • No ADE20K (ViT-B/16, $Q-Q$), o mIoU melhorou de 5.69 para 12.90.
  • No FG-OVD (ViT-B/16, $Q-Q$), o mHME melhorou de 9.96 para 17.50.
  • Os ganhos são monotônicos entre datasets e escalas de modelo.
• Atenção $QK$ Padrão: Embora a entmax melhore a atenção $QK$ padrão, os escores absolutos permanecem inferiores aos dos métodos de autocorrelação. Isso ocorre porque a atenção $QK$ padrão é globalmente difusa por natureza; a entmax pode apenas reduzir a cauda de uma distribuição já ruidosa, mas o operador de agrupamento subjacente permanece subótimo para localização.
• Anomalia de Valor Único ($V-V$): No backbone menor ViT-B/16, a distribuição $V-V$ já concentra bem a massa nos tokens relevantes. Aplicar a entmax aqui degrada o desempenho (ex: -2.8 mIoU no VOC) porque o limiar descarta massa útil. No entanto, no ViT-L/14, que é mais difuso, o $V-V$ beneficia-se da entmax, confirmando a hipótese de "ganho proporcional à difusão".
• Escalonamento de Resolução: À medida que a resolução aumenta (224 $\to$ 448), a lacuna entre softmax e entmax aumenta monotonicamente para distribuições de autocorrelação, pois o aumento na contagem de tokens expande a cauda ruidosa que a entmax remove.

Significância e Alegações

O artigo afirma que a esparsidade da atenção é um fator relevante, porém amplamente negligenciado, para abordar as limitações do CLIP para predição densa.

• Denoising vs. Sparsifying: Os autores enfatizam que o benefício não vem meramente de esparsificar a distribuição, mas de uma remoção de ruído consciente do conteúdo. Uma máscara aleatória com o mesmo nível de esparsidade não produz ganhos semelhantes; o limiar específico dependente dos dados da entmax é crucial para identificar e zerar tokens irrelevantes.
• Separação de Variáveis: Ao manter a arquitetura congelada e alterar apenas o normalizador, o estudo separa o efeito da fonte do escore (ex: $QK$ vs. $VV$) da função de normalização (softmax vs. entmax). Isso esclarece que, embora a autocorrelação melhore a localização, o normalizador softmax ainda espalha a massa globalmente, e a entmax é necessária para realizar plenamente o potencial das características localizadas.
• Escopo Modesto: Os autores posicionam este trabalho como uma análise sistemática, em vez de um novo pipeline de estado da arte. O método é estritamente de tempo de inferência e livre de treinamento, desenhado para explicar onde e por que a esparsificação da atenção ajuda, em vez de propor um novo paradigma de treinamento.