MaskInversion: Localized Embeddings via Optimization of Explainability Maps

Título: MaskInversion: Localized Embeddings via Optimization of Explainability Maps

1. O Problema

Os modelos fundamentais (foundation models) de visão e linguagem, como o CLIP, alcançaram resultados notáveis no alinhamento global entre imagem e texto. No entanto, eles apresentam limitações significativas na criação de representações para regiões específicas de uma imagem.

• Limitação Atual: Esses modelos são treinados para alinhar tokens globais ([CLS]) com descrições de texto, ignorando detalhes locais.
• Soluções Insuficientes: Abordagens ingênuas, como cortar a região de interesse (crop) ou agregar embeddings de tokens locais, falham frequentemente. O corte remove o contexto importante, enquanto a agregação de tokens locais pode não resultar em uma representação alinhada, pois os tokens locais nem sempre correspondem à representação correta da região.
• Abordagens Existentes: Métodos anteriores exigem ajuste fino (fine-tuning) do modelo base com dados de máscaras (ex: AlphaCLIP) ou modificam a imagem de entrada (ex: desfoque, círculos coloridos), o que pode introduzir viés ou perda de contexto.

2. Metodologia: MaskInversion

O MaskInversion propõe uma abordagem inovadora para gerar um embedding (vetor de representação) localizado para uma região específica de uma imagem, definida por uma máscara de consulta (query mask), sem modificar os pesos do modelo fundamental pré-treinado.

O processo funciona em três etapas principais:

A. Inicialização e Otimização via Mapas de Explicabilidade

1. Inicialização: O método começa inicializando um token de embedding localizado ($LET_m$) copiando o token global [CLS] do modelo congelado (ex: CLIP).
2. Mapa de Explicabilidade: Calcula-se um mapa de explicabilidade (heatmap) derivado desse token inicial. Este mapa indica quais regiões da imagem o modelo está "prestando atenção" para gerar aquela representação. O artigo utiliza o LeGrad (um método baseado em gradientes otimizado para Vision Transformers) como método padrão.
3. Otimização Iterativa: O token $LET_m$ é tratado como um vetor aprendível. O objetivo é ajustar esse vetor para que o seu mapa de explicabilidade corresponda à máscara de consulta binária fornecida.
   • A função de perda principal é a Dice Loss (comum em segmentação), que mede a sobreposição entre o mapa de explicabilidade gerado e a máscara de consulta.
   • O token é refinado iterativamente via descida de gradiente até que o mapa de explicabilidade se alinhe com a região desejada.

B. Perda de Regularização (Contexto Global)

Para evitar que a representação local perca completamente o contexto da imagem inteira (o que pode ser prejudicial em tarefas como recuperação de expressões de referência), o método introduz uma perda de regularização auxiliar.

• Esta perda minimiza a distância entre o token aprendido e o embedding global original da imagem.
• Um hiperparâmetro $\alpha$ controla o equilíbrio entre a precisão local e a retenção do contexto global.

C. Decomposição de Gradiente (Eficiência Computacional)

Um dos maiores desafios é o custo computacional de calcular gradientes de segunda ordem a cada iteração para gerar os mapas de explicabilidade.

• Solução: Os autores propõem uma estratégia de decomposição de gradiente.
• Como o token aprendido $LET_m$ é independente das ativações do modelo (após a inicialização), o gradiente do mapa de explicabilidade pode ser decomposto em um produto escalar entre o token e um termo pré-computado ($\frac{\partial \bar{z}}{\partial A}$).
• Isso permite calcular o gradiente do mapa de explicabilidade uma única vez por imagem, reutilizando-o para todas as iterações de otimização e para múltiplas máscaras, reduzindo drasticamente o tempo de execução.

3. Principais Contribuições

1. Embedding Localizado sem Ajuste Fino: O método gera representações específicas para regiões em tempo de teste (test-time) utilizando modelos fundamentais congelados, atuando como um substituto direto ("drop-in replacement") para o token [CLS].
2. Otimização via Mapas de Explicabilidade: Introduz um novo paradigma onde a otimização de um vetor de embedding é guiada pela minimização da discrepância entre o mapa de atenção do modelo e a máscara desejada.
3. Eficiência Computacional: A estratégia de decomposição de gradiente torna o processo viável para múltiplas máscaras na mesma imagem, eliminando a necessidade de retropropagação completa a cada passo.
4. Versatilidade: O método é agnóstico ao modelo base e pode ser aplicado a qualquer modelo com um mecanismo de explicabilidade diferenciável.

4. Resultados Experimentais

O método foi avaliado em várias tarefas de downstream em zero-shot (sem ajuste fino), superando o estado da arte (SOTA) em diversos benchmarks:

• Recuperação de Expressões de Referência (Referring Expression Retrieval): Em conjuntos de dados como RefCOCO, RefCOCO+ e PhraseCut, o MaskInversion alcançou a melhor precisão (Acc@1), superando métodos que exigem ajuste fino (como AlphaCLIP) e métodos sem treino (como CLIPSurgery, MaskCLIP).
• Recuperação de Classes (Class Retrieval): Em tarefas de classificação zero-shot de regiões específicas (PascalVOC, PascalContext, MSCOCO, OpenImagesV7), o método superou todas as linhas de base, incluindo o AlphaCLIP.
  • Destaque: O desempenho escala bem com o tamanho do modelo base (ViT-B, ViT-L, ViT-H), mostrando ganhos significativos em modelos maiores onde outros métodos falham.
• Legendas Localizadas (Localized Captioning): Ao substituir o token [CLS] no CLIPCap, o método conseguiu gerar legendas precisas focadas na região mascarada, superando o CLIP padrão e o AlphaCLIP.
• Geração de Imagens Localizada: Integrado com modelos de difusão (via $\lambda$-ECLIPSE), o embedding gerado permitiu a criação de variações de imagens focadas estritamente nos objetos dentro da máscara.

5. Significado e Impacto

O MaskInversion representa um avanço significativo na utilização de modelos fundamentais de visão e linguagem para tarefas que exigem precisão local.

• Eficiência de Recursos: Ao evitar o ajuste fino massivo de modelos grandes, o método democratiza o acesso a capacidades de localização precisa, permitindo que qualquer usuário aplique essas técnicas com apenas um modelo pré-treinado e uma máscara.
• Flexibilidade: A capacidade de gerar representações locais sob demanda para qualquer região de interesse abre novas possibilidades para aplicações em recuperação de imagens, edição de imagens, e compreensão visual detalhada.
• Validação de Explicabilidade: O trabalho demonstra que os mapas de explicabilidade (geralmente usados para interpretação) podem ser otimizados ativamente para criar novas representações semânticas, unindo os campos de explicabilidade e aprendizado de representações.

Em resumo, o MaskInversion oferece uma solução elegante e eficiente para o problema de "alinhamento local" em modelos fundamentais, superando as limitações de métodos anteriores que dependiam de modificação de entrada ou ajuste fino pesado.