Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

Resumo Técnico: Mitigando o Gap de Modalidade na Detecção de OOD com Poucos Exemplos (Few-Shot)

Definição do Problema
Modelos de Visão-Linguagem (VLMs), particularmente o CLIP, tornaram-se proeminentes para a detecção de Out-of-Distribution (OOD). No entanto, os métodos existentes que dependem exclusivamente de protótipos de texto (ex: MCM) sofrem do "gap de modalidade" — um fenômeno onde os embeddings de imagem e texto ocupam regiões distintas no espaço de embedding. Essa separação faz com que imagens OOD exibam alta similaridade com protótipos de texto In-Distribution (ID) devido à proximidade espacial em vez da relevância semântica, levando a altas taxas de falsos positivos (FPR). Embora existam métodos de ajuste de poucos exemplos (few-shot tuning), eles focam primariamente no aprendizado de prompts de texto negativos e não abordam explicitamente o desalinhamento fundamental entre as modalidades de imagem e texto.

Metodologia: SUPREME
Os autores propõem o SUPREME (um framework de ajuste de poucos exemplos para detecção de OOD com CLIP) para mitigar o gap de modalidade. A abordagem consiste em três componentes principais:

1. Protótipos Multimodais (Fundamentação Teórica e Empírica):
   O artigo estabelece primeiro que a incorporação de protótipos de imagem ID junto aos protótipos de texto ID melhora a detecção de OOD sem treinamento adicional. Ao calcular a média dos embeddings de imagem para cada classe, os autores definem um score de Protótipos Multimodais ($S_{MMP}$). A análise teórica (Teorema 1) e os resultados empíricos mostram que essa abordagem de protótipo duplo aumenta a separação de score entre amostras ID e OOD, reduzindo efetivamente o impacto negativo do gap de modalidade.

2. Geração de Prompt Enviesado (BPG - Biased Prompt Generation):
   Para aumentar ainda mais a generalização durante o ajuste de poucos exemplos, o SUPREME introduz o BPG. Diferente de métodos anteriores que condicionam prompts apenas em contextos aprendíveis e embeddings de imagem, o BPG condiciona os protótipos de texto em três componentes:

   • Tokens de contexto aprendíveis.
   • Embeddings de imagem mapeados ($m(I)$).
   • Um viés de domínio de imagem estimado baseado em Gaussiano ($\mathcal{N}(\mu, \Sigma)$).
     Este viés é estimado a partir da distribuição dos embeddings de imagem ID. Ao incorporar este viés na geração do prompt, o método evita o overfitting em dados limitados de poucos exemplos e alinha os protótipos de texto mais próximos da verdadeira distribuição das imagens ID, aumentando assim a fusão imagem-texto.

3. Consistência Imagem-Texto (ITC - Image-Text Consistency):
   Para minimizar diretamente o gap de modalidade, o SUPREME emprega dois mapeamentos aprendíveis: um mapeamento de imagem-para-texto ($f_{img-txt}$) e um de texto-para-imagem ($f_{txt-img}$). Estes são otimizados usando duas funções de perda enquanto mantêm o backbone do CLIP congelado:

   • Perda intermodal ($\ell_{inter}$): Minimiza a distância entre os embeddings mapeados e seus correspondentes originais (ex: garantindo que $f_{img-txt}(I)$ se alinhe com os protótipos de texto).
   • Perda intramodal ($\ell_{intra}$): Reconstrói o embedding original a partir do embedding mapeado para evitar a perda de informação (ex: $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. Score de Protótipo Generalizado Multimodal ($S_{GMP}$):
   Baseando-se nos achados multimodais, os autores propõem uma nova função de pontuação de OOD, $S_{GMP}$. Este score aproveita similaridades unimodais e cross-modais. Ele calcula a média das similaridades máximas entre:

   • O embedding de imagem original ($I$) e os protótipos de texto/imagem.
   • O embedding de imagem mapeado ($I' = f_{img-txt}(I)$) e os protótipos de texto/imagem.
     Esta integração garante que tanto as representações originais quanto as alinhadas contribuam para a decisão final, aumentando a robustez.

Principais Contribuições

• Análise do Gap de Modalidade: O artigo fornece evidências teóricas e empíricas de que o gap de modalidade impacta negativamente a detecção de OOD baseada em VLM e que a incorporação de protótipos de imagem mitiga esse efeito sem necessidade de treinamento.
• Framework SUPREME: Um novo método de ajuste de poucos exemplos composto por BPG (para melhorar a generalização via viés de domínio) e ITC (para reduzir o gap de modalidade via perdas de consistência).
• Nova Métrica de Pontuação: A introdução do $S_{GMP}$, que explora protótipos multimodais e similaridades cross-modais para melhorar a separação entre distribuições ID e OOD.
• Desempenho de Estado da Arte: Experimentos extensos demonstrando superação consistente sobre métodos existentes de detecção de OOD zero-shot e few-shot.

Resultados Experimentais
Os autores avaliaram o SUPREME no ImageNet-1k e ImageNet-100 como datasets ID contra quatro datasets OOD diversos (iNaturalist, SUN, Places, Texture) e o benchmark OpenOOD.

• ImageNet-1k: O SUPREME alcançou um FPR95 médio de 20,70% e um AUROC de 95,38%, superando baselines fortes como NegPrompt (23,01% FPR95) e LoCoOp (28,66% FPR95).
• ImageNet-100: O método alcançou um FPR95 médio de 8,47% e um AUROC de 98,08%, superando significativamente CoOp e CoCoOp.
• OOD Difícil (ImageNet-10/20): O SUPREME demonstrou robustez em cenários com alta sobreposição semântica, alcançando o menor FPR95 (4,10% e 3,60%) em ambas as direções.
• Estudos de Ablação: A remoção do BPG ou do ITC resultou em degradação significativa de desempenho (ex: FPR95 subindo para ~28%), confirmando a necessidade de ambos os módulos. O uso de $S_{GMP}$ em vez de $S_{MCM}$ também gerou melhorias mensuráveis.
• Acurácia ID: O SUPREME manteve alta acurácia de classificação ID (71,8% Top-1 no ImageNet-1k), superando outros métodos focados em OOD.

Significância e Alegações
O artigo afirma que o SUPREME aborda uma limitação crítica na atual detecção de OOD baseada em VLM: o gap de modalidade. Ao ir além dos protótipos puramente de texto e introduzir mecanismos para alinhar os espaços de imagem e texto (via BPG e ITC), o método reduz significativamente os falsos positivos. Os autores enfatizam que sua abordagem melhora a confiabilidade sem exigir acesso a dados OOD durante o treinamento, baseando-se apenas em um pequeno subconjunto de dados ID (16 shots por classe). O trabalho sugere que modelar explicitamente a relação entre as modalidades é essencial para uma detecção de OOD robusta em implantações do mundo real.