Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score

Título: Detecção Near OOD para Aprendizado de Prompt em Visão-Linguagem com Pontuação de Logit Contrastiva (CLS)

1. Problema Abordado

O artigo foca na detecção de Out-of-Distribution (OOD) "Near" (próxima) em modelos de aprendizado de prompt baseados em Visão-Linguagem (como CLIP).

• Contexto: Modelos como CLIP e técnicas de prompt learning (ex: CoOp, CoCoOp) alcançaram excelentes resultados em classificação few-shot (poucos exemplos). No entanto, eles são frequentemente sensíveis à formulação do texto e não foram projetados para detectar quando uma entrada pertence a uma distribuição diferente da de treinamento.
• Desafio Específico: A detecção de Near OOD é particularmente difícil. Diferente do Far OOD (onde os dados OOD são de domínios completamente diferentes, ex: cachorros vs. dígitos), o Near OOD envolve uma mudança semântica dentro do mesmo domínio visual (ex: imagens de flores, mas com classes de flores que não estavam no conjunto de treinamento).
• Limitação Existente: Métodos existentes de detecção OOD ou exigem re-treinamento do modelo, são específicos para arquiteturas com cabeças de classificação tradicionais (que o CLIP não possui por padrão), ou não são otimizados para a estrutura de logits baseada em similaridade cosinual do CLIP.

2. Metodologia Proposta: Contrastive Logit Score (CLS)

Os autores propõem uma função de pontuação post-hoc (após o treinamento), plug-and-play, chamada Contrastive Logit Score (CLS). O método não altera a arquitetura do modelo nem exige re-treinamento.

• Fundamentação Teórica:

  • O problema é formulado como um teste de hipóteses: $H_{ID}$ (dados in-distribution) vs. $H_{OOD}$ (dados near OOD).
  • Inspirado no teste de razão de verossimilhança, o objetivo é maximizar a separação entre a probabilidade de ser ID e a probabilidade de ser OOD.
  • Como a distribuição OOD é desconhecida, os autores introduzem uma classe "nula" ($y=0$) para representar dados que não pertencem a nenhuma classe conhecida.

• A Função de Pontuação:
  A pontuação CLS é derivada da diferença entre a melhor pontuação de classe conhecida e uma pontuação baseada em características genéricas do domínio:
  $$CLS(x) = \max_{i} \langle I, P_i \rangle - \beta \langle I, V \rangle$$
  Onde:

  • $\langle I, P_i \rangle$: Similaridade cosinual entre a imagem ($I$) e o prompt aprendido para a classe $i$ ($P_i$). O termo máximo representa a confiança na classe conhecida.
  • $\langle I, V \rangle$: Similaridade cosinual entre a imagem e os vetores de contexto aprendidos ($V$) sem nenhuma classe específica anexada. Este termo captura as características gerais do domínio in-distribution (ID).
  • $\beta$: Um fator de escala.

• Lógica de Funcionamento:

  • Amostras Atípicas ID (difíceis de classificar, mas ainda ID) tendem a ter alta similaridade com os vetores de contexto genéricos ($V$) e baixa confiança em classes específicas.
  • Amostras Near OOD podem ter alta similaridade com $V$ (pois pertencem ao mesmo domínio visual) mas não devem ser confundidas com classes ID.
  • Ao subtrair $\beta \langle I, V \rangle$ da pontuação máxima de classe, o método penaliza amostras que são "genéricas" demais (comuns em Near OOD ou ID atípico), melhorando a separação entre ID e Near OOD.

• Estimativa do Fator de Escala ($\beta$):
  Em vez de usar dados OOD (inacessíveis em produção), os autores propõem estimar $\beta$ usando apenas os dados de treinamento few-shot (ID). O valor ótimo de $\beta$ é aquele que minimiza a correlação entre a pontuação MaxLogit e a pontuação do contexto ($\langle I, V \rangle$). Isso é feito de forma analítica (fechada) usando a matriz de covariância, garantindo eficiência computacional.

3. Contribuições Chave

1. Novo Score (CLS): Introdução de uma função de pontuação específica para modelos de prompt learning de visão-linguagem, baseada na estrutura contrastiva do CLIP.
2. Solução Post-hoc e Plug-and-Play: O método pode ser aplicado a qualquer modelo de prompt learning (CoOp, MaPLe, LoCoOp, etc.) sem modificar os pesos do modelo ou re-treiná-lo.
3. Abordagem Teórica Sólida: Uso de testes de hipóteses e introdução de uma classe "nula" para justificar a subtração de características genéricas do domínio.
4. Estimativa Automática de Parâmetros: Um método eficiente para calcular o fator de escala $\beta$ apenas com dados de treinamento, eliminando a necessidade de dados OOD para calibração.

4. Resultados Experimentais

Os autores avaliaram o método em 13 conjuntos de dados diversos (incluindo ImageNet, Caltech101, Flowers102, CIFAR, etc.) e 8 modelos de ponta de prompt learning.

• Desempenho Near OOD:

  • O CLS alcançou uma melhoria de até 11,67% na AUROC (Área sob a Curva Característica Operacional do Receptor) para detecção Near OOD em comparação com a pontuação MaxLogit padrão.
  • Em média, houve melhoria em 100 de 104 avaliações (13 datasets x 8 modelos) ao usar CLS-M (baseado em MaxLogit).
  • O método superou consistentemente outras abordagens de detecção OOD adaptadas para CLIP, como NegPrompt e LoCoOp (GL-MCM).

• Desempenho Far OOD:

  • Embora focado em Near OOD, o método também obteve resultados competitivos em detecção Far OOD, ficando em segundo lugar apenas em uma margem muito pequena em relação ao melhor método específico para essa tarefa.

• Eficiência:

  • O método adiciona custo computacional insignificante, pois envolve apenas cálculos de similaridade cosinual e uma estimativa linear simples para $\beta$.

5. Significado e Impacto

• Segurança em Aplicações Críticas: A detecção robusta de Near OOD é vital para aplicações do mundo real como saúde, direção autônoma e automação industrial, onde o modelo deve saber "quando não sabe" (rejeitar entradas semânticamente próximas, mas fora da distribuição de treinamento).
• Generalização: A solução é agnóstica ao modelo base de prompt learning, tornando-se uma ferramenta universal para melhorar a confiabilidade de modelos de visão-linguagem sem o custo de re-treinamento.
• Preenchimento de Lacuna: O trabalho aborda uma lacuna crítica na literatura, que focava excessivamente na precisão de classificação e ignorava a capacidade de detecção de anomalias em cenários de few-shot com CLIP.

Em resumo, o artigo apresenta uma solução elegante e eficiente para um problema complexo, demonstrando que a simples subtração de uma pontuação de "contexto genérico" da pontuação de classe máxima, devidamente escalada, pode transformar a capacidade de detecção de anomalias de modelos de visão-linguagem modernos.