🤖 AI

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

Este artigo propõe um framework pseudo-supervisionado online que aprende protótipos de classe visuais a partir de dados de teste não rotulados para preencher a lacuna de modalidade intrínseca entre representações textuais e visuais, alcançando assim a detecção pós-hoc de distribuição fora do padrão com desempenho de última geração sem a necessidade de dados de treinamento dentro da distribuição.

Autores originais: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma bibliotecária muito inteligente e bem-letrada (o modelo de IA) que passou anos estudando uma biblioteca massiva de livros sobre tópicos específicos, como "gatos", "carros" e "árvores". Essa bibliotecária é excelente em identificar essas coisas. No entanto, no mundo real, as pessoas podem entrar e mostrar à bibliotecária uma foto de um "torradeira brilhante" ou de uma "banana voando". São coisas que a bibliotecária nunca viu antes.

O objetivo da detecção de Fora de Distribuição (OOD) é ensinar a bibliotecária a dizer: "Não sei o que é isso", em vez de chutar que é um gato ou um carro e errar.

O Jeito Antigo: O Problema do "Manual"

Recentemente, cientistas descobriram uma nova ferramenta: um Modelo Visão-Linguagem (como o CLIP). Pense nele como uma bibliotecária que consegue ler tanto imagens quanto palavras. Para ajudar a bibliotecária a reconhecer "gatos", o método antigo simplesmente escrevia a palavra "gato" em um cartão e dizia à bibliotecária: "Esta palavra representa a ideia de um gato".

O problema é que palavras e imagens são idiomas diferentes.

A palavra "gato" vive no mundo do texto.
A foto de um gato vive no mundo das imagens.

O artigo argumenta que usar simplesmente a palavra "gato" como substituto da imagem de um gato é como tentar navegar em uma cidade usando um mapa de outra cidade. Embora o mapa e a cidade compartilhem alguns nomes, as ruas não se alinham perfeitamente. Existe uma "Lacuna de Modalidade" — uma incompatibilidade estrutural entre a descrição textual e a realidade visual real. Não importa o quão criativamente você reescreva o prompt (as instruções), você não consegue corrigir essa lacuna, porque o texto e a imagem simplesmente não vivem no mesmo "bairro" no cérebro da IA.

A Nova Solução: Aprendendo Fazendo (A Abordagem "Online")

Os autores propõem uma nova maneira de corrigir isso. Em vez de depender dos cartões de texto estáticos, eles permitem que a bibliotecária aprenda o mapa visual diretamente enquanto trabalha.

Veja como o método deles funciona, usando uma analogia simples:

A Configuração: A bibliotecária começa com os cartões de texto (o jeito antigo) como um ponto de partida aproximado.
O Fluxo: À medida que as pessoas entram com novas fotos (dados de teste), a bibliotecária as observa.
A Adivinhação: A bibliotecária faz um "palpite suave" baseado em seu conhecimento atual. "Isso parece 80% um gato, 20% um cachorro."
A Atualização:
- Se a bibliotecária estiver muito confiante de que é um gato, ela ajusta ligeiramente seu "mapa mental de gatos" para corresponder à foto real que acabou de ver.
- Se a bibliotecária estiver muito confiante de que não é um gato (é um objeto desconhecido), ela ajusta seu "mapa de objetos desconhecidos".
- Se a bibliotecária estiver confusa, ela ignora a foto por enquanto.
O Resultado: Com o tempo, a bibliotecária para de depender dos cartões de texto imperfeitos e constrói um mapa visual perfeito do que "gato" e "desconhecido" realmente parecem no mundo real.

Por Que Isso Importa

O artigo prova matematicamente que o jeito antigo (usar texto como protótipo) tem um defeito permanente porque texto e imagens são fundamentalmente diferentes. Seu novo método corrige isso calibrando o mapa sobre a marcha usando as próprias imagens, sem precisar de nenhum rótulo humano ou retreinamento de todo o sistema.

A Prova

Eles testaram isso em conjuntos de dados enormes (como o ImageNet, que possui milhares de categorias). Os resultados foram impressionantes:

O novo método foi muito melhor em identificar "desconhecidos" (como a banana voando) do que métodos anteriores.
Reduziu significativamente o número de vezes em que a IA adivinhou com confiança a coisa errada (Falsos Positivos).
Funcionou bem mesmo quando as fotos foram embaralhadas em ordens diferentes ou vieram de fontes distintas.

Em resumo, o artigo diz: "Não leia apenas o rótulo; olhe para a foto e aprenda com ela enquanto avança." Isso permite que a IA seja muito mais confiável quando encontra coisas que nunca viu antes.

Resumo Técnico: Respeitando a Lacuna de Modalidade na Detecção Pós-hoc Fora da Distribuição com Modelos Pré-treinados de Visão e Linguagem

Declaração do Problema

A detecção fora da distribuição (OOD) é crítica para garantir a confiabilidade de modelos de aprendizado de máquina em cenários de mundo aberto, onde amostras de teste podem pertencer a classes desconhecidas não vistas durante o treinamento. Embora avanços recentes em Modelos Pré-treinados de Visão e Linguagem (VLMs), particularmente o CLIP, tenham permitido a detecção zero-shot de OOD sem acesso a dados de treinamento dentro da distribuição (ID), as abordagens existentes dependem de um paradigma específico: tratar os embeddings de texto de nomes de classes como protótipos de classe.

Este artigo desafia a validade desse paradigma de "texto-como-protótipo". Ele argumenta que os métodos existentes assumem implicitamente que as representações textuais estão bem alinhadas com os protótipos visuais ótimos de classe. No entanto, evidências recentes sugerem uma persistente "lacuna de modalidade" onde as representações de texto e visão em modelos baseados em CLIP permanecem distintas. Os autores postulam que protótipos textuais prontos para uso geralmente estão desalinhados com os protótipos visuais ótimos, criando uma lacuna estrutural intrínseca que não pode ser resolvida apenas por engenharia de prompts ou mineração de rótulos negativos. Esse desalinhamento leva a um desempenho sub-ótimo na detecção de OOD.

Metodologia

Para abordar a lacuna de modalidade sob restrições pós-hoc (onde nenhum dado de treinamento ID está disponível), o artigo propõe um framework de aprendizado pseudo-supervisionado online que aprende e atualiza diretamente os protótipos de classe dentro do espaço de características visuais.

1. Caracterização Teórica da Lacuna de Modalidade

Os autores fornecem primeiro uma análise teórica sob uma formulação supervisionada idealizada. Eles derivam uma expressão de forma fechada para protótipos visuais de classe ótimos, provando que esses protótipos devem residir inteiramente dentro do espaço de características visuais. Em contraste, protótipos derivados de texto frequentemente contêm componentes ortogonais a esse subespaço visual.

Teorema 1: Estabelece que os protótipos visuais ótimos são combinações lineares de características visuais.
Teorema 2: Prova um limite inferior não nulo para a distância entre protótipos textuais e protótipos visuais ótimos sempre que os embeddings de texto contiverem componentes fora do subespaço de características visuais. Isso formaliza a "lacuna de modalidade" como uma limitação estrutural.

2. Framework de Aprendizado Pseudo-supervisionado Online

Como rótulos verdadeiros não estão disponíveis no cenário zero-shot, o método utiliza as fortes capacidades de transferência zero-shot de modelos CLIP pré-treinados para gerar pseudo-rótulos suaves.

Objetivo Pseudo-supervisionado: O framework substitui rótulos verdadeiros duros por previsões suaves do VLM pré-treinado para construir uma função de perda pseudo-supervisionada.
Otimização Online: Um procedimento de otimização online é desenvolvido para atualizar incrementalmente os protótipos visuais usando fluxos de dados de teste não rotulados. Isso respeita a restrição pós-hoc ao processar os dados conforme chegam.
Estratégia de Atualização de Protótipos:
- O espaço de rótulos ID é expandido para incluir $L$ pseudo-classes OOD (marcadores).
- Uma regra de limiarização dura baseada em pontuações OOD existentes (por exemplo, de NegLabel) classifica amostras de teste entrantes como "positivas" (provavelmente ID) ou "negativas" (provavelmente OOD).
- Os protótipos de classes ID são atualizados apenas quando uma amostra é classificada como ID; os protótipos de pseudo-classes OOD são atualizados quando uma amostra é classificada como OOD.
- Amostras com pontuações incertas são ignoradas.
Garantias de Convergência: O Teorema 3 fornece garantias teóricas para a convergência do procedimento de otimização online proposto, limitando o arrependimento cumulativo por $O(\sqrt{N})$ .

3. Pontuação OOD

A pontuação final de OOD para uma imagem de teste é computada comparando a característica visual da imagem contra os protótipos visuais atualizados (tanto classes ID quanto pseudo-classes OOD) usando uma medida de similaridade baseada em softmax, em vez de depender dos embeddings de texto originais.

Principais Contribuições

Insight Teórico: O artigo demonstra teoricamente que a suposição de "texto-como-protótipo" na detecção pós-hoc de OOD baseada em CLIP é fundamentalmente falha devido a uma lacuna de modalidade intrínseca. Ele prova que embeddings de texto não podem representar perfeitamente protótipos visuais ótimos sem calibração visual.
Framework Inovador: Introduz um framework de aprendizado pseudo-supervisionado online que aprende protótipos de classe diretamente no espaço de características visuais usando fluxos de teste não rotulados e previsões suaves de VLM, efetivamente fechando a lacuna de modalidade.
Garantias Teóricas: Os autores fornecem garantias rigorosas de convergência para seu algoritmo de otimização online.
Desempenho de Estado da Arte: O método alcança novos resultados de estado da arte em diversos benchmarks de detecção de OOD, incluindo ImageNet-1K, OpenOOD e conjuntos de dados CIFAR, superando bases fortes como AdaNeg e NegLabel.

Resultados Experimentais

Extensos experimentos validam a eficácia do método proposto:

ImageNet-1K: O método alcança um AUROC de 97,75% e um FPR95 de 12,79%, superando o estado da arte anterior (AdaNeg) por margens significativas (por exemplo, +1,09% AUROC e -6,13% FPR95).
Benchmark OpenOOD: Melhorias consistentes são observadas em conjuntos de dados Near-OOD e Far-OOD, demonstrando robustez através de diferentes tipos de deslocamentos de distribuição.
Benchmarks CIFAR: O método mostra ganhos consistentes nas configurações CIFAR-10 e CIFAR-100.
Estudos de Ablação: O método é mostrado como robusto a escolhas de hiperparâmetros, eficaz em diferentes arquiteturas de codificador visual (ResNet-50, ViT-B/32, ViT-L/14) e escalável para resoluções de entrada maiores.
Generalização de Domínio: A abordagem mantém desempenho superior quando os dados ID passam por deslocamentos de domínio (por exemplo, ImageNet-A, ImageNet-R, ImageNet-S).

Significado e Alegações

O artigo afirma que seu significado principal reside em identificar e abordar uma limitação estrutural no paradigma atual de detecção zero-shot de OOD. Ao afastar-se da dependência de embeddings de texto como protótipos estáticos e, em vez disso, aprender protótipos visuais dinâmicos e calibrados a partir de dados de tempo de teste, o método oferece uma solução mais fundamentada teoricamente e empiricamente eficaz.

Os autores enfatizam que sua abordagem não é meramente um ajuste de engenharia, mas uma mudança fundamental na forma como os protótipos são construídos para detecção de OOD baseada em VLM. Eles afirmam que a lacuna de modalidade é uma questão estrutural independente de estratégias de mineração de rótulos negativos, e seu framework fornece uma maneira principial de mitigar essa lacuna, levando a ganhos consistentes de desempenho em diversos benchmarks sem exigir retreinamento em dados ID.