🤖 AI

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

O artigo apresenta o SCAN, um framework sem parâmetros para adaptação few-shot visão-linguagem que melhora o desempenho ao empregar roteamento negativo específico da consulta, prompts contrastivos gerados por LLM e pesos de fusão adaptativos para abordar efetivamente a confusão de classes específica da consulta e as mudanças de distribuição.

Autores originais: Sriram Mandalika

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sriram Mandalika

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas ligeiramente rígido, a reconhecer diferentes tipos de aves. Você tem apenas algumas fotos de cada ave para mostrar a ele (isso é chamado de "aprendizado com poucos exemplos"). O robô já sabe muito sobre o mundo porque leu toda a internet, mas ainda fica confuso quando duas aves se parecem muito, como um Falcão-de-cauda-vermelha e um Falcão-de-ombros-vermelhos.

O artigo apresenta um novo método chamado SCAN (Negativos Seletivos Conscientes de Confusão) para corrigir essa confusão. Aqui está como funciona, dividido em três ideias simples:

1. O "Guarda de Segurança Inteligente" (Roteamento Adaptativo à Consulta)

O Jeito Antigo: Imagine um guarda de segurança em um museu que, sempre que um visitante entra, grita: "Você NÃO é uma pintura, você NÃO é uma estátua, você NÃO é um vaso..." para cada objeto único do museu, tudo ao mesmo tempo. É um barulho alto e bagunçado que não ajuda o visitante a descobrir o que ele está realmente olhando. O robô faz isso também: ele tenta dizer a cada imagem o que ela não é, mesmo que seja impossível que aquela imagem seja confundida com essas coisas.

O Jeito SCAN: O SCAN age como um guarda de segurança inteligente que olha para o visitante primeiro. Se o visitante parecer um Falcão, o guarda sussurra apenas: "Você definitivamente não é um Falcão-de-ombros-vermelhos", porque isso é a única coisa com a qual você poderia ser confundido. O guarda ignora todas as outras aves (como Pinguins ou Flamingos) porque você claramente não é elas.

Por que ajuda: Ao focar apenas nas coisas específicas com as quais a imagem provavelmente será confundida, o robô toma uma decisão muito mais precisa, sem se distrair com ruído irrelevante. Ele faz isso sem precisar de memória extra ou treinamento adicional.

2. O "Crítico de Arte Especialista" (Prompts Inicializados por LLM)

O Jeito Antigo: Ao descrever uma ave para o robô, os métodos antigos poderiam apenas dizer: "Esta é uma foto de um Falcão-de-cauda-vermelha". Se o robô visse uma ave semelhante, poderia pensar: "Bem, isso também é uma foto de uma ave, então talvez seja a mesma". É muito vago.

O Jeito SCAN: O SCAN contrata um Crítico de Arte de IA (um Modelo de Linguagem Grande) para escrever uma descrição muito melhor. Em vez de apenas nomear a ave, o crítico diz: "Este é um Falcão-de-cauda-vermelha, que você pode distinguir de um Falcão-de-ombros-vermelhos porque o Falcão tem uma cauda ferruginosa e uma barriga branca, enquanto o outro tem uma cauda barrada".

Por que ajuda: Isso dá ao robô "pistas" específicas para procurar que distinguem itens semelhantes. É a diferença entre dizer "Não coma aquilo" e dizer "Não coma aquele cogumelo; ele parece o comestível, mas tem manchas vermelhas".

3. A "Balança Intuitiva" (Fusão Adaptativa)

O Jeito Antigo: O robô tem duas formas de pensar: olhar para a imagem (Visual) e ler a descrição (Texto). Geralmente, os humanos têm que decidir manualmente quanto confiar na imagem versus o texto. É como tentar equilibrar uma balança adivinhando o peso de cada lado. Se você adivinhar errado, o robô fica confuso.

O Jeito SCAN: O SCAN tem uma balança mágica que calcula automaticamente o equilíbrio. Se as imagens forem muito claras e distintas, a balança inclina para confiar mais na imagem. Se as imagens estiverem borradas, mas os nomes forem muito diferentes, a balança inclina para confiar mais no texto. Ela faz isso olhando para os poucos exemplos que você deu a ela e decidindo a melhor mistura na hora, sem qualquer adivinhação humana.

Os Resultados: Quão Bem Funcionou?

Os autores testaram esse sistema de "Guarda Inteligente" em 11 desafios diferentes, desde reconhecer flores até detectar carros e texturas.

A Pontuação: Em média, o SCAN foi 4,6% mais preciso que os melhores métodos anteriores quando recebeu 16 exemplos.
As Grandes Vitórias: Brilhou mais intensamente nas tarefas mais difíceis (como distinguir aves ou carros muito semelhantes), onde melhorou a precisão em até 7,7%.
As Coisas Difíceis: Mesmo quando os dados estavam bagunçados (como se 50% dos rótulos estivessem errados, como um professor marcando as respostas erradas em uma prova), o SCAN ainda se saiu melhor que a concorrência. Também foi muito bom em reconhecer coisas que nunca tinha visto antes em iluminação ou estilos ligeiramente diferentes (como um esboço de um gato em vez de uma foto).

Resumo

Em resumo, o SCAN ensina o robô a parar de gritar "Não!" para tudo e começar a sussurrar "Não!" apenas para as coisas que importam. Ele usa um crítico inteligente para explicar por que as coisas são diferentes, e sabe automaticamente se deve confiar em seus olhos ou em seu cérebro. Isso o torna muito melhor em aprender coisas novas a partir de apenas alguns exemplos.

Resumo Técnico: SCAN – Negativos Seletivos Conscientes de Confusão para Modelos Visão-Linguagem com Poucos Exemplos

Declaração do Problema

A adaptação com poucos exemplos de Modelos Visão-Linguagem (VLMs) como o CLIP é fundamentalmente limitada pela forma como os sinais de classes negativas são tratados durante a inferência. Os métodos existentes geralmente aplicam supressão uniforme de negativos em todas as classes para cada consulta, independentemente dos padrões específicos de confusão daquela consulta. Essa abordagem ignora a realidade de que as confusões mais prejudiciais são específicas à consulta e mudam dependendo da geometria do conjunto de suporte. Consequentemente, os sinais negativos são frequentemente diluídos em classes irrelevantes, em vez de serem concentrados nas classes com as quais uma imagem específica tem maior probabilidade de ser confundida. Além disso, os métodos atuais dependem de modelos de texto negativos genéricos e exigem ajuste manual do compromisso entre as modalidades visual e textual, limitando sua adaptabilidade a tarefas de granularidade fina e a mudanças de distribuição.

Metodologia: Framework SCAN

Os autores propõem o SCAN (Negativos Seletivos Conscientes de Confusão), um framework sem parâmetros projetado para refinar a adaptação de VLMs com poucos exemplos por meio de três mecanismos direcionados:

1. Roteamento de Negativos Adaptativo à Consulta

Em vez de aplicar uma penalidade negativa fixa a todas as classes, o SCAN roteia dinamicamente a supressão de negativos no momento da inferência.

Mecanismo: Para cada imagem de consulta, o sistema identifica as $K$ classes mais confusáveis com base em suas pontuações positivas.
Roteamento: A supressão de negativos é restrita exclusivamente a esse conjunto de confusão $N(q)$ . Um peso de confusão por consulta $\beta_c(q)$ é calculado usando um softmax sobre as pontuações positivas das classes confusáveis.
Benefício: Isso concentra a penalidade onde é mais importante, afinando os limites de decisão por consulta sem introduzir parâmetros adicionais ou sobrecarga de treinamento.

2. Prompts Contrastivos em Pares Inicializados por LLM

O SCAN substitui modelos de texto negativos genéricos (por exemplo, "não é uma {CLASSE}") por supervisão textual discriminativa.

Geração: Para cada classe, o sistema identifica seus $k$ vizinhos visualmente mais confusáveis no espaço de incorporação do CLIP. Um LLM é acionado offline para gerar descrições que caracterizam a classe-alvo contra esses vizinhos específicos (por exemplo, "uma foto de $c$ , distinguível de $c'$ por [atributo visual]").
Integração: Essas descrições contrastivas em pares servem como os pesos de texto negativos ( $w^-_c$ ), fornecendo linguagem discriminativa fundamentada que vai além da simples negação de nomes de classes.

3. Fusão Adaptativa de Modalidades Sem Parâmetros

O framework elimina a necessidade de ajuste manual de hiperparâmetros relacionado ao equilíbrio entre os ramos visual e textual.

Estimativa: O peso de fusão $\lambda$ é estimado diretamente a partir da geometria do conjunto de suporte.
Lógica: Calcula-se a discriminabilidade visual de Fisher ( $\sigma_v$ , razão entre a variância interclasse e intraclasse) e a discriminabilidade textual ( $\sigma_t$ , derivada da similaridade cosseno em pares dos pesos de texto).
Adaptação: O peso é calculado como $\lambda = \text{clip}(\frac{\sigma_v}{\sigma_v + \sigma_t})$ . Isso favorece naturalmente o ramo visual quando os recursos são discriminativos e o ramo textual quando os nomes das classes estão semanticamente próximos.

Contribuições Principais

O artigo delineia três contribuições primárias:

Roteamento de Negativos Condicionado à Consulta: Um mecanismo que concentra a supressão de negativos nas classes com as quais cada imagem de teste tem maior probabilidade de ser confundida, em vez de aplicar penalidades uniformes.
Prompts Contrastivos Inicializados por LLM: A introdução de descrições contrastivas em pares geradas offline que caracterizam classes contra seus vizinhos semânticos mais próximos, substituindo modelos de texto negativos genéricos.
Fusão Adaptativa de Modalidades: Um método sem parâmetros para inferir o peso ótimo visual-textual exclusivamente a partir da geometria do conjunto de suporte, removendo requisitos de ajuste manual.

Resultados Experimentais

O SCAN foi avaliado em 11 benchmarks padrão (incluindo ImageNet, Caltech101, Flowers102 e conjuntos de dados de granularidade fina como Stanford Cars e FGVC Aircraft) e quatro variantes Fora de Distribuição (OOD) do ImageNet.

Desempenho com Poucos Exemplos: O SCAN supera consistentemente métodos anteriores baseados em prompts (CoOp, CoCoOp) e baseados em adaptadores (CLIP-Adapter, Tip-Adapter-F, TaskRes).
- Com 16 exemplos, o SCAN alcança uma melhoria média de 4,61% sobre a linha de base mais forte (SimNL).
- Os ganhos são mais pronunciados em conjuntos de dados de granularidade fina onde a confusão interclasse é severa: 7,70% de melhoria no DTD e FGVC Aircraft, e 5,90% no Stanford Cars.
Robustez a Mudanças de Distribuição: O SCAN demonstra forte generalização em ImageNet-V2, ImageNet-Sketch, ImageNet-A e ImageNet-R, mostrando uma melhoria média de 2,95% sobre o SimNL. O maior ganho (+3,20%) é observado no ImageNet-Sketch.
Resiliência a Ruído de Rótulo: Sob corrupção significativa de rótulos (até 50% de ruído em ImageNet com 16 exemplos), o SCAN mantém desempenho robusto. Notavelmente, sua precisão sob 50% de ruído (67,68%) supera o desempenho de linha de base limpa do método concorrente mais forte (SimNL em 66,52%).

Significado e Alegações

O artigo afirma que o SCAN aborda a limitação fundamental de tratar todos os sinais negativos como iguais. Ao mudar o paradigma para roteamento de negativos específico à consulta, o método afina efetivamente os limites de decisão em cenários de alta confusão sem aumentar os parâmetros no momento da inferência.

Os autores afirmam que melhorias direcionadas ao ramo negativo e à supervisão textual podem produzir ganhos substanciais e consistentes em diversos domínios. A capacidade do framework de generalizar sob mudanças de distribuição e manter a robustez sob ruído severo de rótulos sugere que o roteamento adaptativo à consulta é intrinsecamente tolerante a ruídos. O trabalho posiciona o SCAN como uma melhoria plug-and-play compatível com pipelines existentes de poucos exemplos baseados em adaptadores, oferecendo um caminho para modelos visão-linguagem com poucos exemplos mais confiáveis em cenários do mundo real onde os dados são escassos e ruidosos.