⚡ electrical engineering

Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models

Este artigo propõe um método de seleção de atributos condicionado à distribuição que extrai descritores visuais diretamente de imagens alvo em vez de depender de descrições de LLM condicionadas ao nome da classe, melhorando significamente a robustez da classificação zero-shot através de mudanças de distribuição, ao mesmo tempo em que oferece um resumo interpretável das características do conjunto de dados.

Autores originais: Gautam Rajendrakumar Gare, Jia Shi, Zhiqiu Lin, Deepak Pathak, John Galeotti, Deva Ramanan

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gautam Rajendrakumar Gare, Jia Shi, Zhiqiu Lin, Deepak Pathak, John Galeotti, Deva Ramanan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Detetive, a Descrição e o Esboço

Imagine que você é um detetive tentando identificar um suspeito em uma fila de fotos. Você tem um assistente poderoso, uma IA, que é incrivelmente boa em combinar palavras com imagens. Esta IA já viu milhões de fotos e sabe que "cachorros" geralmente têm pelos e que "morangos" geralmente são vermelhos. Este é o mundo dos Modelos de Visão-Linguagem: computadores que podem olhar para uma imagem e entender as palavras que a descrevem, ou olhar para uma palavra e encontrar a imagem correspondente.

Mas aqui está a parte complicada: às vezes, as fotos que você tem não são os registros usuais, de alta definição e coloridos. Talvez sejam esboços em preto e branco, ou pinturas, ou fotos tiradas com uma iluminação estranha. Se o seu assistente de IA depender apenas de uma definição de livro didático de um "morango" (vermelho, redondo, com sementes), ele pode se confundir ao ver um morango desenhado como uma linha cinza em um pedaço de papel. Ele pode pensar: "Isso não é vermelho, então não pode ser um morango!"

Por um tempo, os pesquisadores pensaram que a melhor maneira de ajudar a IA era pedir a um bot de linguagem superinteligente (como um chatbot muito avançado) para escrever uma descrição detalhada de cada objeto. Eles pensaram: "Se dissermos à IA que morangos são vermelhos e têm sementes, ela fará um ótimo trabalho". Mas este artigo faz uma pergunta simples e persistente: a IA está realmente olhando para a imagem para tomar sua decisão, ou está apenas confiando cegamente na descrição que lhe demos? Os autores deste estudo decidiram colocar essa ideia à prova e o que descobriram muda a forma como devemos ensinar esses detetives digitais.

O Grande Erro do "Morango Vermelho"

A história começa com um truque popular usado por cientistas. Para tornar a IA melhor em reconhecer coisas sem mostrar a ela milhares de exemplos (um processo chamado "aprendizado zero-shot" ou zero-shot learning), eles pedem a um modelo de linguagem para descrever uma classe de objetos. Para "morango", o modelo pode dizer: "É vermelho, tem folhas verdes e é coberto por sementes". Eles então alimentam a IA de visão com essa descrição junto com o nome da classe.

O artigo revela uma falha chocante neste método. Quando a IA vê uma foto normal de um morango, ela acerta cerca de 60% das vezes. Mas os autores perceberam que a IA não estava realmente olhando para a evidência visual da vermelhidão do morango; ela estava apenas contando com a palavra "morango" para fazer o trabalho pesado. Para provar isso, eles jogaram um jogo de "remover o nome". Eles pegaram a descrição ("vermelho, tem sementes") e a forneceram à IA sem dizer a palavra "morango".

O resultado foi um desastre. A precisão não apenas caiu um pouco; ela desabou de 59,5% para 15,5%. Era como se a IA subitamente tivesse esquecido como um morango se parecia no momento em que você parou de dizer a palavra. A descrição era inútil por si só.

Por quê? Porque o modelo de linguagem que escreveu a descrição nunca tinha visto as fotos específicas que a IA estava olhando. Ele estava descrevendo um morango "perfeito" de seus dados de treinamento. Mas no mundo real, especificamente em um conjunto de dados chamado ImageNet-Sketch, os morangos eram todos desenhos de linha em preto e branco. O modelo de linguagem insistia: "Morangos são vermelhos!", enquanto a IA olhava para um esboço cinza e pensava: "Isso não é vermelho, então não é um morango". A descrição estava lutando contra a imagem, não ajudando-a.

A Solução: Deixe a Imagem Falar

O diagnóstico dos autores foi simples: os atributos (as descrições) estavam sendo escolhidos com base no nome do objeto, não na imagem do objeto. Eles argumentaram que, se você quiser descrever um grupo de fotos, não deve perguntar a um livro como é um morango; você deve perguntar às próprias fotos.

Então, eles construíram um novo método. Em vez de pedir a um bot de linguagem para adivinhar as características, eles deixaram a IA olhar para algumas imagens reais do grupo alvo (como os morangos em esboço) e perguntar: "Quais palavras de nossa lista gigante de possíveis descrições combinam com estas imagens específicas?".

Eles pegaram um enorme conjunto de palavras potenciais (como "vermelho", "redondo", "esboçado", "sem cor", "pontilhado") e as pontuaram contra as imagens reais. Para os morangos em esboço, as palavras "vermelho" e "maduro" receberam pontuações baixas porque as imagens não eram vermelhas. Mas palavras como "formato de coração", "pontilhado" e "sem cor" receberam pontuações altas porque realmente combinavam com os desenhos.

Os Resultados: Um Novo Tipo de Detetive

Quando usaram essas palavras selecionadas pela imagem para ajudar a IA, os resultados foram muito mais impressionantes, especialmente quando o nome da classe era removido.

O Jeito Antigo (Descritores de LLM): Sem o nome da classe, a precisão foi de 15,5%.
O Novo Jeito (Selecionado pela Imagem): Sem o nome da classe, a precisão saltou para 23,8% usando o mesmo conjunto de palavras.

Isso provou que o método de seleção foi o herói, não apenas o vocabulário. Ao deixar as imagens escolherem as palavras, a IA pôde lidar com situações estranhas muito melhor.

O artigo também mostrou que este método é incrivelmente rápido e eficiente.

Velocidade: Levou menos de um minuto para configurar o novo sistema.
Comparação: Um método concorrente chamado CoOp, que tenta "ajustar" a IA ajustando números invisíveis, levou 14 horas para treinar e ainda teve um desempenho inferior quando havia apenas uma imagem por classe (60,13% vs 57,15%).
Aprendizado de Poucos Exemplos (Few-Shot Learning): Com apenas uma imagem por classe, o novo método superou o método de 14 horas de treinamento. Isso é enorme porque significa que você não precisa de um supercomputador ou de dias de espera para ter um sistema inteligente e legível.

Por Que Isso Importa: Lendo a Mente dos Dados

A parte mais legal desta descoberta é que as palavras selecionadas agem como um resumo dos próprios dados. Como as palavras são escolhidas com base no que as imagens realmente parecem, você pode usar as palavras para descrever como um conjunto de dados mudou.

Por exemplo, se você comparar as palavras escolhidas para fotos normais versus as palavras escolhidas para as fotos em esboço, a diferença conta uma história. As fotos normais podem destacar "vermelho" e "verde", enquanto as fotos em esboço destacam "sem cor", "cinza" e "desenho animado". Você pode literalmente subtrair uma lista de palavras da outra para obter uma frase que explica a diferença entre os dois grupos de imagens.

Os autores também mostraram que isso funciona para coisas que são difíceis de nomear. Se você tiver a foto de uma fruta estranha com um nome científico que a IA não conhece (como Cristidiscoidea), a IA geralmente falha. Mas se você mostrar algumas fotos e deixar que ela escolha as palavras visuais (como "espinhoso", "amarelo", "pequeno"), ela consegue reconhecer o objeto mesmo sem saber o nome sofisticado.

Conclusão

Este artigo sugere uma mudança importante na forma como construímos a IA. Não devemos apenas pedir a modelos de linguagem para descrever as coisas com base em seus nomes; devemos deixar as imagens nos ensinar quais palavras importam.

O que eles descartaram: Provaram que simplesmente adicionar uma descrição gerada por linguagem a um prompt não ajuda realmente a IA a "ver" a imagem melhor; a IA estava apenas adivinhando com base no nome da classe.
O que eles descobriram: Selecionar atributos diretamente das imagens torna a IA mais robusta, rápida e interpretável.
A Ressalva: Embora este método seja ótimo para dados estranhos ou alterados, ele não substitui completamente a necessidade de nomes de classes em situações padrão. Os melhores resultados ainda vêm da combinação do nome da classe com as palavras selecionadas pela imagem. Mas para entender por que uma IA cometeu um erro, ou para lidar com dados que não se parecem em nada com o conjunto de treinamento, deixar a imagem escolher as palavras é a estratégia vencedora.

Em suma, se você quer que sua IA entenda o mundo, não diga apenas como as coisas deveriam parecer. Mostre a ela como elas realmente são, e deixe que ela conte a história.

Resumo Técnico: Seleção de Atributos Condicionada à Distribuição para Modelos de Visão-Linguagem

Problema
As abordagens atuais para classificação zero-shot interpretável frequentemente utilizam Grandes Modelos de Linguagem (LLMs) para gerar descritores textuais para nomes de classes (por exemplo, instruindo um LLM a descrever um "morango" como "vermelho" e "com sementes"). Esses descritores são então calculados pela média para formar prompts para Modelos de Visão-Linguagem (VLMs) como o CLIP. O artigo identifica uma falha crítica nesse paradigma: esses descritores são condicionados unicamente ao nome da classe e ao conhecimento geral, não à distribuição da imagem alvo.

Os autores demonstram que, quando o nome da classe é removido do prompt, deixando apenas os descritores gerados pelo LLM, a acurácia no ImageNet colapsa de 59,5% para 15,5%. Isso indica que os próprios descritores fornecem pouca evidência visual; o desempenho depende fortemente do nome da classe atuando como uma âncora semântica. Além disso, sob mudança de distribuição (ex: ImageNet-Sketch), esses descritores condicionados ao rótulo falham catastroficamente porque descrevem o conceito canônico (ex: "morangos vermelhos") em vez dos dados reais (ex: "desenhos de linha incolores"), induzindo o classificador ao erro de forma ativa.

Metodologia: Seleção de Atributos Condicionada à Distribuição
A solução proposta desloca a variável de condicionamento do nome da classe para as imagens alvo. O método, denominado Seleção de Atributos Condicionada à Distribuição, opera da seguinte forma:

Agrupamento de Atributos (Attribute Pooling): Um grande conjunto fixo de strings de atributos candidatos é agregado a partir de conjuntos de dados existentes (VAW, LSA) e descritores gerados por LLM. Nomes de classes explícitos e duplicatas são removidos deste conjunto.
Pontuação Condicionada à Imagem: Utilizando um modelo CLIP congelado, o método codifica a coleção de imagens alvo e o conjunto de textos de atributos. Para cada imagem, ele computa um vetor de similaridades de cosseno escalonadas entre o embedding da imagem e todos os embeddings de texto dos atributos.
Pareamento Classe-Atributo: Para cada classe, estima-se uma pontuação de quão bem cada atributo descreve a classe. Isso é feito ou pela média das pontuações dos atributos sobre as imagens de treinamento da classe, ou treinando uma sonda linear simples nos atributos.
Seleção: Os $k$ atributos com as maiores pontuações para cada classe são selecionados para formar o conjunto de prompts da classe.
Classificação: Durante a inferência, uma imagem de teste é classificada confrontando seu embedding com os prompts de atributos selecionados. Os prompts podem ser usados com ou sem o nome da classe.

Crucialmente, os codificadores de atributos permanecem congelados e nenhum par imagem-texto é usado para treinamento; o único componente treinável é uma sonda linear usada para ranqueamento, que requer dados rotulados mínimos.

Principais Contribuições

Diagnóstico do Confundimento do Nome da Classe: Os autores estabelecem que os descritores gerados por LLM derivam sua utilidade quase inteiramente do nome da classe. Remover o nome causa uma queda de 44 pontos na acurácia, provando que os prompts de descritores padrão não fornecem evidência real ao nível de atributo.
Mecanismo de Seleção Condicionado à Imagem: O artigo propõe um procedimento de baixo custo de treinamento que seleciona atributos baseando-se na distribuição das imagens alvo, em vez do rótulo. Ao manter o pool de atributos constante e alterar apenas o mecanismo de seleção, os autores mostram que o condicionamento nas imagens recupera 3,9 pontos percentuais de acurácia sobre o pool de LLM sozinho (15,5% para 19,4%) e atinge 23,8% com um pool maior (VAW+LSA) em um cenário de apenas atributos.
Espaço de Características Interpretável: Os atributos selecionados servem como um resumo legível do conjunto de dados. Os autores demonstram que subtrair os perfis médios de atributos de dois conjuntos de dados resulta em uma descrição baseada em palavras da mudança de distribuição (ex: identificando "incolor" e "desenho animado" como mudanças dominantes no ImageNet-Sketch).

Resultos

Desempenho de Apenas Atributos: Sem o nome da classe, o método proposto atinge 23,8% de acurácia no ImageNet (usando o pool VAW+LSA e os 5 melhores atributos), superando significativamente a linha de base de 15,5% dos descritores de LLM. Com o orçamento de atributos sem limite e um esquema de votação ponderada, a acurácia chega a 45,5%.
Mudança de Distribuição: O método mantém sua vantagem relativa através de quatro variantes de mudança do ImageNet (V2, Sketch, A, R), com a maior margem observada no ImageNet-R.
Aprendizado Few-Shot: Com apenas uma imagem por classe, o método atinge 60,13% de acurácia, superando o CoOp (57,15%) em 3 pontos. Ele leva menos de um minuto comparado às 14 horas do CoOp. No entanto, o método estagna em cerca de 61,4% de acurácia conforme o número de shots aumenta, enquanto métodos baseados em gradiente como o CoOp continuam a melhorar, indicando que a abordagem de seleção é mais adequada para regimes de extreme few-shot.
Aplicações:
- Descrição de Mudança (Shift Description): O método quantifica com sucesso lacunas de domínio em palavras (ex: descrevendo o ImageNet-R como "desenho animado" e "pintura").
- Mudança de Cor: Em uma tarefa de classificação de frutas com variantes de cor, o método mitiga a tendência do CLIP de se fixar na cor, recuperando 4 pontos de acurácia perdidos devido à mudança de cor.
- Vocabulários Não Analisáveis: Para nomes científicos (iNaturalist) que o codificador de texto do CLIP não consegue processar, o método melhora a acurácia de 3% para 7,25% ao substituir o nome por atributos visuais.
- Localização: O método permite a localização de objetos sem o nome da classe, computando similaridades de atributos em patches de imagem.

Significância e Alegações
O artigo argumenta que, para classificação zero-shot interpretável, os atributos devem ser derivados da distribuição dos dados, não do rótulo. Os autores afirmam que seu método fornece uma alternativa forte e legível por humanos para o ajuste de prompts (prompt tuning) no regime de extreme few-shot, não exigendo prompts suaves aprendidos.

A significância estende-se além do algoritmo específico: os autores propõem uma mudança de protocolo para a área. Eles argumentam que qualquer trabalho que reivindique interpretabilidade ao nível de atributo via prompts de descritores deve reportar a acurácia livre de nome de classe, pois o protocolo padrão (incluindo o nome da classe) confunde a evidência do atributo com o ensembling de prompts. Além disso, para pipelines de gargalo de conceitos (concept-bottleneck), o artigo sugere que os pools de conceitos devem ser selecionados contra a distribuição de implantação, em vez de serem gerados a partir de rótulos, para garantir robustez sob mudança de distribuição.

Os autores mantêm a modéstia quanto às limitações: o desempenho de apenas atributos ainda não iguala o de prompts com nome de classe (23,8% vs 60,8%), e o método não pretende resolver o aprendizado de médio shot onde métodos baseados em gradiente se destacam. Adicionalmente, o desempenho do método é limitado pela qualidade e relevância do pool de atributos pré-existente.