💻 computer science

Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection

O artigo apresenta o Head Ensemble Classifiers (HEC), um método de classificação sem treinamento que utiliza condicionamento por prompts e a seleção de cabeças de atenção discriminativas em Modelos de Linguagem e Visão Grandes (LVLMs) para superar o desempenho de métodos baseados em CLIP em tarefas de classificação zero-shot e few-shot.

Autores originais: Adhemar de Senneville, Xavier Bou, Jérémy Anger, Rafael Grompone, Gabriele Facciolo

Publicado 2026-03-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Adhemar de Senneville, Xavier Bou, Jérémy Anger, Rafael Grompone, Gabriele Facciolo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio poliglota (um modelo de Inteligência Artificial chamado LVLM) que consegue descrever fotos, responder perguntas complexas e até traduzir textos com perfeição. Ele é como um professor universitário que sabe de tudo.

No entanto, quando você pede a esse professor para fazer um teste de múltipla escolha simples (como "Isso é um cachorro ou um gato?"), ele se sai mal. É como se ele soubesse tudo sobre o mundo, mas tivesse dificuldade em escolher a resposta certa em um formulário de prova.

Por que isso acontece? O problema é que, embora esse "professor" tenha estudado com o mesmo livro didático que os especialistas em classificação (chamados CLIP), ele foi treinado para conversar, não para apontar. Ele mistura as informações de forma muito complexa, e na hora da prova, ele se confunde.

Aqui entra a solução proposta pelos autores deste artigo, chamada HEC (Classificadores de Ensemble de Cabeças). Vamos usar uma analogia para entender como eles consertaram isso:

1. O Problema: O "Cérebro" vs. A "Resposta"

Pense no modelo de IA como um grande escritório com centenas de especialistas (chamados "cabeças de atenção") trabalhando juntos.

Quando o modelo vê uma foto de um cachorro, todos esses especialistas olham para a imagem.
A maioria deles está focada em detalhes interessantes para uma conversa (a cor do pelo, o ambiente, a emoção).
Mas, para a tarefa de classificação, apenas alguns poucos especialistas estão realmente focados na diferença crucial entre "Boxer" e "Beagle".
O modelo original pega a opinião de todos e tira uma média, o que dilui a resposta correta. É como pedir a opinião de 100 pessoas para decidir um jogo de futebol, mas a maioria está falando sobre o clima, e apenas 5 sabem as regras.

2. A Solução: O "Detetive" e o "Filtro Mágico"

Os autores criaram um método com duas partes principais para consertar isso sem precisar reensinar o modelo (o que seria caro e demorado):

A. O Prompt de Condicionamento (O "Grito de Alerta")

Antes de olhar a foto, eles dão uma instrução específica ao modelo.

Sem instrução: "O que é isso?" (O modelo pensa em tudo: cor, tamanho, onde está).
Com instrução: "Qual é a raça desse cachorro?" (O modelo agora sabe que precisa focar apenas nas características da raça).

É como se você dissesse a um detetive: "Não procure por quem roubou o cofre, procure por quem usava luvas". Isso muda o foco do "professor" e faz com que as informações relevantes fiquem mais nítidas.

B. A Seleção de Cabeças (O "Filtro de Ouro")

Aqui está a parte genial. Em vez de usar a resposta final do modelo (que é a média de todos os especialistas), o método HEC faz o seguinte:

Ele olha para todos os "especialistas" (as cabeças de atenção) dentro do cérebro da IA.
Ele usa uma técnica matemática (chamada Análise Discriminante Gaussiana) para identificar quais são os 20 melhores especialistas para aquela tarefa específica.
Ele ignora os outros 800 especialistas que estão "falando besteira" ou focando em detalhes irrelevantes.
Ele junta apenas as opiniões desses 20 melhores para tomar a decisão final.

É como se, em vez de ouvir o coro inteiro de uma igreja, você escolhesse ouvir apenas os 20 melhores cantores para decidir quem tem a melhor voz.

3. Os Resultados: O "Super-Héroe"

Com essa combinação de instrução clara + seleção dos melhores especialistas, o modelo que antes era ruim em testes de classificação passou a:

Aprender com poucos exemplos: Se você mostrar 4 fotos de um tipo de flor, ele aprende a identificar todas as outras imediatamente (Few-Shot).
Concorrer com os melhores: Ele superou os modelos que eram considerados os "reis" da classificação (os baseados em CLIP), mas sem precisar de nenhum treinamento extra.

Resumo em uma frase

Os autores descobriram que, embora o "cérebro" da IA seja confuso na hora de dar a resposta final, ele tem pequenos especialistas internos que são gênios na tarefa. O método deles é apenas perguntar a coisa certa e ouvir apenas esses gênios, ignorando o resto do barulho.

Isso permite que modelos de IA gigantes, que já existem, sejam usados para tarefas de classificação de imagens com uma precisão incrível, sem gastar milhões de dólares para treiná-los do zero.

1. Problema e Motivação

Os Modelos de Linguagem e Visão Grandes (LVLMs) atuais demonstram desempenho excepcional em tarefas de "zero-shot" como legendagem de imagens e resposta a perguntas visuais (VQA). No entanto, eles sofrem significativamente em tarefas de classificação de imagens, especialmente em cenários de few-shot (poucos exemplos), ficando aquém dos métodos baseados em CLIP.

O paradoxo identificado pelos autores é que muitos LVLMs utilizam codificadores de visão pré-treinados com CLIP, mas falham em replicar o desempenho de classificação do CLIP. A razão principal é a arquitetura:

CLIP: Usa codificadores de visão e texto independentes. A classificação é baseada na correspondência direta entre a imagem e o nome da classe.
LVLMs: Processam tokens de visão e texto de forma conjunta através de um decodificador LLM compartilhado. Embora isso permita raciocínio multimodal rico, a saída final (o token de resumo) muitas vezes não é otimizada para discriminação de classes finas, resultando em previsões fracas.

O objetivo do trabalho é explorar as representações internas dos LVLMs para superar essa limitação, sem a necessidade de fine-tuning (ajuste fino) adicional.

2. Metodologia: HEC (Head Ensemble Classifiers)

Os autores propõem o HEC, um classificador training-free (sem treinamento) que extrai e combina representações de cabeças de atenção específicas do decodificador LLM. A metodologia baseia-se em dois pilares principais:

A. Condicionamento de Prompt (Prompt Conditioning)

Os autores demonstram que a forma como o prompt é estruturado altera drasticamente a qualidade das representações internas. Eles introduzem três níveis de condicionamento:

Condicionamento de Tarefa: Define o objetivo (ex: "O que é este objeto?").
Condicionamento de Domínio: Especifica o contexto (ex: "Qual é a raça deste cão?").
Condicionamento de Classe: Lista as classes candidatas no prompt (ex: "Entre: boxer, yorkshire, beagle...").

Experimentos mostram que o condicionamento de domínio e classe melhora a separabilidade das classes nas distribuições internas do modelo, algo que modelos de visão puros não conseguem fazer.

B. Seleção e Ensemble de Cabeças (Head Selection & Ensemble)

Em vez de usar apenas o token de resumo final (summary token) do LLM, o HEC extrai vetores de atenção de cabeças individuais.

Análise Interna: Eles descobriram que um subconjunto esparso de cabeças de atenção ("cabeças de visão" e "cabeças de texto") possui poder discriminativo superior ao token de resumo para tarefas específicas.
Mecanismo de Seleção (GDA): Inspirados na Análise Discriminante Gaussiana (GDA), eles utilizam o conjunto de suporte (support set) para ranquear as cabeças.
- Para Few-Shot (HEC-V): Selecionam as "cabeças de visão" que maximizam a separabilidade das classes no conjunto de suporte.
- Para Zero-Shot (HEC-T): Selecionam as "cabeças de texto" que melhor discriminam as classes sem exemplos de suporte.
Ensemble: As previsões das top- $k$ cabeças selecionadas são combinadas (via média de probabilidades) para formar o classificador final.

Existem três variantes do classificador:

HEC-V: Focado em visão (few-shot), usa cabeças de visão selecionadas.
HEC-T: Focado em texto (zero-shot), usa cabeças de texto selecionadas.
HEC-VT: Combina ambos (vision-text few-shot), somando as probabilidades dos dois classificadores.

3. Contribuições Principais

Descoberta de Representações Internas: Evidência experimental de que o condicionamento por prompt melhora a separabilidade de classes nas distribuições internas dos LVLMs e que um subconjunto esparso de cabeças de atenção supera o token de resumo padrão.
Método de Seleção de Cabeças: Introdução de um método prático e training-free para selecionar e combinar as melhores cabeças de atenção em tempo de teste usando GDA.
Desempenho SOTA: O método alcança o estado da arte em classificação few-shot e zero-shot em 12 conjuntos de dados, fechando a lacuna de desempenho entre métodos baseados em CLIP e LVLMs sem necessidade de ajuste fino.

4. Resultados Experimentais

O método foi avaliado em 12 conjuntos de dados (incluindo benchmarks de classificação fina como OxfordPets, StanfordCars, FGVCAircraft e CUB-200) usando modelos LVLMs modernos (Qwen2-VL e LLaVA-OV).

Few-Shot de Visão (HEC-V):
- Alcançou uma precisão média de 82.4%, superando todos os métodos baseados em LVLMs (incluindo SAVs) e a maioria dos métodos baseados em CLIP.
- Superou o próprio backbone de visão (DFN) em 11 dos 12 conjuntos de dados, demonstrando que o decodificador LLM, quando condicionado corretamente, refina as características visuais.
Zero-Shot de Texto (HEC-T):
- Melhorou a precisão zero-shot do Qwen2-VL em +10.1% em média, superando o token de resumo padrão e competindo com os backbones CLIP originais.
- Demonstrou que as "cabeças de texto" selecionadas são transferíveis entre domínios.
Few-Shot Visão-Texto (HEC-VT):
- Combinar HEC-V e HEC-T resultou no melhor desempenho geral, superando as melhores linhas de base baseadas em CLIP em média.
- Destacou-se em conjuntos de dados menos saturados e focados em texturas, cenas e ações humanas.

5. Significado e Conclusão

O trabalho é significativo porque desafia a noção de que LVLMs são inerentemente inferiores ao CLIP para classificação. Ele demonstra que:

A arquitetura de LVLMs possui representações ricas e discriminativas que são subutilizadas pela saída padrão do modelo.
O condicionamento de prompt é uma ferramenta poderosa para adaptar o modelo a domínios específicos sem treinamento.
A seleção de cabeças de atenção permite extrair o "melhor" de um modelo multimodal para tarefas específicas de classificação.

O HEC oferece uma solução eficiente e escalável para classificação de imagens com poucos exemplos, eliminando a necessidade de fine-tuning custoso e abrindo caminho para o uso de LVLMs em aplicações de classificação de alta precisão em cenários de dados limitados. O código foi disponibilizado publicamente para reprodutibilidade.