Large Multimodal Models as General In-Context Classifiers

Este artigo demonstra que os Grandes Modelos Multimodais (LMMs), quando equipados com a capacidade de aprendizado em contexto e o método proposto CIRCLE para refinar exemplos, podem superar os modelos contrastivos tradicionais em tarefas de classificação tanto em cenários de mundo fechado quanto aberto, posicionando-se como classificadores unificados e flexíveis.

O essencial

Imagine que você tem dois tipos de "super-heróis" da inteligência artificial para ajudar a identificar coisas em fotos:

1. O "Especialista em Listas" (CLIP/VLMs): Ele é como um bibliotecário muito rápido. Se você lhe der uma lista de opções (ex: "cachorro", "gato", "carro"), ele olha a foto e diz: "Isso parece mais com um cachorro". Ele é ótimo quando você já sabe o que procurar, mas ele trava se você não der a lista.
2. O "Contador de Histórias" (LMMs): Ele é como um artista criativo que adora conversar. Se você mostrar uma foto, ele pode descrever a cena, contar uma história ou responder a perguntas complexas. O problema é que, quando você pede apenas para "classificar" (dizer o nome exato), ele às vezes se perde, inventa coisas ou dá respostas muito vagas.

O Grande Problema

Até agora, os cientistas achavam que o "Especialista em Listas" era sempre melhor para classificar fotos. O "Contador de Histórias" era visto como bom para conversas, mas ruim para tarefas de precisão.

Mas este artigo diz: "Esperem aí! Ninguém está usando o "Contador de Histórias" da maneira certa!"

A Solução: O Poder do "Contexto" (A Aula Particular)

Os autores descobriram que o "Contador de Histórias" fica incrível se você der a ele alguns exemplos antes de fazer a pergunta. É como dar uma aula particular antes de um teste.

• Sem exemplos: Você mostra uma foto de um "MD-80" (um avião) e o modelo diz apenas "um avião".
• Com exemplos: Você mostra 16 fotos de aviões diferentes com seus nomes corretos e diz: "Olha como eu quero que você responda".
• Resultado: O modelo entende o padrão e diz: "Ah, é um MD-80!". Ele aprende na hora, sem precisar ser reprogramado.

O Desafio do Mundo Real (O "Mundo Aberto")

Agora, imagine um cenário mais difícil: você não tem uma lista de nomes. Você tem uma caixa cheia de fotos de coisas desconhecidas e precisa dizer o que são.

• Se você pedir para o modelo "adivinhar" os nomes das fotos de exemplo (para usá-los como aula), ele pode errar. Se ele errar o exemplo, ele ensina errado para a próxima foto. É como tentar aprender matemática com um professor que está bêbado: você vai aprender errado.

A Estrela do Show: O CIRCLE

Para resolver isso, os autores criaram um método chamado CIRCLE. Pense no CIRCLE como um professor particular que se auto-corrigiu.

1. Primeira Tentativa: O modelo olha para as fotos de exemplo e dá um "chute" (rótulo falso) para cada uma.
2. A Roda Gira (Iteração): O modelo olha para todas as outras fotos de exemplo (menos a que está analisando) e diz: "Olha, se eu olhar para o conjunto de todas essas outras fotos, o que essa foto aqui realmente é?".
3. Refinamento: Ele usa o contexto das outras fotos para corrigir o próprio "chute". Se a maioria das fotos ao redor são de "barcos", e ele achou que aquela era um "carro", ele muda a resposta para "barco".
4. Repetição: Ele faz isso várias vezes, polindo os rótulos até que todos façam sentido juntos.

O Resultado Final

Com o CIRCLE, o "Contador de Histórias" (LMM) se torna tão bom quanto, ou até melhor que o "Especialista em Listas" (CLIP).

• No mundo fechado (lista de opções): Ele aprende rápido com poucos exemplos e bate o recorde.
• No mundo aberto (sem lista): Ele consegue entender nuances e detalhes que os outros modelos perdem, porque ele usa o contexto para "conversar" consigo mesmo e chegar à resposta mais precisa.

Resumo em uma Analogia

Imagine que você precisa identificar frutas em um mercado:

• O CLIP é um funcionário que só funciona se você tiver um catálogo com fotos de todas as frutas. Se a fruta não estiver no catálogo, ele não sabe o que é.
• O LMM sem ajuda é um turista que nunca foi ao mercado. Ele vê uma fruta e diz "é uma coisa redonda e vermelha".
• O LMM com CIRCLE é um turista que, antes de entrar, olhou para uma cesta de frutas, pediu para um amigo (o próprio modelo) tentar adivinhar o nome de cada uma, e depois revisou a lista juntos: "Espera, essa aqui parece mais com uma maçã do que com um tomate, vamos mudar". No final, ele entra no mercado e identifica tudo perfeitamente, mesmo sem um catálogo oficial.

Conclusão: O artigo prova que os modelos generativos (que conversam) podem ser os melhores classificadores de imagens do mundo, desde que a gente saiba usar o "poder do contexto" e dê a eles uma chance de se corrigirem antes de responder.

Resumo técnico

1. O Problema

O campo de classificação de imagens tem sido dominado por Modelos de Linguagem-Vision (VLMs) contrastivos, como o CLIP. Esses modelos são conhecidos por seu excelente desempenho em tarefas de classificação "zero-shot" (sem treinamento específico), onde a similaridade entre a imagem e rótulos de texto pré-definidos é calculada em um espaço de embedding compartilhado.

Por outro lado, os Modelos Multimodais Grandes (LMMs), que são modelos generativos (baseados em LLMs), têm sido frequentemente considerados inferiores aos VLMs em tarefas puramente discriminativas (classificação). Estudos anteriores sugeriam que, embora os LMMs sejam superiores em tarefas complexas e abertas, eles falham em tarefas de classificação simples em comparação com o CLIP.

A questão central levantada pelos autores é: Os LMMs são realmente piores na classificação, ou eles não estão sendo condicionados corretamente para a tarefa? O artigo argumenta que a comparação tradicional ignora uma capacidade fundamental dos LMMs: o Aprendizado em Contexto (In-Context Learning - ICL).

2. Metodologia

O trabalho investiga o uso de LMMs como classificadores através de duas abordagens principais:

A. Classificação de Mundo Fechado (Closed-World Classification)

Neste cenário, o conjunto de classes é conhecido e fixo.

• Abordagem: Os autores comparam VLMs (usando Tip-Adapter, uma técnica de few-shot baseada em cache) com LMMs usando Vanilla ICL (In-Context Learning simples).
• Mecanismo: Para os LMMs, exemplos de suporte (imagem + rótulo) são inseridos na janela de contexto do modelo junto com a imagem de consulta. O modelo gera a resposta textual baseada nesses exemplos.
• Objetivo: Verificar se, ao fornecer exemplos de contexto, os LMMs conseguem superar ou igualar o desempenho dos VLMs contrastivos.

B. Classificação de Mundo Aberto (Open-World Classification)

Neste cenário mais desafiador, não há um conjunto fixo de classes; o modelo deve descrever ou identificar o objeto livremente.

• O Desafio: Em mundo aberto, não há rótulos verdadeiros para os exemplos de contexto. Usar pseudo-rótulos gerados diretamente pelo modelo (Pseudo-ICL) sem refinamento tende a propagar erros e degradar o desempenho.
• A Solução Proposta (CIRCLE): Os autores propõem o CIRCLE (CIRCLE Iteratively Refines Contextual Learning Examples).
  • Funcionamento: É um método sem treinamento (training-free) que utiliza um processo iterativo circular.
  • Passo 1: O modelo gera pseudo-rótulos para um conjunto de imagens de contexto não rotuladas.
  • Passo 2 (Refinamento): Para cada imagem de contexto, o modelo é re-executado usando todas as outras imagens de contexto e seus pseudo-rótulos atuais como contexto. Isso permite que o modelo "veja" o contexto completo e refine o rótulo daquela imagem específica, corrigindo inconsistências e alinhando a granularidade semântica.
  • Passo 3: Após várias iterações, o conjunto de contexto refinado é usado para classificar a imagem de consulta.

3. Principais Contribuições

1. Análise Sistemática de ICL em LMMs: O primeiro estudo a analisar sistematicamente o ICL em LMMs para classificação de mundo fechado, demonstrando que, com exemplos suficientes, os LMMs podem igualar ou superar os VLMs contrastivos (como o CLIP).
2. Proposta do CIRCLE: Introdução de uma nova metodologia para classificação de mundo aberto que utiliza apenas imagens não rotuladas como contexto. O CIRCLE refina iterativamente os pseudo-rótulos, resolvendo o problema de ruído e inconsistência semântica comum em abordagens ingênuas.
3. Desmistificação da Superioridade dos VLMs: O trabalho desafia o consenso de que os VLMs são inerentemente superiores em tarefas discriminativas, mostrando que os LMMs, quando devidamente condicionados (via ICL e refinamento), são classificadores mais robustos e flexíveis, especialmente em cenários de mundo aberto.

4. Resultados Experimentais

Os experimentos foram conduzidos em 10 conjuntos de dados diversos (incluindo Caltech101, SUN397, Flowers102, FGVC Aircraft, etc.) e cobriram diferentes famílias de modelos (Qwen, LLaVA, Phi).

• Mundo Fechado:

  • Embora os LMMs tenham desempenho inferior no modo zero-shot, o desempenho aumenta drasticamente com o aumento do número de exemplos de contexto (shots).
  • Com 16 exemplos (shots), os LMMs mais fortes (ex: Qwen2-VL-7B) igualam ou superam o CLIP ViT-L/14.
  • Os LMMs mostram uma eficiência de amostra superior: ganhos de desempenho relativos muito maiores com o aumento do contexto em comparação aos VLMs.

• Mundo Aberto:

  • O zero-shot e o ICL ingênuo (Pseudo-ICL) frequentemente falham ou degradam o desempenho em relação à linha de base, devido a alucinações e falta de coerência semântica.
  • O CIRCLE inverte essa tendência. Ele supera consistentemente todas as linhas de base (incluindo o CLIP e o CaSED) em métricas de Inclusão (LI), Semelhança Semântica (SS) e Semelhança de Conceito (mCS).
  • Exemplo: No conjunto Prototypical, o CIRCLE elevou a pontuação de Inclusão (LI) do Qwen2-VL de 78.7 (Zero-Shot) para 91.5, superando significativamente o melhor VLM de referência.
  • O método também demonstrou robustez em cenários de streaming (online), onde o contexto é atualizado dinamicamente.

5. Significância e Conclusão

O artigo estabelece um novo paradigma para o uso de LMMs em tarefas de classificação:

• Unificação: Sugere que os LMMs podem atuar como classificadores unificados, eliminando a necessidade de modelos especializados apenas para classificação.
• Flexibilidade: Diferente dos VLMs, que são restritos a listas de classes pré-definidas (mundo fechado), os LMMs com CIRCLE operam nativamente em mundo aberto, adaptando-se a qualquer nível de granularidade visual.
• Eficiência: O método CIRCLE é training-free (não requer ajuste de parâmetros), tornando-o aplicável a qualquer LMM existente sem custo computacional de treinamento.

Em resumo, o trabalho demonstra que a "fraqueza" percebida dos LMMs em classificação não é uma limitação intrínseca, mas sim uma questão de condicionamento. Ao utilizar o aprendizado em contexto de forma inteligente e iterativa (CIRCLE), os LMMs superam os modelos contrastivos tradicionais, especialmente em cenários complexos e abertos.