Multimodal Large Language Models as Image Classifiers

Este artigo demonstra que o desempenho aparentemente inferior dos Modelos de Linguagem Multimodal (MLLMs) em tarefas de classificação é majoritariamente um artefato de protocolos de avaliação falhos e de ruídos nos dados de referência, os quais, quando corrigidos, revelam que esses modelos podem superar ou igualar modelos supervisionados e ainda auxiliar significativamente na curadoria de grandes conjuntos de dados.

O essencial

Imagine que você tem um grupo de super-heróis da inteligência artificial (chamados de Modelos de Linguagem Multimodais, ou MLLMs). Eles são incríveis: conseguem conversar, escrever poemas e entender o que está em uma foto. Mas, para saber se eles são realmente bons em "olhar" e identificar objetos, os cientistas precisam colocá-los em um teste.

O problema é que, até agora, o teste estava cheio de armadilhas e erros, e os resultados pareciam contraditórios. Alguns diziam que os super-heróis eram ruins, outros diziam que eram ótimos.

Este artigo é como uma investigação policial que descobriu onde estavam as falhas no teste e como corrigi-las. Aqui está a explicação simples:

1. O Problema: O Mapa Estava Errado

Imagine que você está pedindo para um turista (o modelo de IA) identificar uma cidade em uma foto.

• O Erro do Mapa (Ground Truth): O mapa que os cientistas usavam (o ImageNet) estava cheio de erros. Às vezes, a foto mostrava um cachorro, mas o mapa dizia "gato". Às vezes, a foto tinha dois cachorros, mas o mapa só permitia um nome.
• A Consequência: Quando o turista acertava a foto (dizendo "cachorro"), mas o mapa dizia "gato", o sistema marcava como erro. Isso fazia os modelos parecerem piores do que realmente eram.

A Solução: Os autores pegaram 625 categorias de fotos e reanotaram tudo, como se fossem corrigir um mapa antigo e cheio de rasuras. Com esse novo mapa mais limpo, os modelos de IA melhoraram drasticamente (até 10% a mais de acerto!).

2. As Três Formas de Fazer o Teste

Os pesquisadores testaram os modelos de três jeitos diferentes, como se fossem três tipos de jogo:

• Jogo 1: "Aberto" (Open-World)

  • A analogia: Você mostra a foto e pergunta: "O que é isso?". O modelo pode responder qualquer coisa ("Um gato laranja", "Um tigre", "Um animal peludo").
  • O problema: Como o modelo fala livremente, é difícil comparar a resposta dele com a lista de respostas certas.
  • A descoberta: Se usarmos um "tradutor inteligente" (que converte a resposta em uma busca matemática), esse jogo funciona muito bem, às vezes até melhor do que os métodos antigos.

• Jogo 2: "Múltipla Escolha" (Multiple-Choice)

  • A analogia: É como um programa de TV. Você vê a foto e tem 4 opções: A) Cachorro, B) Gato, C) Carro, D) Avião.
  • O problema: Os cientistas antigos usavam opções de distração muito fáceis (como colocar "Banana" como distração para "Cachorro"). Isso inflava a nota dos modelos.
  • A descoberta: Quando eles criaram distrações difíceis (como "Lobo" ou "Raposa" para "Cachorro"), a nota dos modelos caiu bastante. Isso mostra que o teste anterior estava dando notas infladas demais.

• Jogo 3: "Fechado" (Closed-World)

  • A analogia: Você mostra a foto e diz: "Escolha apenas um nome desta lista de 1.000 palavras".
  • O problema: Às vezes, o modelo, mesmo com ordens estritas, inventava um nome que não estava na lista (alucinação). Os testes antigos descartavam essas respostas como erro.
  • A Solução Criativa (CW+): Eles criaram um sistema onde, se o modelo inventar um nome, o sistema procura o nome da lista que mais se parece com o que foi dito. Isso salvou muitas respostas que antes eram consideradas erradas.

3. A Grande Revelação: A Culpa não é só do Modelo

O estudo mostrou que muita gente achava que os modelos de IA eram ruins em classificação de imagens. Mas a culpa era da "sujeira" nos dados de treinamento e nos testes.

• A Metáfora do Aluno: Imagine um aluno estudando para uma prova com um livro de exercícios cheio de erros. Quando ele tira nota baixa, o professor diz: "Você é burro". Mas, na verdade, o livro estava errado. Quando corrigiram o livro (os dados), a nota do aluno subiu e a diferença entre ele e os "alunos tradicionais" (modelos antigos de visão computacional) diminuiu muito.
• Sensibilidade: Os modelos mais modernos (que aprendem de forma mais flexível) foram os que mais se beneficiaram de corrigir os erros nas fotos. Isso prova que eles são sensíveis à qualidade do que aprendem.

4. A IA como "Co-piloto" para Humanos

No final, os pesquisadores fizeram um teste interessante: eles mostraram as fotos difíceis para humanos e para a IA ao mesmo tempo.

• O Resultado: Em cerca de 50% dos casos difíceis, os humanos concordaram com a IA ou usaram a sugestão da IA para corrigir o rótulo da foto.
• A Lição: A IA não precisa substituir o humano, mas pode ser um super-assistente que aponta onde os humanos podem ter cometido erros ao rotular milhões de fotos.

Resumo em uma frase

Este trabalho nos ensina que, para julgar se a Inteligência Artificial é boa, precisamos primeiro garantir que o "chão" (os dados e os testes) esteja limpo e justo; quando fazemos isso, descobrimos que esses modelos são muito mais capazes do que pensávamos e podem nos ajudar a criar bancos de dados melhores.

Resumo técnico

1. Problema e Motivação

O desempenho dos Modelos de Linguagem Multimodal (MLLMs) em tarefas de classificação de imagens tem sido objeto de conclusões conflitantes na literatura. Alguns estudos sugerem que os MLLMs são inferiores aos modelos de visão supervisionados tradicionais, enquanto outros indicam desempenho comparável. Os autores argumentam que essas discrepâncias não refletem uma deficiência real dos modelos, mas sim falhas nos protocolos de avaliação e na qualidade das "ground truths" (rótulos de referência).

Os principais problemas identificados são:

• Rótulos Ruídos: O conjunto de dados ImageNet-1k, padrão da indústria, contém erros de anotação significativos (cerca de 20% de erro no conjunto de validação), imagens com múltiplos objetos e definições de classes sobrepostas.
• Protocolos de Avaliação Flawed:
  • Open-World (OW): Métodos anteriores usavam correspondência de strings simples para mapear saídas de texto livre para classes, subestimando o desempenho.
  • Multiple-Choice (MC): O uso de distratores (alternativas incorretas) muito fáceis infla artificialmente a precisão.
  • Closed-World (CW): Modelos frequentemente geram rótulos fora da lista fornecida (fenômeno conhecido como hallucination ou Out-of-Prompt - OOP), que eram contados como erros brutos, penalizando injustamente modelos que poderiam ter identificado a classe correta semanticamente.

2. Metodologia

Os autores propõem uma reavaliação sistemática de cinco MLLMs (GPT-4o, Qwen3-VL, LLaVA-OneVision, InternVL3.5 e PaliGemma 2) comparando-os com Vision-Language Models (VLMs) e modelos supervisionados.

A. Novo Ground Truth (ReGT)

• Reanotação: Foi realizada uma reanotação multilabel de 625 classes do ImageNet-1k, chamada ReGT.
• Abordagem: Anotadores treinados corrigiram erros, adicionaram rótulos para imagens com múltiplos objetos e resolveram ambiguidades.
• Exclusão: Categorias de vida selvagem de alta granularidade (que exigem conhecimento de domínio especializado) foram excluídas da reanotação principal para evitar viés, mas incluídas em um estudo de caso separado (família de doninhas).

B. Protocolos de Avaliação Unificados

O estudo compara três tarefas dentro de um único framework:

1. Open-World (OW): O modelo gera uma descrição livre. A saída é mapeada para a classe mais próxima no espaço de embeddings de texto (usando codificadores específicos), superando a limitação da correspondência de strings.
2. Multiple-Choice (MC): O modelo escolhe entre 4 opções. Os autores testaram diferentes estratégias de amostragem de distratores (aleatórios vs. baseados em matriz de confusão de modelos supervisionados) para aumentar a dificuldade.
3. Closed-World (CW) e CW+:
   • O modelo recebe a lista completa de 1.000 classes.
   • Inovação (CW+): Para resolver o problema de previsões Out-of-Prompt (OOP), onde o modelo gera um rótulo não listado, os autores aplicam um mapeamento pós-processamento no espaço de embeddings. Se a saída do modelo não estiver na lista, ela é mapeada para a classe mais próxima semanticamente. Isso permite uma avaliação justa de 1.000 classes sem decodificação restritiva custosa.

C. Análise de Sensibilidade

O estudo quantifica o impacto de escolhas de design frequentemente ignoradas: tamanho do batch, ordem das imagens no batch, seleção de codificadores de texto e formato de saída.

3. Principais Contribuições

1. Benchmark Melhorado de Classificação de Imagens: Avaliação sistemática de MLLMs em OW, MC e CW(+) com uma nova anotação multilabel (ReGT) que aborda problemas conhecidos do ImageNet.
2. Sensibilidade ao Ruído de Rótulos: Demonstração de que MLLMs se beneficiam desproporcionalmente de rótulos corrigidos (até +10,8% de ganho), revelando que a suposta "fraqueza" dos MLLMs era, em grande parte, um artefato de ground truth ruidoso.
3. Sensibilidade ao Protocolo de Avaliação: Evidência de que distratores mais difíceis reduzem a precisão em 10-15% e que o mapeamento por embedding no OW supera o CW tradicional para certos modelos, contradizendo estudos anteriores.
4. MLLMs como Assistentes de Anotação: Um estudo de caso controlado mostrou que, em cerca de 50% dos casos difíceis onde o modelo discordava da anotação humana, os anotadores humanos confirmaram ou integraram a previsão do MLLM, sugerindo que eles podem auxiliar na curadoria de grandes conjuntos de dados.

4. Resultados Chave

• Redução da Lacuna de Desempenho: Com os rótulos ReGT, a lacuna de desempenho entre os MLLMs de ponta (como GPT-4o) e os modelos supervisionados (como EfficientNet-L2 ou EVA-02) foi reduzida pela metade.
• Benefício Desproporcional: Modelos menos dependentes de sinais de treinamento supervisionado (MLLMs e VLMs auto-supervisionados) mostraram-se mais sensíveis à qualidade da anotação, obtendo os maiores ganhos com a correção de rótulos. Modelos supervisionados tradicionais melhoraram menos, indicando que eles estão mais "ancorados" aos rótulos originais ruidosos.
• Eficácia do CW+: A abordagem CW+ (com mapeamento de embedding) superou consistentemente o CW padrão, especialmente em subconjuntos desafiadores (imagens com múltiplos rótulos ou onde o rótulo original estava errado).
• Impacto de Distratores: O uso de distratores baseados em matrizes de confusão (mais difíceis) causou uma queda significativa na acurácia em comparação com distratores aleatórios, expondo a fragilidade de avaliações anteriores que usavam distratores fáceis.
• Estabilidade e Viés: O tamanho do batch e a ordem das imagens afetam significativamente a precisão de alguns modelos (ex: LLaVA-OV sofre com batches maiores), enquanto outros (GPT-4o, Qwen3-VL) são mais robustos.

5. Significado e Conclusão

O trabalho conclui que a avaliação de MLLMs como classificadores de imagens requer protocolos rigorosos e ground truths limpos. A percepção de que os MLLMs são inferiores aos modelos de visão clássicos é, em grande parte, um artefato de métricas infladas (por distratores fáceis) ou penalizadas injustamente (por mapeamento de saída rígido e rótulos errados).

A pesquisa sugere que:

1. Os MLLMs têm um potencial real para a classificação de imagens, rivalizando com modelos supervisionados quando avaliados corretamente.
2. A qualidade dos dados (anotação) é crítica, especialmente para modelos baseados em instruções e pré-treinamento multimodal.
3. Os MLLMs podem ser ferramentas valiosas para auxiliar humanos na detecção e correção de erros de anotação em larga escala, acelerando a criação de conjuntos de dados mais limpos.

Em suma, o artigo redefine como os MLLMs devem ser avaliados em tarefas de visão computacional, enfatizando a necessidade de protocolos que reflitam o uso do mundo real (Open-World) e a importância de dados de treinamento e validação de alta qualidade.