Understanding the Fine-Grained Knowledge Capabilities of Vision-Language Models

Este artigo investiga a lacuna entre o desempenho geral e o conhecimento visual de alta granularidade em modelos de visão e linguagem, descobrindo que a melhoria do codificador visual e o pré-treinamento com pesos de linguagem não congelados são fatores cruciais para superar essa limitação.

O essencial

Imagine que você tem um super-herói chamado "Modelo de Visão e Linguagem" (ou VLM, na sigla em inglês). Esse herói é incrível: ele consegue ler um livro, entender um gráfico complexo, conversar sobre arte e até responder perguntas difíceis de matemática olhando para uma imagem. Ele é o "cérebro" mais inteligente da sala.

Mas, e se eu te dissesse que esse mesmo super-herói, quando colocado diante de um problema simples de identificação visual, falha miseravelmente?

É exatamente isso que este estudo da Universidade de Stanford descobriu. Vamos descomplicar a pesquisa usando uma analogia de um chef de cozinha e um jardineiro.

1. O Problema: O Chef que não reconhece o tempero

A maioria dos testes atuais para esses modelos (chamados de "benchmarks") são como exames de cultura geral. Eles perguntam: "Olhe para esta foto de um bolo e me diga se é saudável ou não" ou "Descreva a cena". Nesses testes, o modelo brilha.

Mas a vida real exige detalhes finos. Imagine que você é cego e pergunta ao modelo: "Posso comer este cogumelo?".

• Se o modelo for apenas um "generalista", ele pode ver "um cogumelo branco" e dizer "Sim".
• Mas, se for um cogumelo venenoso chamado "Anjo Destruidor" (que parece muito com um cogumelo comestível), o modelo precisa fazer uma distinção de especialista.

O estudo mostrou que, embora esses modelos sejam ótimos em conversas, eles são péssimos em reconhecer detalhes visuais sutis. Eles confundem um "Anjo Destruidor" com um cogumelo comestível, o que na vida real poderia ser fatal. É como ter um chef que sabe cozinhar um banquete, mas não consegue distinguir entre sal e açúcar.

2. A Investigação: O que faz o modelo ser bom ou ruim?

Os pesquisadores decidiram fazer uma "autópsia" (experimentos) em 15 modelos diferentes para descobrir o que estava faltando. Eles trocaram peças do modelo como se estivessem montando um carro de corrida.

Eles descobriram três "segredos" principais:

A. O Cérebro (LLM) vs. Os Olhos (Vision Encoder)

• Melhorar o Cérebro (o LLM): Quando eles trocaram o "cérebro" do modelo por um mais inteligente, o modelo ficou melhor em tudo. Ele conversou melhor e também reconheceu um pouco mais os cogumelos. Foi como dar um curso de inglês para o chef; ele ficou mais articulado, mas ainda não aprendeu a distinguir temperos.
• Melhorar os Olhos (o Vision Encoder): Quando eles trocaram a "câmera" do modelo por uma de alta resolução e mais sensível, a mágica aconteceu apenas nos detalhes. O modelo ficou muito melhor em distinguir cogumelos, flores e raças de cachorros, mas não necessariamente melhorou suas conversas.
  • Analogia: É como trocar os óculos do chef por lentes de microscópio. Ele continua sendo o mesmo chef, mas agora consegue ver a diferença entre pimenta-do-reino e pimenta-da-jamaica.

B. O Treinamento: A Aula de Teoria vs. A Prática

Aqui está a descoberta mais interessante.

• Apenas "conectar" as peças: A maioria dos modelos é treinada apenas ajustando a "fita" que liga a câmera ao cérebro. Isso é como ensinar o chef a usar a faca, mas não a ensinar a cozinhar.
• Treinar o Cérebro junto: Quando eles permitiram que o "cérebro" (o modelo de linguagem) aprendesse junto com a câmera durante a fase de pré-treinamento (antes da aula final), o modelo explodiu em desempenho.
  • Analogia: Em vez de apenas ensinar o chef a segurar a faca, você o coloca na horta para aprender a ver as plantas enquanto ele aprende a cozinhar. Ele internaliza a diferença entre os vegetais.

C. A Qualidade dos Dados: O Livro de Receitas

Os pesquisadores pensaram: "Será que precisamos de livros de receitas escritos por chefs famosos (dados de alta qualidade) ou livros escritos por amadores (dados da internet)?"

• A surpresa: Para aprender a identificar os cogumelos (detalhes finos), a qualidade do texto importou pouco. O que importou foi quantidade e o fato de o cérebro estar aprendendo junto com os olhos.
• No entanto, para a conversação geral, a qualidade do texto ajudou mais.

3. O Grande Salto: O "Super-Treinamento"

Mesmo com todas essas melhorias (olhos melhores, cérebro treinado junto), ainda havia um buraco de desempenho entre os modelos que eles criaram e o modelo mais avançado do mundo (o Qwen2-VL).

Por que? Escala de dados.
O modelo campeão foi treinado com uma quantidade de dados bilhões de vezes maior do que os modelos comuns.

• Analogia: Imagine que você treinou seu chef lendo 100 livros. O campeão leu a Biblioteca do Congresso inteira. Não adianta ter óculos de microscópio se você nunca viu a variedade de cogumelos que existe no mundo.

Conclusão Simples

Este estudo nos ensina que, para criar uma Inteligência Artificial que realmente entenda o mundo visual (e não apenas fale sobre ele), precisamos:

1. Não focar apenas em conversas: Os testes atuais são muito fáceis e não medem se o modelo realmente "vê" os detalhes.
2. Treinar os "olhos" e o "cérebro" juntos: Não basta conectar uma câmera boa a um cérebro inteligente; eles precisam aprender a trabalhar em equipe desde o início.
3. Mais dados, por favor: Para dominar os detalhes finos (como medicina, segurança ou identificação de espécies), a IA precisa de uma quantidade massiva de experiências visuais, muito mais do que temos hoje.

Em resumo: Para que a IA seja útil na vida real (evitando que comamos cogumelos venenosos ou diagnosticando doenças), ela precisa deixar de ser apenas um "bobo falante" e se tornar um observador atento.

Resumo técnico

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) têm avançado significativamente em tarefas de raciocínio visual, compreensão de documentos e diálogos multimodais. No entanto, o artigo identifica uma lacuna crítica: esses modelos apresentam desempenho inferior em classificação visual de granularidade fina (fine-grained classification) em comparação com benchmarks tradicionais de visão computacional (como ImageNet, Flowers, Pets e Food).

Enquanto os VLMs atuais são excelentes em responder perguntas abertas e raciocinar sobre conceitos gerais, eles falham em distinguir entre categorias visualmente semelhantes (ex.: diferenciar espécies de cogumelos tóxicos de comestíveis, ou raças específicas de cães). O problema central é que os benchmarks atuais de avaliação de VLMs (focados em VQA e raciocínio) não capturam adequadamente essa capacidade de percepção visual detalhada, criando uma falsa sensação de competência visual. Além disso, existe um "gap" de desempenho significativo entre os VLMs e os codificadores de visão (Vision Encoders) base (como CLIP) dos quais eles derivam.

2. Metodologia

Os autores realizaram uma avaliação abrangente e uma série de experimentos de ablação sistemática para entender os fatores que influenciam o desempenho em granularidade fina.

• Avaliação Inicial:

  • Testaram 15 VLMs recentes (incluindo LLaVA, Phi, Qwen2-VL, Molmo) em quatro benchmarks de classificação de granularidade fina: ImageNet-1K, Oxford Flowers-102, Oxford-IIIT Pet-37 e Food-101.
  • Adaptaram esses datasets para um formato de escolha múltipla de 5 opções (usando um modelo OpenCLIP para gerar distratores difíceis) para permitir uma comparação justa com os VLMs.
  • Compararam o desempenho nesses benchmarks com o desempenho em 8 benchmarks gerais de VQA (como MMMU, MathVista).

• Experimentos de Ablação (22 configurações):
  Utilizando o framework de treinamento do LLaVA-1.5 como base, os autores variaram sistematicamente os seguintes componentes:

  1. Escolha do Modelo de Linguagem (LLM): Comparação entre Vicuna, Llama2 e Qwen2 (incluindo versões instruídas).
  2. Escolha do Codificador de Visão (Vision Encoder): Substituição do padrão CLIP ViT-L/14 por modelos mais fortes como DFN-CLIP ViT-H/14.
  3. Estratégia de Pré-treinamento:
     • Uso de dados de pré-treinamento (LLaVA/CC-3M vs. PixMo/High-quality human captions).
     • Estratégia de atualização de pesos: Treinar apenas o conector (MLP) vs. "descongelar" (unfreeze) e treinar também o LLM durante o pré-treinamento.
  4. Fase de Ajuste Fino (Finetuning): Comparação entre dados de ajuste fino padrão (LLaVA-Instruct) e o uso de modelos base pré-treinados massivamente (Qwen2-VL base).

3. Principais Contribuições e Descobertas

O estudo revela que a capacidade de granularidade fina é um eixo distinto da inteligência visual, não correlacionado linearmente com o desempenho em VQA geral. As principais descobertas são:

• Fator 1: O Codificador de Visão é Crítico para Granularidade Fina.

  • Melhorar o LLM (ex.: trocar Vicuna por Qwen2) melhora o desempenho uniformemente em todos os benchmarks (tanto VQA geral quanto classificação fina).
  • Melhorar o Codificador de Visão (ex.: trocar CLIP L/14 por DFN-CLIP H/14) tem um impacto desproporcionalmente maior na classificação de granularidade fina do que no VQA geral. No entanto, isso só funciona se o codificador for integrado corretamente através do pré-treinamento.

• Fator 2: A Importância do Pré-treinamento (Stage).

  • O pré-treinamento em grandes datasets de imagem-legenda é vital para o desempenho fino.
  • Descoberta Chave: Descongelar e treinar o LLM durante o pré-treinamento (além do conector) resulta em um aumento significativo (+5.5pp) no desempenho de granularidade fina, sem prejudicar o desempenho geral. Treinar apenas o conector é insuficiente para aproveitar ao máximo a capacidade do LLM na percepção visual.

• Fator 3: Qualidade dos Dados vs. Escala.

  • A qualidade das legendas (web-scraped vs. anotação humana detalhada) tem um impacto limitado no desempenho de granularidade fina, especialmente quando o LLM está congelado durante o pré-treinamento.
  • A escala dos dados de pré-treinamento é o fator dominante. O modelo Qwen2-VL, que usa 1.4 trilhões de tokens de pré-treinamento, supera significativamente os modelos treinados com menos de 1 bilhão de tokens, explicando a maior parte do "gap" de desempenho restante.

• Fator 4: O Ajuste Fino (Instruction Tuning) é Menos Crítico.

  • A fase de ajuste fino instrucional tem um impacto comparativamente menor na aquisição de conhecimento de granularidade fina em comparação com a escolha do modelo base e a estratégia de pré-treinamento.

4. Resultados Quantitativos

• Gap de Desempenho: Existe uma grande disparidade entre VLMs e seus codificadores de visão base. Por exemplo, o modelo Molmo atinge apenas 68,4% de precisão em média, enquanto seu codificador de visão (CLIP ViT-L/14) atinge 86,7%.
• Correlação Fraca: Modelos com desempenho similar em VQA geral podem ter diferenças de até 19 pontos percentuais em classificação de granularidade fina (ex.: CogVLM vs. LLaVA-NeXT).
• Progressão de Ablação: Ao combinar as melhorias (LLM mais forte + Codificador de Visão melhor + Pré-treinamento com LLM descongelado), os autores conseguiram aumentar a precisão de granularidade fina de 52,8% para 73,4%, cobrindo mais da metade da lacuna até o estado da arte (Qwen2-VL-Chat com 87,9%).

5. Significado e Impacto

Este trabalho é fundamental para o desenvolvimento futuro de VLMs por várias razões:

1. Reavaliação de Benchmarks: Demonstra que os benchmarks atuais de VLM são insuficientes para medir a percepção visual real, sugerindo a necessidade de incluir tarefas de classificação de granularidade fina nas avaliações padrão.
2. Diretrizes de Treinamento: Oferece um roteiro claro para engenheiros e pesquisadores: para melhorar a percepção visual detalhada, é mais eficaz investir em codificadores de visão mais fortes e em estratégias de pré-treinamento que envolvam o LLM, em vez de focar apenas em dados de ajuste fino instrucional.
3. Aplicações do Mundo Real: A capacidade de distinguir categorias visuais similares é crucial para aplicações críticas como diagnóstico médico (diferenciar lesões de pele), segurança alimentar (identificar cogumelos) e veículos autônomos (diferenciar sinais de trânsito similares). O artigo mostra que os VLMs atuais ainda têm um longo caminho a percorrer para serem confiáveis nessas tarefas sem supervisão humana.

Em resumo, o papel desmistifica a ideia de que VLMs são "tudo em um", mostrando que a percepção visual de alta precisão requer arquiteturas e estratégias de treinamento específicas que diferem daquelas otimizadas apenas para raciocínio e diálogo.