How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks

1. Declaração do Problema

Modelos Fundacionais Multimodais (MFMs) como GPT-4o, Gemini e Claude demonstraram progresso notável em linguagem e respostas a perguntas visuais (VQA). No entanto, sua capacidade de realizar compreensão visual densa, em nível de pixel (por exemplo, segmentação, estimativa de profundidade, normais de superfície) permanece incerta.

Os benchmarks existentes para MFMs sofrem de três limitações principais:

1. Viés Centrado em Texto: A maioria dos benchmarks (por exemplo, VQA) depende de saídas em texto, tornando difícil isolar capacidades visuais de capacidades linguísticas.
2. Incompatibilidade com Especialistas: Tarefas de visão padrão exigem saídas densas (máscaras, coordenadas, mapas) que os MFMs não podem gerar nativamente, impedindo a comparação direta com modelos de visão exclusiva de última geração (SOTA).
3. Falta de Avaliação Geométrica: As avaliações atuais focam pesadamente em semântica (classificação), negligenciando geometria 3D (profundidade, normais) e agrupamento.

O artigo visa estabelecer um benchmark padronizado e quantitativo para medir MFMs em tarefas clássicas de visão computacional, comparando-os diretamente com modelos de visão especializados.

2. Metodologia: Framework de Encadeamento de Prompts (Prompt Chaining)

Como os MFMs são treinados principalmente para gerar texto e não podem nativamente gerar máscaras de segmentação ou coordenadas 3D, os autores desenvolveram um framework de Encadeamento de Prompts. Este método traduz tarefas de visão padrão em uma série de subtarefas passíveis de prompts de texto, permitindo que os MFMs as resolvam via chamadas de API.

A estratégia central envolve decompor tarefas complexas em subtarefas de classificação ou ranking mais simples:

• Detecção de Objetos: Em vez de pedir coordenadas diretamente (o que falha), o modelo realiza uma busca em grade recursiva. Ele identifica a presença de um objeto em células da grade, descarta células vazias e amplia recursivamente regiões relevantes para refinar as caixas delimitadoras.
• Segmentação Semântica: A imagem é dividida em superpixels (usando agrupamento SLIC). O MFM classifica o rótulo semântico de cada superpixel. Para lidar com o contexto, o modelo recebe uma "pirâmide multiescala" (o recorte, o contexto circundante e a imagem completa) para cada superpixel.
• Agrupamento (Segmentação de Instâncias): Dado um ponto de consulta, o modelo realiza uma Busca em Largura (BFS) em um grafo de superpixels. Ele decide iterativamente se superpixels adjacentes pertencem ao mesmo objeto que o ponto de consulta.
• Predição de Profundidade e Normais de Superfície: Como a predição absoluta é difícil, o modelo realiza ranking em pares. Ele compara pares de superpixels para determinar profundidade relativa ou alinhamento com vetores de base (cima, baixo, esquerda, direita). Esses rankings em pares são então globalizados usando um objetivo de otimização (minimizando uma função de perda) para reconstruir um mapa denso.

Linhas de Base de Controle: Para garantir comparação justa, os autores introduziram:

• Especialista em Visão + Cadeia: Aplicando as mesmas restrições de cadeia de prompts (superpixels, busca em grade) a modelos de visão SOTA (por exemplo, DETR, OneFormer) para isolar o impacto do método de prompting versus a capacidade inerente do modelo.
• Oráculo + Cadeia: Assumindo respostas verdadeiras para subtarefas para determinar o limite superior teórico do pipeline.
• Adivinhação Cega: Prompting com imagens em branco para medir viés.

3. Principais Contribuições

1. Primeiro Benchmark Padronizado para MFMs em Tarefas de Visão Densa: O artigo avalia MFMs em seis tarefas padrão: Classificação de Imagem, Detecção de Objetos, Segmentação Semântica, Agrupamento, Predição de Profundidade e Predição de Normais de Superfície.
2. Framework de Encadeamento de Prompts: Uma metodologia nova e compatível com API que permite que MFMs resolvam tarefas que exigem saídas densas em nível de pixel, preenchendo a lacuna entre LLMs baseados em texto e tarefas de visão.
3. Avaliação Abrangente: Avaliação de 7 MFMs líderes (GPT-4o, o4-mini, Gemini 1.5/2.0, Claude 3.5, Qwen2-VL, Llama 3.2) e modelos de raciocínio (o1, o3) contra especialistas em visão SOTA.
4. Análise de Modos de Falha: Identificação de erros sistemáticos, como "visão embaçada" (pobre localização de detalhes finos), ambiguidades no sistema de coordenadas e alucinações na geração de imagens.

4. Principais Resultados

A. Desempenho Geral

• MFMs são "Generalistas Respeitáveis", mas não Especialistas: MFMs performam significativamente melhor do que o palpite aleatório e mostram forte compreensão semântica, mas ficam atrás dos modelos especialistas SOTA em todas as tarefas, mesmo quando os especialistas são restringidos pelas mesmas limitações de cadeia de prompts.
• Semântica vs. Geometria: MFMs performam notavelmente melhor em tarefas semânticas (classificação, segmentação) do que em tarefas geométricas (profundidade, normais de superfície).
• Melhor Desempenho: GPT-4o alcança o melhor desempenho entre modelos não de raciocínio, garantindo o primeiro lugar em 4 de 6 tarefas.

B. Achados Específicos por Tarefa

• Classificação: MFMs mostram robustez a corrupções e deslocamentos de domínio, com GPT-4o e Gemini 2.0 Flash liderando.
• Detecção de Objetos: GPT-4o alcança um AP@0,5 de ~60,6, superando significativamente outros MFMs, mas ainda ficando atrás do Co-DETR (SOTA), que pontua ~91.
• Segmentação: GPT-4o alcança ~44,9 mIoU, enquanto OneFormer (SOTA) alcança ~65,5.
• Tarefas Geométricas (Profundidade/Normais):
  • MFMs lutam significativamente aqui. Muitos modelos mostram correlações negativas em predições de normais de superfície (por exemplo, confundindo eixos esquerda/direita).
  • Modelos de Raciocínio (o1, o3, o4-mini): Estes modelos mostram melhorias marcantes em tarefas geométricas. o4-mini e o3 superam significativamente o GPT-4o em estimativa de profundidade e normais de superfície, sugerindo que capacidades de raciocínio melhoram a compreensão espacial 3D.

C. Sensibilidade a Prompts e Modos de Falha

• Sensibilidade a Prompts: Modelos melhores (como GPT-4o) são menos sensíveis a variações de prompt do que modelos mais fracos.
• Modos de Falha:
  • Visão Embaçada: MFMs lutam com detalhes de alta granularidade; o desempenho cai significativamente sem contexto multiescala.
  • Viés de Teto: Modelos consistentemente inferem que objetos mais altos na imagem são mais profundos (um viés comum em cenas internas).
  • Geração de Imagem: Quando o GPT-4o tenta gerar saídas densas (máscaras/mapas de profundidade) diretamente, sofre de desalinhamento espacial e alucinações, tornando-o menos confiável do que a abordagem de texto com encadeamento de prompts.

5. Significado e Conclusão

Este artigo fornece a primeira comparação rigorosa, de maçã com maçã, de Modelos Fundacionais Multimodais contra modelos de visão especializados em tarefas padrão de visão computacional.

• Estado Atual: Embora os MFMs sejam generalistas poderosos com capacidades semânticas impressionantes, eles ainda não estão prontos para substituir modelos especialistas em tarefas que exigem compreensão geométrica precisa ou predição densa em nível de pixel.
• Direção Futura: O surgimento de modelos de raciocínio (o1, o3, o4-mini) oferece um caminho promissor, pois demonstram a capacidade de melhorar o raciocínio geométrico através de processos de cadeia de pensamento.
• Utilidade de Benchmarking: O framework de encadeamento de prompts proposto serve como uma ferramenta vital para a comunidade avaliar MFMs futuros, garantindo que alegações de "compreensão visual" sejam respaldadas por desempenho em tarefas de visão densa e padrão, e não apenas em VQA baseada em texto.

Os autores concluem que, embora os MFMs estejam fechando a lacuna na compreensão semântica, uma lacuna significativa permanece no raciocínio geométrico, o que pode exigir mudanças arquitetônicas ou treinamento específico em tarefas de visão densa, em vez de apenas aumentar a escala do pré-treinamento multimodal.