How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks

1. Planteamiento del Problema

Los Modelos Fundacionales Multimodales (MFMs) como GPT-4o, Gemini y Claude han demostrado un progreso notable en el lenguaje y en la respuesta a preguntas visuales (VQA). Sin embargo, su capacidad para realizar una comprensión visual densa a nivel de píxel (por ejemplo, segmentación, estimación de profundidad, normales de superficie) sigue siendo poco clara.

Las evaluaciones existentes para MFMs adolecen de tres limitaciones principales:

1. Sesgo Centrado en Texto: La mayoría de las evaluaciones (por ejemplo, VQA) dependen de salidas de texto, lo que dificulta aislar las capacidades visuales de las capacidades lingüísticas.
2. Incompatibilidad con Especialistas: Las tareas de visión estándar requieren salidas densas (máscaras, coordenadas, mapas) que los MFMs no pueden generar de forma nativa, lo que impide una comparación directa con los modelos de visión exclusivos más avanzados (SOTA).
3. Falta de Evaluación Geométrica: Las evaluaciones actuales se centran fuertemente en la semántica (clasificación) mientras descuidan la geometría 3D (profundidad, normales) y la agrupación.

El artículo tiene como objetivo establecer una evaluación estandarizada y cuantitativa para medir los MFMs en tareas clásicas de visión por computadora, comparándolos directamente con modelos de visión especializados.

2. Metodología: Marco de Encadenamiento de Prompts

Dado que los MFMs están entrenados principalmente para generar texto y no pueden generar nativamente máscaras de segmentación o coordenadas 3D, los autores desarrollaron un marco de Encadenamiento de Prompts. Este método traduce las tareas de visión estándar en una serie de subtareas solicitables mediante texto, permitiendo a los MFMs resolverlas mediante llamadas a API.

La estrategia central implica descomponer tareas complejas en subtareas de clasificación o ranking más simples:

• Detección de Objetos: En lugar de pedir coordenadas directamente (lo cual falla), el modelo realiza una búsqueda en cuadrícula recursiva. Identifica la presencia de un objeto en celdas de la cuadrícula, descarta celdas vacías y hace zoom recursivo en las regiones relevantes para refinar las cajas delimitadoras.
• Segmentación Semántica: La imagen se divide en superpíxeles (utilizando agrupación SLIC). El MFM clasifica la etiqueta semántica de cada superpíxel. Para manejar el contexto, el modelo recibe una "pirámide multiescala" (el recorte, el contexto circundante y la imagen completa) para cada superpíxel.
• Agrupación (Segmentación de Instancias): Dado un punto de consulta, el modelo realiza una Búsqueda en Anchura (BFS) en un grafo de superpíxeles. Decide iterativamente si los superpíxeles adyacentes pertenecen al mismo objeto que el punto de consulta.
• Predicción de Profundidad y Normales de Superficie: Dado que la predicción absoluta es difícil, el modelo realiza un ranking por pares. Compara pares de superpíxeles para determinar la profundidad relativa o la alineación con vectores base (arriba, abajo, izquierda, derecha). Estos rankings por pares se globalizan luego utilizando un objetivo de optimización (minimizando una función de pérdida) para reconstruir un mapa denso.

Líneas Base de Control: Para asegurar una comparación justa, los autores introdujeron:

• Especialista en Visión + Cadena: Aplicar las mismas restricciones de cadena de prompts (superpíxeles, búsqueda en cuadrícula) a modelos de visión SOTA (por ejemplo, DETR, OneFormer) para aislar el impacto del método de prompting frente a la capacidad inherente del modelo.
• Oráculo + Cadena: Asumir respuestas de verdad fundamental para las subtareas para determinar el límite superior teórico del pipeline.
• Adivinanza Ciega: Solicitar con imágenes en blanco para medir el sesgo.

3. Contribuciones Clave

1. Primera Evaluación Estandarizada para MFMs en Tareas de Visión Densa: El artículo evalúa MFMs en seis tareas estándar: Clasificación de Imágenes, Detección de Objetos, Segmentación Semántica, Agrupación, Predicción de Profundidad y Predicción de Normales de Superficie.
2. Marco de Encadenamiento de Prompts: Una metodología novedosa y compatible con API que permite a los MFMs resolver tareas que requieren salidas densas a nivel de píxel, cerrando la brecha entre los LLMs basados en texto y las tareas de visión.
3. Evaluación Exhaustiva: Evaluación de 7 MFMs líderes (GPT-4o, o4-mini, Gemini 1.5/2.0, Claude 3.5, Qwen2-VL, Llama 3.2) y modelos de razonamiento (o1, o3) frente a especialistas en visión SOTA.
4. Análisis de Modos de Fallo: Identificación de errores sistemáticos, como "visión borrosa" (mala localización de detalles finos), ambigüedades en el marco de coordenadas y alucinaciones en la generación de imágenes.

4. Resultados Clave

A. Rendimiento General

• Los MFMs son "Generalistas Respetables" pero no Especialistas: Los MFMs se desempeñan significativamente mejor que la adivinanza aleatoria y muestran una fuerte comprensión semántica, pero se quedan atrás de los modelos especialistas SOTA en todas las tareas, incluso cuando los especialistas están restringidos por las mismas limitaciones de la cadena de prompts.
• Semántica vs. Geometría: Los MFMs se desempeñan notablemente mejor en tareas semánticas (clasificación, segmentación) que en tareas geométricas (profundidad, normales de superficie).
• Mejor Desempeño: GPT-4o logra el mejor rendimiento entre los modelos no de razonamiento, asegurando el primer lugar en 4 de las 6 tareas.

B. Hallazgos Específicos por Tarea

• Clasificación: Los MFMs muestran robustez ante corrupciones y desplazamientos de dominio, con GPT-4o y Gemini 2.0 Flash liderando.
• Detección de Objetos: GPT-4o alcanza un AP@0.5 de ~60.6, superando significativamente a otros MFMs, pero aún queda por detrás de Co-DETR (SOTA) que obtiene ~91.
• Segmentación: GPT-4o alcanza ~44.9 mIoU, mientras que OneFormer (SOTA) alcanza ~65.5.
• Tareas Geométricas (Profundidad/Normales):
  • Los MFMs luchan significativamente aquí. Muchos modelos muestran correlaciones negativas en las predicciones de normales de superficie (por ejemplo, confundiendo los ejes izquierda/derecha).
  • Modelos de Razonamiento (o1, o3, o4-mini): Estos modelos muestran mejoras notables en tareas geométricas. o4-mini y o3 superan significativamente a GPT-4o en la estimación de profundidad y normales de superficie, lo que sugiere que las capacidades de razonamiento mejoran la comprensión espacial 3D.

C. Sensibilidad al Prompt y Modos de Fallo

• Sensibilidad al Prompt: Los mejores modelos (como GPT-4o) son menos sensibles a las variaciones en los prompts que los modelos más débiles.
• Modos de Fallo:
  • Visión Borrosa: Los MFMs luchan con detalles finos; el rendimiento disminuye significativamente sin contexto multiescala.
  • Sesgo de Techo: Los modelos infieren consistentemente que los objetos más altos en la imagen están más profundos (un sesgo común en escenas interiores).
  • Generación de Imágenes: Cuando GPT-4o intenta generar salidas densas (máscaras/mapas de profundidad) directamente, sufre de desalineación espacial y alucinaciones, lo que lo hace menos fiable que el enfoque de texto mediante encadenamiento de prompts.

5. Significado y Conclusión

Este artículo proporciona la primera comparación rigurosa, de manzana con manzana, de Modelos Fundacionales Multimodales frente a modelos de visión especializados en tareas estándar de visión por computadora.

• Estado Actual: Aunque los MFMs son generalistas poderosos con capacidades semánticas impresionantes, aún no están listos para reemplazar a los modelos especialistas en tareas que requieren una comprensión geométrica precisa o predicción densa a nivel de píxel.
• Dirección Futura: La aparición de modelos de razonamiento (o1, o3, o4-mini) ofrece un camino prometedor, ya que demuestran la capacidad de mejorar el razonamiento geométrico a través de procesos de cadena de pensamiento.
• Utilidad de la Evaluación: El marco de encadenamiento de prompts propuesto sirve como una herramienta vital para la comunidad para evaluar futuros MFMs, asegurando que las afirmaciones de "comprensión visual" estén respaldadas por el rendimiento en tareas de visión estándar y densas, y no solo en VQA basada en texto.

Los autores concluyen que, aunque los MFMs están cerrando la brecha en la comprensión semántica, persiste una brecha significativa en el razonamiento geométrico, lo cual podría requerir cambios arquitectónicos o un entrenamiento específico en tareas de visión densa en lugar de simplemente escalar el preentrenamiento multimodal.