Multimodal Large Language Models as Image Classifiers

Este artículo demuestra que el aparente rendimiento inferior de los Modelos de Lenguaje Grandes Multimodales (MLLM) en tareas de clasificación se debe principalmente a protocolos de evaluación defectuosos y etiquetas de referencia ruidosas, las cuales, al corregirse, revelan que estos modelos pueden igualar a los supervisados y ayudar eficazmente en la curación de grandes conjuntos de datos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un informe de inspección de calidad para unos nuevos "detectives de imágenes" muy inteligentes, pero que a veces se confunden.

Aquí tienes la explicación de la investigación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🕵️‍♂️ El Problema: Los Detectives y la Lista de Sospechosos

Imagina que tienes un grupo de detectives de IA (llamados Modelos de Lenguaje Multimodal o MLLM). Su trabajo es mirar una foto y decirte qué hay en ella.

El problema es que, hasta ahora, los científicos estaban evaluando a estos detectives de formas muy extrañas, como si les dieran un examen con trampas:

1. La Trampa de la Opción Múltiple (El examen de "A, B, C, D"): A veces, los científicos les daban una foto y solo 4 opciones para elegir. Si las opciones eran muy fáciles (por ejemplo: "¿Es un perro, un gato, un coche o una pizza?"), los detectives acertaban casi siempre. Pero eso no significaba que fueran buenos detectives, solo que el examen era fácil. Era como si un jugador de fútbol anotara muchos goles porque el portero estaba durmiendo.
2. La Trampa de la Lista Infinita (El examen de "Elige uno de 1000"): Otras veces, les daban una lista de 1000 cosas posibles. Pero si el detective se atrevía a decir algo que no estaba en la lista (aunque fuera correcto), los científicos lo marcaban como "fallo". Era como si un chef cocinara un plato delicioso, pero el juez le dijera: "No vale, no estaba en el menú de hoy".
3. El Mapa con Errores (La verdad del suelo): Lo más grave es que el "mapa del tesoro" (las etiquetas correctas de las fotos) que usaban los científicos estaba lleno de errores. Había fotos de dos animales diferentes etiquetadas como uno solo, o fotos borrosas donde nadie sabía qué era. ¡Estaban evaluando a los detectives contra un mapa que estaba mal dibujado!

🔍 Lo que hicieron los autores: "Limpiando la casa"

Los investigadores de la Universidad Técnica de Praga decidieron arreglar todo esto. Hicieron tres cosas principales:

1. Reescribieron el Mapa (ReGT): Revisaron miles de fotos del famoso conjunto de datos "ImageNet". Como si fueran editores de un diccionario, corrigieron los errores. Encontraron fotos que tenían dos cosas importantes (multietiqueta) y fotos donde la etiqueta original estaba mal. Crearon un nuevo mapa, más limpio y justo, al que llamaron ReGT.
2. Arreglaron las Pruebas: Crearon nuevas formas de evaluar a los detectives.
   • Modo "Mundo Abierto": Dejaron que los detectives describieran la foto con sus propias palabras (como un humano).
   • Modo "Mundo Cerrado +": Si el detective decía algo que no estaba en la lista de 1000 opciones, en lugar de decir "¡Fallo!", usaron una herramienta mágica (una búsqueda por similitud) para ver si lo que dijo el detective era, en realidad, lo mismo que una opción de la lista. ¡Así no castigan la creatividad!
3. La Prueba de Fuego: Pusieron a los detectives a trabajar con el nuevo mapa limpio.

🚀 Los Resultados: ¡Sorpresa!

Cuando probaron a los detectives con el mapa limpio y las pruebas justas, pasó algo increíble:

• Los detectives mejoraron muchísimo: Al corregir las etiquetas, algunos modelos mejoraron su puntuación hasta un 10%. ¡Eso es como si un estudiante que sacaba un 70 de repente sacara un 80 solo porque el profesor corrigió los errores del examen!
• La brecha se cerró: Antes se decía que estos modelos de IA eran mucho peores que los modelos tradicionales de visión por computadora. Pero con las pruebas correctas, la diferencia se redujo casi a la mitad. Resulta que no eran tan malos, solo estaban trabajando con un mapa sucio.
• El mapa viejo era el culpable: La mayoría de los "fallos" de la IA no eran porque la IA fuera tonta, sino porque la etiqueta de la foto estaba mal. La IA a veces tenía razón y el humano que etiquetó la foto estaba equivocado.

🤝 La IA como Asistente Humano

Hicieron un experimento divertido: mostraron a anotadores humanos fotos difíciles donde la IA y el mapa viejo no coincidían.

• Resultado: En la mitad de los casos difíciles, los humanos dijeron: "¡Tienes razón, IA! La etiqueta vieja estaba mal y tu predicción es correcta".
• Conclusión: La IA no solo puede clasificar fotos, sino que puede ayudar a los humanos a corregir errores en grandes bases de datos. Es como tener un asistente muy atento que te dice: "Oye, creo que esta foto de un zorro en realidad es un mapache".

🎯 En Resumen (La Metáfora Final)

Imagina que estás entrenando a un perro para que busque pelotas.

• Antes: Le dices "Busca la pelota" y le muestras una foto donde hay una pelota y una naranja, pero le dices que la naranja es la pelota. El perro se confunde y falla. Luego dices: "¡Mira, el perro es malo!".
• Ahora: Corriges la foto y le dices: "Aquí hay una pelota y una naranja, busca la pelota". Además, si el perro olfatea algo que huele a pelota pero no se parece a una, le das crédito.
• Resultado: El perro (la IA) resulta ser mucho más inteligente de lo que pensábamos. Solo necesitábamos que el entrenador (el científico) dejara de hacer trampas y corriera sus propios errores.

La lección clave: No culpes al modelo por fallar si el examen está mal diseñado o si las respuestas correctas están escritas con tinta borrosa. Con mejores datos y mejores pruebas, la IA es mucho más capaz de lo que creíamos.

Resumen técnico

Resumen Técnico: Modelos de Lenguaje Multimodal Grandes (MLLM) como Clasificadores de Imágenes

1. El Problema

La evaluación del rendimiento de los Modelos de Lenguaje Multimodal Grandes (MLLM) en tareas de clasificación de imágenes ha generado conclusiones contradictorias en la literatura. Algunos estudios sugieren que los MLLM son significativamente inferiores a los modelos de visión supervisados tradicionales, mientras que otros indican un rendimiento comparable.

Los autores identifican que estas discrepancias no se deben a una deficiencia inherente de los modelos, sino a fallos en los protocolos de evaluación y a la calidad del "ground truth" (etiquetas de referencia):

• Protocolos de evaluación flawed: Las metodologías actuales (Open-World, Multiple-Choice, Closed-World) a menudo inflan o subestiman el rendimiento debido a la selección de distractores, la falta de mapeo adecuado de salidas libres y la ignorancia de predicciones fuera del prompt (OOP).
• Ruido en las etiquetas (Ground Truth): El conjunto de datos estándar ImageNet-1k contiene errores de etiquetado significativos (aprox. 20% en el conjunto de validación), imágenes con múltiples objetos y definiciones de clases superpuestas, lo que hace que la evaluación sea poco fiable.

2. Metodología

Los autores proponen un marco de evaluación unificado y riguroso para comparar MLLM, Modelos de Lenguaje-Visión (VLM) y modelos supervisados.

A. Nuevo Conjunto de Datos: ReGT

• Realizaron una reanotación multietiqueta de 625 clases del conjunto de validación de ImageNet-1k (31,250 imágenes).
• ReGT aborda problemas conocidos como etiquetas incorrectas, ambigüedades y la necesidad de etiquetas múltiples.
• Se excluyeron categorías de vida silvestre de muy alta dificultad (excepto razas de perros y especies distinguibles) para reducir el ruido, evaluando estas categorías por separado en un estudio de caso con expertos.

B. Protocolos de Evaluación
Se evaluaron tres tareas principales, introduciendo mejoras clave:

1. Open-World (OW): El modelo genera una descripción libre que se mapea a las clases del dataset.
   • Mejora: Se utiliza un mapeo basado en incrustaciones (embeddings) en el espacio semántico (usando codificadores de texto específicos) en lugar de coincidencia de cadenas simple, lo que resulta en un rendimiento superior.
2. Multiple-Choice (MC): El modelo selecciona entre opciones (1 correcta + distractores).
   • Mejora: Se demuestra que los distractores aleatorios inflan artificialmente el rendimiento. Se proponen distractores más difíciles basados en matrices de confusión de modelos supervisados (EVA-02).
3. Closed-World (CW) y CW+: El modelo debe elegir entre todas las 1,000 clases.
   • Innovación (CW+): Se introduce una técnica de post-procesamiento ligera. Si el modelo genera una etiqueta fuera de la lista proporcionada (OOP/Halucinación), en lugar de descartarla como incorrecta, se mapea a la clase más cercana en el espacio de incrustaciones. Esto permite una evaluación completa de 1,000 clases sin decodificación restringida costosa.

C. Modelos Evaluados
Se probaron 5 MLLM (GPT-4o, Qwen3-VL, LLaVA-OneVision, InternVL3.5, PaliGemma 2) frente a VLM (SigLIP, DINOv3) y modelos supervisados (EfficientNet, EVA-02).

D. Análisis de Diseño
Se cuantificó el impacto de parámetros a menudo ignorados: tamaño de lote (batch size), orden de las imágenes y selección del codificador de texto.

3. Contribuciones Clave

1. Benchmark Mejorado de Clasificación: Un marco unificado que compara MLLM, VLM y supervisados en OW, MC y CW(+), revelando que las limitaciones anteriores se debían a la metodología, no a los modelos.
2. Sensibilidad al Ruido de Etiquetas: Demostración de que los MLLM son extremadamente sensibles a la calidad de las anotaciones. Al corregir las etiquetas (ReGT), los MLLM mejoran drásticamente (hasta +10.8%), reduciendo la brecha percibida con los modelos supervisados.
3. Protocolos de Evaluación Críticos: Evidencia de que la selección de distractores y el manejo de predicciones OOP afectan la precisión reportada en un 10-15%. El método CW+ resuelve el problema de las "alucinaciones" en tareas cerradas.
4. MLLM como Asistentes de Anotación: En un estudio de caso, los MLLM ayudaron a humanos a corregir etiquetas erróneas en aproximadamente el 50% de los casos difíciles, demostrando su utilidad en la curación de datasets a gran escala.

4. Resultados Principales

• Impacto de ReGT:
  • Los MLLM obtienen las mayores ganancias con las etiquetas corregidas (PaliGemma 2: +10.8%, LLaVA-OV: +8.6%, GPT-4o: +6.0%).
  • Los modelos supervisados mejoran menos (o incluso empeoran ligeramente), lo que indica que están "anclados" al espacio de etiquetas original ruidoso, mientras que los MLLM son más robustos a la corrección semántica.
  • La brecha de rendimiento entre los mejores MLLM y los modelos supervisados se reduce casi a la mitad en las nuevas etiquetas.
• Efecto de los Protocolos:
  • MC: Los distractores difíciles (basados en confusión) reducen la precisión en un 10-15% comparado con distractores aleatorios, cuestionando resultados anteriores optimistas.
  • CW vs. CW+: El método CW+ mejora significativamente la precisión al recuperar predicciones OOP correctas. Por ejemplo, LLaVA-OV mejora un 54x más que InternVL3.5 al usar CW+ debido a su alta tasa de OOP.
  • OW vs. CW: Contrario a estudios previos, algunos modelos (LLaVA-OV, Qwen3-VL) rinden mejor en Open-World que en Closed-World cuando se usa mapeo por embeddings.
• Análisis de Diseño:
  • El tamaño del lote y el orden de las imágenes afectan significativamente la precisión (especialmente en LLaVA-OV, que degrada su rendimiento con lotes grandes).
  • La elección del codificador de texto para el mapeo es crucial para el rendimiento en OW y CW+.

5. Significado e Impacto

Este trabajo cambia la narrativa sobre la capacidad de los MLLM en visión por computadora:

1. Reevaluación de Capacidades: Los MLLM no son inherentemente peores clasificadores; su bajo rendimiento reportado anteriormente fue un artefacto de etiquetas sucias y protocolos de evaluación deficientes.
2. Necesidad de Benchmarks Limpios: Subraya la urgencia de utilizar conjuntos de datos con etiquetas de alta calidad (como ReGT) para evaluar modelos modernos.
3. Hibridación Humano-IA: Demuestra que los MLLM pueden actuar como herramientas efectivas para detectar y corregir errores de anotación humana, facilitando la creación de datasets más limpios para el futuro.
4. Guía para la Evaluación: Proporciona un protocolo estandarizado (incluyendo CW+ y manejo de distractores) que debe adoptarse para evitar conclusiones erróneas en la investigación futura sobre MLLM.

En conclusión, el artículo establece que, con una evaluación justa y datos limpios, los MLLM alcanzan un rendimiento competitivo e incluso superior en ciertos escenarios de clasificación, desafiando la supremacía tradicional de los modelos supervisados en tareas de reconocimiento visual estándar.