💬 NLP

Can Argus Judge Them All? Comparing VLMs Across Domains

Este artículo presenta ARGUS-EVAL, un nuevo marco que evalúa los Modelos de Visión y Lenguaje equilibrando la capacidad de los benchmarks con la fiabilidad entre conjuntos de datos, revelando discrepancias significativas entre las clasificaciones de rendimiento tradicionales y la estabilidad en el mundo real en modelos como Qwen-2.5VL-3B-Instruct y CLIP.

Autores originales: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un cazatalentos para un circo masivo y de alta tecnología. Necesitas contratar a los mejores "Modelos de Visión-Lenguaje" (VLM): robots superinteligentes que pueden mirar una imagen y decir qué está pasando, encontrar imágenes similares o resolver acertijos sobre ellas.

Normalmente, cuando eliges a un robot, solo miras su boletín de notas. Ves una puntuación como "95% en el examen de Matemáticas" y piensas: "¡Perfecto! ¡Es este!". Pero este documento, titulado "¿Puede Argus juzgarlos a todos?", argumenta que este boletín de notas es un poco un truco. Sugiere que un robot puede sacar la máxima nota en el examen, pero desmoronarse en el momento en que lo sacas del aula y lo llevas al mundo real, desordenado e impredecible.

Los autores llaman a esto la "Brecha de Capacidad-Fiabilidad". Es como contratar a una gimnasta que hace un perfecto salto mortal hacia atrás en una colchoneta suave en el gimnasio (el benchmark), pero que se tambalea y se cae cuando intenta hacerlo en un castillo inflable o en un escenario con viento (el mundo real).

El Nuevo Sistema de Puntuación: ARGUS-EVAL

Para solucionar esto, los investigadores construyeron un nuevo sistema de juzgado llamado ARGUS-EVAL. En lugar de mirar solo una puntuación final, comprueban a los robots en cuatro aspectos diferentes:

La Puntuación del Examen (Capacidad): Qué tan bien se desempeña en los exámenes estándar.
La Puntuación de Consistencia: Si le das el mismo tipo de examen pero con preguntas o imágenes ligeramente diferentes, ¿sigue funcionando bien?
La Puntuación de "Resistencia" (Toughness): Si estropeas la imagen (la haces borrosa) o el texto (añades erratas), ¿sigue descifrando las cosas o se bloquea?
La Puntuación de Eficiencia: Qué tan rápido es y cuánta batería (o memoria de computadora) consume.

La Carrera: ¿Quién Ganó?

El equipo sometió a cinco famosos modelos de robots a este desafío: CLIP, BLIP, LXMERT, Gemma-3-4B y Qwen-2.5VL-3B-Instruct. Los probaron en tres tareas principales: encontrar imágenes y textos que coincidan (Recuperación), describir imágenes (Descripción/Captioning) y resolver acertijos lógicos (Razonamiento).

Esto es lo que encontraron, y es un giro en la trama:

El "Estudiante Estrella" (Qwen):
Si solo miraras el boletín de notas tradicional, Qwen-2.5VL-3B-Instruct era el claro ganador. Tenía las puntuaciones más altas en todas partes.

En el juego de encontrar imágenes, acertó el 82.7% de las coincidencias principales (R@1).
Al describir imágenes, escribió frases con una puntuación BLEU-4 de 47.2 y una puntuación CIDEr de 141.6.
En los acertijos lógicos, acertó el 97.4% en la prueba CLEVR.

El documento sugiere que si necesitas al robot más inteligente para un trabajo donde la precisión lo es todo, Qwen es el que debes elegir.

El "Veterano Fiable" (Gemma):
Pero aquí está el detalle. Cuando los jueces añadieron las puntuaciones de "Consistencia" y "Resistencia", las clasificaciones cambiaron. Gemma-3-4B se convirtió, de hecho, en el más fiable en general.

Aunque Qwen era ligeramente mejor en los exámenes brutos, Gemma era más estable. No entraba en pánico tanto cuando los exámenes se volvían extraños o las imágenes se volvían borrosas.
De hecho, cuando los autores añadieron todas las nuevas puntuaciones de fiabilidad, la puntuación total de Gemma subió a 0.891, mientras que la de Qwen bajó a 0.868.
El documento sugiere que Gemma es la mejor opción si necesitas un robot que no se rompa cuando las cosas se pongan complicadas.

El "Veloz" (CLIP):
Luego está CLIP. No era el más inteligente para resolver acertijos o escribir descripciones sofisticadas. Pero era el más rápido y ligero.

Podía procesar una imagen en solo 31 ms (milisegundos).
Solo necesitaba 0.9 GB de memoria.
El documento señala que para dispositivos con baterías pequeñas o computadoras débiles (como una Raspberry Pi), CLIP es el claro ganador porque no consume demasiados recursos.

La Gran Lección

El hallazgo principal de este documento es que no puedes simplemente elegir el robot con la puntuación de examen más alta.

Los autores midieron esto cuidadosamente a través de diferentes conjuntos de datos y descubrieron que modelos con puntuaciones de examen similares pueden comportarse de manera muy diferente en el mundo real. Argumentan explícitamente contra la idea de que "una mayor capacidad siempre significa una mayor fiabilidad". Demostraron que, en muchos casos, el robot que mejor se ve en el papel (Qwen) podría ser en realidad menos estable que aquel que parece un poco menos impresionante (Gemma).

También midieron cómo funcionan estos robots en diferentes hardware. En un servidor potente (NVIDIA A100), CLIP era rápido con 31 ms, mientras que Gemma era de 138 ms y Qwen de 142 ms. Pero en dispositivos más pequeños, la brecha en velocidad y uso de memoria se volvió aún más dramática, con CLIP manteniéndose ligero y rápido mientras los otros se volvían más pesados.

Lo Que No Nos Dice

El documento es cuidadoso al decir lo que no hizo. No probaron todas las posibles situaciones del mundo real, ni probaron robots que hubieran sido entrenados especialmente (ajustados/fine-tuned) para trabajos específicos. Solo probaron los robots "tal como son" (zero-shot).

Tampoco probaron todo tipo de imágenes "desordenadas", solo un conjunto específico de imágenes borrosas o con ruido. Así que, aunque sugieren que Gemma es más fiable y Qwen es más inteligente, no están afirmando que esta sea la última palabra sobre cada robot existente.

La Conclusión

Si estás construyendo un sistema donde necesitas las mejores respuestas y tienes computadoras potentes, Qwen podría ser tu mejor opción. Pero si necesitas un robot que mantenga la calma cuando las cosas salen mal, o si estás operando en un dispositivo más pequeño donde la velocidad importa, Gemma o CLIP podrían ser en realidad la elección más inteligente.

El documento concluye que debemos dejar de mirar solo un número en un boletín de notas. Necesitamos mirar la imagen completa: qué tan inteligente es el robot, qué tan estable es y cuánta energía utiliza. Solo entonces podremos juzgar realmente si un robot está listo para el mundo real.

Resumen Técnico: ¿Puede Argus juzgarlos a todos? Comparando VLMs a través de dominios

Planteamiento del Problema
Los Modelos de Visión y Lenguaje (VLMs) se despliegan cada vez más en aplicaciones industriales como sistemas de recuperación, plataformas de generación de contenido y flujos de trabajo de soporte a la toma de decisiones. Actualmente, la selección de modelos se guía predominantemente por clasificaciones de benchmarks derivadas de tareas de uso posterior (downstream) como la recuperación, el subtitulado y el razonamiento. Sin embargo, los autores identifican una limitación crítica en este enfoque: los modelos con un rendimiento de benchmark agregado similar suelen exhibir comportamientos sustancialmente diferentes a través de diversos conjuntos de datos y condiciones de evaluación. Esta discrepancia crea una "Brecha de Capacidad-Fiabilidad", donde un modelo que maximiza la capacidad del benchmark ( $P(M)$ ) no necesariamente maximiza la fiabilidad ( $R(M)$ ) en escenarios de despliegue prácticos. Las evaluaciones tradicionales no logran capturar la estabilidad del rendimiento a través de benchmarks heterogéneos o la robustez bajo perturbaciones, lo que conduce a posibles desajustes entre las clasificaciones teóricas y la estabilidad observada del modelo.

Metodología: ARGUS-EVAL
Para abordar esta brecha, los autores introducen ARGUS-EVAL, un marco de evaluación orientado a la capacidad y la fiabilidad diseñado para caracterizar el comportamiento del modelo a través de un vector de evaluación tetradimensional $A(M) = \{P(M), CDC(M), RR(M), E(M)\}$ .

Capacidad de Benchmark ( $P(M)$ ): Representa el rendimiento agregado en tareas de recuperación, subtitulado y razonamiento. Se computa como la media de las puntuaciones normalizadas de cinco conjuntos de datos: COCO, Flickr30k y Visual Genome (para recuperación y subtitulado), y CLEVR y VCR (para razonamiento).
Consistencia entre Conjuntos de Datos ($CDC(M)$): Mide la estabilidad del rendimiento a través de benchmarks heterogéneos. Cuantifica la variación en la distribución de puntuaciones de un modelo a través de diferentes conjuntos de datos; valores más altos indican una menor variación de rendimiento.
Retención de Robustez ($RR(M)$): Mide la preservación del rendimiento bajo perturbaciones controladas de imagen y texto. Se calcula como la relación entre la capacidad del benchmark tras la perturbación y la capacidad del benchmark original (limpio).
Eficiencia ( $E(M)$ ): Captura las características de despliegue, incluyendo la latencia de inferencia, la huella de memoria, los FLOPs y el rendimiento (throughput). Estas métricas son normalizadas y agregadas para reflejar la idoneidad del modelo para diversos entornos de hardware.

El marco evalúa cinco VLMs representativos: CLIP, BLIP, LXMERT, Gemma-3-4B y Qwen-2.5VL-3B-Instruct. Todos los modelos son probados utilizando checkpoints preentrenados oficiales bajo un protocolo común de zero-shot sin ajuste fino (fine-tuning).

Resultos Clave
La evaluación empírica revela divergencias significativas entre las clasificaciones orientadas a la capacidad y las orientadas a la fiabilidad:

Dominancia de Capacidad: Qwen-2.5VL-3B-Instruct logra la mayor capacidad de benchmark general ( $P(M)$ ). Registra las puntuaciones más altas en recuperación (R@1 = 82.7% en COCO), subtitulado (BLEU-4 = 47.2, CIDEr = 141.6 en COCO) y razonamiento (97.4% de precisión en CLEVR).
Fiabilidad y Robustez: Cuando se incorporan las métricas de fiabilidad, la clasificación cambia. Gemma-3-4B demuestra una retención de robustez superior ($RR = 0.901$) bajo perturbaciones en comparación con Qwen ($RR = 0.890$). En consecuencia, Gemma logra la puntuación general más alta de ARGUS-EVAL (0.891) cuando se factorizan la consistencia y la robustez, superando a Qwen (0.868).
Eficiencia: CLIP exhibe el perfil de eficiencia más fuerte, registrando la menor latencia (31 ms en NVIDIA A100) y la menor huella de memoria (0.9 GB), lo que lo hace altamente adecuado para entornos con recursos limitados a pesar de sus menores capacidades generativas.
La Brecha de Capacidad-Fiabilidad: El estudio confirma que el modelo que maximiza la capacidad (Qwen) no coincide con el modelo que maximiza la fiabilidad (Gemma). Esto valida la existencia de la brecha, donde las altas puntuaciones de benchmark no garantizan un rendimiento constante a través de diversas condiciones.

Significancia y Reivindicaciones
El artículo afirma que ARGUS-EVAL es el primer marco unificado que evalúa conjuntamente la capacidad de benchmark, la consistencia entre conjuntos de datos, la retención de robustez y la eficiencia. Los autores argumentan que confiar únicamente en las clasificaciones tradicionales de benchmarks proporciona una visión limitada de la estabilidad del modelo en el despliegue del mundo real. Al demostrar que los modelos ajustados por instrucciones (como Gemma) pueden ofrecer un equilibrio más balanceado entre capacidad y fiabilidad en comparación con los modelos que maximizan estrictamente las puntuaciones de benchmark, el trabajo aboga por un cambio en la metodología de evaluación. Los autores posicionan a ARGUS-EVAL como una herramienta para apoyar la evaluación responsable de modelos, alentando a los profesionales a ir más allá de la optimización de una sola métrica hacia una visión holística que incluya la estabilidad y la eficiencia antes del despliegue.

Limitaciones
Los autores reconocen que el marco actualmente evalúa un conjunto limitado de conjuntos de datos representativos y no cubre toda la diversidad de los escenarios de despliegue del mundo real. El análisis de robustez está restringido a perturbaciones predefinidas, y las mediciones de eficiencia se realizan en un conjunto específico de plataformas de hardware (NVIDIA A100, Jetson Nano, Raspberry Pi 5), que pueden no generalizarse a todos los entornos. Además, la evaluación es estrictamente zero-shot y no evalúa adaptaciones de ajuste fino o específicas de una tarea.

El Nuevo Sistema de Puntuación: ARGUS-EVAL

La Carrera: ¿Quién Ganó?

La Gran Lección

Lo Que No Nos Dice

La Conclusión

Más como este