VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images

El artículo presenta VB, un nuevo benchmark diseñado para evaluar la capacidad de los modelos de visión y lenguaje para determinar la visibilidad en imágenes y abstenerse de responder cuando la evidencia es insuficiente, demostrando que GPT-4o y Gemini 3.1 Pro lideran este razonamiento entre los modelos evaluados.

Lo esencial

¡Hola! Imagina que acabamos de inventar un examen de "sentido común visual" para las inteligencias artificiales (IA). Este examen se llama VB (Benchmark de Visibilidad) y su creador, Neil Tripathi, quiere saber algo muy específico: ¿Puede una IA saber realmente qué puede ver en una foto y, lo más importante, cuándo debe decir "no sé"?

Aquí te lo explico con analogías sencillas:

1. El Problema: La IA que alucina

Imagina que le muestras una foto a un detective muy listo, pero con una regla estricta: "Solo puedes hablar de lo que ves con tus propios ojos en esta foto. Si no está claro, no inventes nada".

Muchas IAs actuales son como detectives que, cuando no ven algo, empiezan a inventar historias. Si la foto es oscura o hay algo tapado, la IA podría decir: "¡Ah, sí, ahí hay un gato!" (cuando en realidad no hay ninguno). Esto es peligroso. Si esa IA controla un coche autónomo y "alucina" que ve a un peatón donde no hay, o no ve a uno que sí está escondido, las consecuencias son graves.

2. La Prueba: El Juego de los "Cambia-Imágenes"

Para probar si la IA es realmente lista o solo está adivinando, los autores crearon un juego con 100 familias de fotos.

Imagina que tienes una foto de una habitación (la Foto Base).

• Pregunta 1: "¿Se ve la etiqueta de la caja?" (La IA dice: "No, no se ve").
• El Truco (Edición Mínima): Ahora, movemos la caja un poquito para que la etiqueta sí se vea claramente (la Foto Editada).
• Pregunta 2: "¿Se ve la etiqueta de la caja?" (La IA debería decir: "¡Sí!").

Si la IA cambia su respuesta solo cuando cambiamos la foto (y no cuando solo cambiamos las palabras de la pregunta), significa que realmente está "viendo". Si no cambia su respuesta, es que estaba adivinando.

3. Las Tres Respuestas Permitidas

En este examen, la IA tiene tres opciones de respuesta, como un semáforo:

1. VERDADERO (VISIBLY_TRUE): "¡Sí, lo veo claramente!" (La evidencia está ahí).
2. FALSO (VISIBLY_FALSE): "¡No, definitivamente no está!" (La evidencia dice lo contrario).
3. NO RESPONDO (ABSTAIN): "No puedo decidir con seguridad". Esta es la respuesta más importante. Si la foto está borrosa, oscura o el objeto está fuera del encuadre, la IA debe tener la humildad de decir "no sé" en lugar de inventar.

4. ¿Cómo se califica? (El puntaje)

No basta con acertar. El examen mide tres cosas:

• La Honestidad (CAA): ¿La IA sabe cuándo decir "no sé" en lugar de adivinar? Si dice "no sé" cuando es difícil, gana puntos. Si adivina y se equivoca, pierde muchos.
• La Sensibilidad (MEFR): ¿La IA nota los cambios pequeños? Si movemos la foto un milímetro y la respuesta cambia, ¡es buena! Si no nota el cambio, es mala.
• La Confianza (SelRank): ¿La IA sabe cuándo está segura? Si dice "¡Estoy 100% segura!" y acierta, es genial. Si dice "¡Estoy 100% segura!" y se equivoca, es un desastre.

5. Los Resultados: ¿Quién ganó?

Los autores probaron a 9 "detectives" (modelos de IA):

• Los Campeones: Los modelos más potentes y cerrados, como GPT-4o y Gemini 3.1 Pro, fueron los mejores. Son como detectives veteranos que saben cuándo detenerse y no inventar.
• Los Nuevos Talentos: El modelo de código abierto Gemma 3 12B (que es más pequeño y gratuito) logró superar a un modelo antiguo y cerrado. ¡Es como si un estudiante de secundaria superara a un profesor jubilado en este examen!
• El Problema de los "Cegueros": Curiosamente, a la mayoría de las IAs les cuesta más detectar cambios pequeños en la foto (mover un objeto) que detectar cambios en el texto (cambiar una palabra de la pregunta). Es como si fueran mejores leyendo el menú que mirando el plato.

6. ¿Por qué importa esto?

Este examen es como un test de seguridad.

• Si una IA va a ayudar a un ciego a describir una calle, no debe inventar que hay un semáforo si no lo ve.
• Si una IA revisa radiografías, no debe decir "todo está bien" si la imagen es borrosa; debe decir "necesitamos otra foto".

En resumen: El paper VB nos dice que las IAs están aprendiendo a "ver" mejor, pero todavía necesitan aprender la lección más difícil de todas: saber cuándo no saber. Y eso es lo que las hace verdaderamente seguras para usar en el mundo real.

Resumen técnico

Resumen Técnico: VB (Visibility Benchmark)

1. El Problema

Los modelos de visión-linguaje (VLM) se despliegan cada vez más en entornos críticos (conducción autónoma, asistencia a personas ciegas, diagnóstico médico) donde un juicio visual incorrecto puede tener consecuencias graves. Un problema fundamental es la ilusión de capacidad: los modelos a menudo "adivinan" respuestas cuando la evidencia visual es insuficiente (debido a oclusiones, fuera de cuadro, mala iluminación o ambigüedad), en lugar de abstenerse.

El benchmark VB aborda la necesidad de evaluar si un modelo puede:

1. Determinar qué es visible y qué no en una fotografía específica.
2. Distinguir entre "presente en la escena" y "visible en la imagen".
3. Abstenerse de responder cuando un observador humano no podría determinar la respuesta con fiabilidad basándose solo en la foto.
4. Mantener la coherencia lógica ante cambios mínimos en la imagen o el texto.

2. Metodología y Diseño del Benchmark

VB no es un conjunto de preguntas y respuestas (VQA) abierto, sino una tarea de razonamiento estrictamente controlada.

• Estructura de Familias 2x2: Los datos se organizan en 100 familias. Cada familia cruza una edición mínima de imagen (cambio atómico en la escena, como mover un objeto o cambiar la iluminación) con una edición mínima de texto (cambio en la afirmación, por ejemplo, negación). Esto genera cuatro celdas por familia:

  1. BASE: Imagen original + Pregunta original (Etiqueta: VISIBLY_FALSE).
  2. TEXT_FLIP: Imagen original + Pregunta editada (Etiqueta: VISIBLY_TRUE).
  3. IMAGE_FLIP: Imagen editada + Pregunta original (Etiqueta: VISIBLY_TRUE).
  4. DOUBLE_FLIP: Imagen editada + Pregunta editada (Etiqueta: VISIBLY_FALSE, usada solo como diagnóstico).

• Etiquetas de Salida: El modelo debe elegir entre tres opciones:

  • VISIBLY_TRUE: La afirmación está claramente soportada por los píxeles.
  • VISIBLY_FALSE: La afirmación es claramente falsa según los píxeles.
  • ABSTAIN: No se puede decidir con confianza razonable.

• Salida Estructurada: Además de la etiqueta, el modelo debe proporcionar un código de razón (ej. oclusión, fuera de cuadro, dirección de la mirada) y un puntuación de confianza (0.0 a 1.0).

• Categorías de Visibilidad: Se definen 8 categorías principales (Dirección de la mirada, Oclusión, Fuera de cuadro, Distancia/Iluminación, No visualizable inherentemente, Necesidad de visión aumentada, Contexto insuficiente) y una categoría especial de Segundo Orden (Multi-agente), que evalúa si el modelo puede inferir lo que un personaje en la foto puede ver sobre otro personaje.

3. Métricas de Evaluación

El benchmark utiliza un conjunto de métricas diseñadas para penalizar las conjeturas y premiar la calibración:

1. CAA (Confidence-Aware Accuracy with Abstention): Mide la precisión ponderada por la confianza. Otorga crédito parcial (α=0.25) por abstenerse correctamente, cero por respuestas incorrectas (independientemente de la confianza) y la confianza misma por respuestas correctas.
2. MEFR (Minimal Edit Flip Rate): Mide la robustez. Evalúa si el modelo cambia su respuesta correctamente cuando se aplica una edición mínima (imagen o texto), condicionado a que haya acertado en la celda BASE.
3. SelRank: Evalúa la calidad de la predicción selectiva. Mide si las respuestas con mayor confianza son efectivamente más correctas (curva de riesgo-cobertura).
4. ToMAcc: Precisión específica en la subsección de razonamiento de segundo orden (teoría de la mente visual).

Puntuación Final: Un score compuesto ponderado (70% CAA, 15% MEFR, 10% SelRank, 5% ToMAcc).

4. Resultados Clave

Se evaluaron 9 modelos (3 cerrados de última generación, 3 cerrados de generación anterior y 3 de código abierto de 8B-12B).

• Líderes: GPT-4o (0.728) y Gemini 3.1 Pro (0.727) empataron como los mejores modelos, seguidos por Gemini 2.5 Pro (0.678).
• Código Abierto vs. Cerrado: El mejor modelo de código abierto, Gemma 3 12B (0.505), superó a un sistema cerrado de generación anterior (Claude 3.7 Sonnet, 0.476), demostrando que el razonamiento de visibilidad está comenzando a transferirse a modelos de 8-12B. Sin embargo, existe una brecha significativa (~30%) con los modelos de bandera cerrados.
• Asimetría Texto-Imagen: Para 6 de los 9 modelos, la robustez ante cambios de texto (T_MEFR) fue mayor que ante cambios de imagen (I_MEFR). Esto sugiere que los modelos detectan mejor las negaciones lógicas en el texto que los cambios visuales sutiles en las fotos.
• Calibración de Confianza: Hubo una variación sustancial. GPT-4o y Gemini 2.5 Pro tuvieron precisiones similares, pero Gemini 2.5 Pro tuvo una calibración pobre (SelRank negativo), lo que significa que sus respuestas "seguras" no eran necesariamente las correctas. Gemini 3.1 Pro mostró la mejor calibración general.
• Comportamiento de Abstención: GPT-5 fue el más cauteloso (78 abstenciones de 300), mientras que Gemini 3.1 Pro fue el menos cauteloso (14 abstenciones).

5. Contribuciones y Significado

• Nuevo Estándar de Evaluación: VB introduce un marco riguroso para evaluar la "visibilidad" y no solo la "presencia", obligando a los modelos a reconocer sus limitaciones visuales.
• Diseño de Control: El uso de ediciones mínimas (2x2) permite aislar causalmente por qué falla un modelo (¿no vio el objeto o no entendió la negación?).
• Seguridad y Fiabilidad: Al priorizar la capacidad de abstención y la calibración de confianza, VB es relevante para aplicaciones de seguridad donde es preferible no responder a dar una respuesta falsa.
• Límites Actuales: El estudio revela que, aunque los modelos avanzados son competentes, aún luchan con la detección de cambios visuales sutiles y la inferencia de perspectivas de segundo orden, y que la calibración de confianza sigue siendo un desafío crítico para el despliegue seguro.

El conjunto de datos completo, los metadatos y el código de evaluación están disponibles públicamente bajo licencias abiertas.