BareBones: Benchmarking Zero-Shot Geometric Comprehension in VLMs

1. El Problema: La Dependencia de la Textura en los VLMs

A pesar de las capacidades impresionantes de los Modelos de Lenguaje y Visión (VLM) en tareas de reconocimiento zero-shot, existe una duda fundamental: ¿Comprenden realmente estos modelos la estructura geométrica de los objetos o simplemente explotan texturas RGB, histogramas de color y priores contextuales como atajos estadísticos?

Los benchmarks actuales fallan en aislar este mecanismo. Confluyen el razonamiento semántico con el mapeo de texturas y utilizan anotaciones (como cajas delimitadoras sueltas o segmentaciones poligonales imprecisas) que filtran inadvertidamente claves ambientales. Un modelo dependiente de la textura es frágil por diseño: falla ante nuevas apariencias, iluminación inusual o cualquier condición que elimine los patrones de superficie.

2. Metodología: El Benchmark BareBones

Para abordar esta brecha, los autores introducen BareBones, un benchmark de evaluación zero-shot diseñado para poner a prueba exclusivamente la comprensión de la forma geométrica pura.

• Taxonomía de Datos: El benchmark se basa en seis conjuntos de datos de segmentación de alta fidelidad:

  1. ImageNet-S: Clases semánticas con contornos distintos.
  2. DIS5K y ThinObject5K: Prueban límites de píxeles perfectos, espacios negativos complejos y geometrías de alambre fino.
  3. PASCAL VOC: Objetos articulados y oclusiones ambientales.
  4. CUB-200: 200 especies de aves donde las diferencias se basan en la curvatura del pico, longitud de la cola y geometría de la cresta (discriminación de granos finos).
  5. WTP-Bench (Propuesta Novel): Un conjunto de datos "estrella" con 1,160 siluetas de Pokémon de 8 generaciones. Este conjunto representa un rompecabezas visual de granos finos extremo, donde especies relacionadas comparten geometrías base similares pero difieren en detalles localizados (cuernos, alas, colas).

• Proceso de Canonalización (Shape-Only):

  • Se eliminan todos los colores, texturas, sombreados y fondos.
  • Las imágenes se convierten en siluetas binarias puras (fondo negro, objeto blanco) basadas en máscaras de segmentación de nivel de píxel.
  • Las imágenes se recortan y redimensionan a un máximo de 200px para estandarizar la entrada.

• Protocolo de Evaluación:

  • Se evalúan 26 VLMs (7 propietarios como GPT-4.1, Gemini, Claude; y 19 de pesos abiertos como LLaVA, Qwen, InternVL).
  • Dos modos de entrada:
    1. HQ (High-Quality): Imagen original con textura y color (límite superior de referencia).
    2. Silhouette (Sil): Solo la máscara binaria.
  • Configuración: Estrictamente zero-shot (temperatura T=0.0 para APIs, límite de 100 tokens). La métrica es la coincidencia exacta de la cadena (top-1).

3. Contribuciones Clave

1. BareBones: El primer benchmark diseñado específicamente para medir la capacidad de razonamiento geométrico puro eliminando todas las pistas de textura.
2. WTP-Bench: Un nuevo conjunto de datos de granos finos inspirado en "¿Quién es ese Pokémon?", que fuerza a los modelos a identificar conceptos geométricos inter-clase basándose únicamente en los contornos.
3. El "Acantilado de Sesgo de Textura" (Texture Bias Cliff): La identificación y cuantificación de un fenómeno donde el rendimiento de los modelos colapsa severamente y de manera consistente cuando se elimina la información RGB.

4. Resultados Principales

A. El Colapso del Rendimiento (Texture Bias Cliff)

• Caída Universal: Todos los modelos, desde los más pequeños (1B) hasta los más grandes (26B) y propietarios, sufren una caída drástica en la precisión al pasar de HQ a Silueta.
• Ejemplos en WTP-Bench:
  • GPT-4.1: Baja del 78.97% (HQ) al 49.48% (Silueta).
  • Qwen3-VL 4B: Colapsa del 13.36% al 3.10%.
  • Modelos Open-Weight: La mayoría cae por debajo del 2.2% en modo silueta.
• Independencia de la Escala: Aumentar el número de parámetros (de 1B a 26B) no resuelve el problema. La precisión en silueta se mantiene plana entre el 1% y el 5% independientemente del tamaño del modelo, indicando que el fallo es arquitectónico, no de escala.

B. Análisis de Errores: Alucinación de Priores

• Cuando los codificadores visuales no pueden interpretar la silueta, los decodificadores de lenguaje recurren a las estadísticas de sus corpus de pre-entrenamiento.
• Sesgo de Generación 1: En WTP-Bench, el 79.2% de las clasificaciones incorrectas de modelos de pesos abiertos se desvían hacia Pokémon de la Generación 1, a pesar de que este grupo solo representa el 19.6% del conjunto de datos.
• Alucinaciones Frecuentes: Los modelos alucinan consistentemente clases de alta frecuencia (ej. "perro afgano" en ImageNet-S, "cuervo americano" en CUB-200) en lugar de intentar un razonamiento estructural.

C. Dificultad por Categoría

• CUB-200 (Aves): 137 de las 200 especies tienen 0% de precisión en silueta en todos los modelos. La geometría del pico y la cola es insuficiente sin la textura de las plumas.
• Formas Mega/Gigantamax: Las formas evolucionadas con geometrías complejas y discontinuas sufren las mayores caídas, ya que la ambigüedad de la silueta se complica con la falta de textura.
• Excepción (ThinObject5K): En objetos delgados (cables, alambres) donde la textura interna ya es mínima, la caída es menor (0.9%), lo que confirma que la caída se debe a la pérdida de información de textura discriminativa.

5. Significado e Implicaciones

• Ceguera Geométrica: Los VLMs actuales, a pesar de su éxito en tareas complejas, carecen de una comprensión genuina de la estructura geométrica. Son "ciegos" a la forma cuando se les quita la piel (textura).
• Fragilidad para el Mundo Real: Esta dependencia de la textura hace que los modelos sean inestables en escenarios del mundo real donde la iluminación, el estilo artístico o la ausencia de color pueden variar.
• Nueva Métrica de Evaluación: BareBones establece un "yardstick" (punto de referencia) riguroso para medir el verdadero anclaje geométrico en futuros modelos multimodales.
• Advertencia sobre el Aprendizaje: El artículo advierte que entrenar directamente en BareBones violaría la Ley de Goodhart, convirtiendo una prueba de inteligencia estructural profunda en un simple ejercicio de reconocimiento de patrones 2D.

En conclusión, el paper demuestra que el progreso actual en VLMs se basa en gran medida en atajos estadísticos de textura y contexto, y que sin una comprensión geométrica fundamental, estos modelos no son verdaderamente robustos ni inteligentes en el sentido visual.