Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance

Resumen Técnico: Riqueza Semántica vs. Razonamiento Geométrico en VLMs

1. El Problema

El trabajo investiga una fragilidad fundamental en los Modelos de Lenguaje Visuales (VLM) de última generación: la falta de invarianza y equivarianza espacial robusta.

• Contexto: Los VLMs modernos sobresalen en tareas semánticas (reconocimiento de objetos en orientaciones canónicas, descripción de escenas complejas). Sin embargo, fallan sistemáticamente en un nivel más básico: determinar si dos imágenes representan el mismo objeto bajo transformaciones geométricas simples (rotación, escala e identidad).
• Hipótesis Central: La aparente robustez de los VLMs en imágenes naturales no se debe a un razonamiento geométrico genuino, sino a un "atajo" basado en la familiaridad con los datos y la riqueza semántica. Cuando se elimina el contexto semántico (usando dibujos abstractos o scripts desconocidos), el rendimiento colapsa, revelando una incapacidad para decouplar la identidad semántica de la orientación geométrica.

2. Metodología

Los autores diseñaron una evaluación sistemática que varía la granularidad semántica de los datos y la complejidad de las transformaciones.

• Transformaciones Evaluadas:

  1. Rotación: Determinar si la imagen B es una versión rotada de la imagen A.
  2. Escala: Determinar si dos imágenes muestran el mismo carácter/objeto a diferentes resoluciones.
  3. Identidad: Determinar si dos imágenes idénticas representan el mismo carácter.

• Conjuntos de Datos (Espectro de Riqueza Semántica):

  • Omniglot: 1,623 caracteres manuscritos de 50 scripts diversos (desde latín/griego hasta scripts raros como Glagolítico o Braille). Permite aislar el razonamiento espacial de la familiaridad del script.
  • Times New Roman y Manuscrito Inglés: Scripts familiares y canónicos como línea base.
  • PACS: 800 imágenes de 7 categorías de objetos en 4 dominios visuales: Fotografía, Arte, Cartoon y Boceto (Sketch).

• Modelos Evaluados:

  • Cerrados: Gemini-2.5-Pro, GPT-5.2.
  • Abiertos: Varias versiones de Qwen2.5-VL y Qwen3-VL (desde 7B hasta 30B parámetros).
  • Encoders Visuales: CLIP, DINOv2, SigLIP (para analizar la invarianza a nivel de características antes del decodificador de lenguaje).

• Métricas: Precisión (Accuracy), Sensibilidad/Recall (TPR) y Especificidad (TNR).

3. Contribuciones Clave y Hallazgos

A. Colapso del Rendimiento en Contenido Semánticamente Escaso

• Los modelos logran un rendimiento casi perfecto en fotografías naturales y scripts familiares (ej. Latín), pero su precisión cae drásticamente en bocetos (sketches) y scripts simbólicos desconocidos (ej. Omniglot).
• Ejemplo: En la tarea de rotación, Gemini-2.5-Pro cae del 92.67% en fotos al 76.49% en bocetos simbólicos. En scripts raros de Omniglot, el rendimiento de modelos abiertos cae a niveles cercanos al azar (TPR < 5%).

B. La Rotación es la Transformación Más Crítica

• La rotación es consistentemente la tarea más difícil. Los modelos muestran un sesgo fuerte hacia predecir "No" (falsos negativos), resultando en una TNR (especificidad) casi perfecta pero una TPR (recall) extremadamente baja.
• Esto indica que los modelos no están "viendo" la rotación, sino que fallan al no reconocer la identidad del objeto cuando su orientación cambia.

C. El Razonamiento Geométrico es un Subproducto de la Familiaridad

• Análisis de Pensamiento (Thinking Traces): Al examinar los trazos de razonamiento de Gemini-2.5-Pro, se observa que para caracteres familiares (ej. "C"), el modelo identifica primero la letra y luego confirma la rotación. Para scripts desconocidos, el modelo intenta un análisis estructural de bajo nivel pero falla, admitiendo que carece de "anclajes semánticos" para guiar el razonamiento geométrico.
• Encoders vs. VLMs: Los encoders visuales puros (como SigLIP o Qwen2.5-VL-7B sin decodificador) mantienen una alta similitud coseno entre imágenes rotadas. Sin embargo, al acoplarlos con un decodificador de lenguaje, esta señal de invarianza se pierde, sugiriendo que el fallo ocurre en la integración visual-lingüística.

D. Limitaciones de la Capacidad del Modelo y el Prompting

• Escala: Aumentar el número de parámetros (de 7B a 30B) mejora ligeramente la precisión, pero no resuelve el problema fundamental de la baja TPR en scripts desconocidos.
• Prompting (ICL y Grids): Intentos de mejorar el rendimiento mediante In-Context Learning (ICL) o Rotational Grids (mostrar todas las rotaciones posibles) logran aumentar el TPR, pero a costa de destruir la TNR (aumentando falsos positivos masivamente). Esto sugiere que los modelos se vuelven "demasiado ansiosos" para confirmar una relación sin una comprensión geométrica real.

4. Resultados Cuantitativos Destacados

• Tabla 1 (Rotación en Scripts): En Omniglot, la precisión de Qwen2.5-VL-7B es ~50.7% (azar), mientras que Gemini-2.5-Pro alcanza ~76.9%. Sin embargo, la TPR de los modelos abiertos en scripts raros es a menudo <1%, indicando que simplemente adivinan "No".
• Tabla 2 (Rotación en PACS): La brecha entre dominios es clara. En Fotos, GPT-5.2 tiene un TPR del 99%; en Bocetos (Sketch), cae al 84.83%.
• Tabla 3 (Comparación de Tareas): Los modelos alcanzan ~100% en Reconocimiento de Objetos (OR) e Identificación (OI), pero colapsan en Reconocimiento de Rotación (RR) en los mismos dominios, confirmando que el fallo es específico de la transformación, no de la visión general.

5. Significado e Implicaciones

• Brecha Fundamental: Existe una desconexión sistémica entre la comprensión semántica y el razonamiento espacial en los VLMs actuales. No poseen una comprensión invariante de la geometría; dependen de memorizar patrones de datos.
• Riesgos de Seguridad: Esta fragilidad es crítica para aplicaciones en robótica, vehículos autónomos y sistemas de seguridad, donde la capacidad de interactuar con objetos en orientaciones no canónicas es vital. Un robot que no reconoce un objeto si está rotado 90 grados es inoperable.
• Dirección Futura: El trabajo concluye que se necesitan innovaciones arquitectónicas y aumentos de datos dirigidos para instilar un razonamiento geométrico "zero-shot" genuino, más allá de la simple familiaridad con los datos de entrenamiento.

En resumen, el paper demuestra que los VLMs de vanguardia son "expertos semánticos" pero "novatos geométricos", y su aparente inteligencia visual se desmorona cuando se les exige razonar sobre la forma pura sin la ayuda de pistas semánticas familiares.