Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

Este estudio revela que los modelos de visión-linguaje (VLM) carecen de una capacidad de localización espacial precisa para elementos visuales no textuales, ya que su rendimiento colapsa drásticamente al identificar cuadrados llenos en comparación con símbolos de texto, lo que demuestra que dependen de una vía de reconocimiento de texto para realizar razonamiento espacial.

Lo esencial

🕵️‍♂️ ¿Pueden los "Ojos" de la IA ver cuadrados? El gran truco de los modelos de visión

Imagina que tienes a tres superinteligentes (llamémosles Claude, ChatGPT y Gemini) que son expertos en entender imágenes. Han visto millones de fotos, mapas y gráficos. La gente asume que, si les muestras un dibujo, ellos pueden decirte exactamente dónde está cada cosa, como un detective que cuenta las huellas dactilares en una escena del crimen.

Pero los autores de este estudio les hicieron una prueba muy simple, casi como un truco de magia, y descubrieron algo sorprendente: estos "superinteligentes" tienen una ceguera muy específica.

🎭 La Prueba: El Juego de las Dos Máscaras

Los investigadores crearon 15 tableros de ajedrez (cuadrículas de 15x15). En algunos cuadros había un punto negro (lleno) y en otros blanco (vacío).

Luego, mostraron estos mismos tableros a las inteligencias artificiales de dos formas diferentes:

1. La Máscara de "Texto": Los cuadros llenos se dibujaron con el símbolo de almohadilla (#) y los vacíos con un punto (.). Básicamente, era un dibujo hecho con letras de máquina de escribir.
2. La Máscara de "Cuadrado Puro": Los cuadros llenos eran simplemente cuadrados negros sólidos, sin bordes, sin letras, solo formas geométricas.

El truco: Para la computadora, ambas imágenes son exactamente lo mismo: píxeles en una pantalla. Ninguna de las dos es "texto real" que la máquina pueda leer directamente; ambas son fotos.

📉 El Resultado: El Colapso Mágico

Aquí es donde la historia se pone interesante:

• Con la Máscara de Texto (#): Las inteligencias artificiales fueron increíbles. Claude y ChatGPT acertaron el 91% de los cuadros. Gemini acertó el 84%. Parecían genios.
• Con la Máscara de Cuadrado Puro (🟥): ¡Desastre total! Su capacidad de acertar cayó al 60-70% y, lo peor, su capacidad para detectar dónde estaban los cuadros llenos (una métrica llamada F1) se desplomó hasta el 30-40%.

¿La conclusión? Las inteligencias artificiales no están "viendo" la imagen con sus ojos. En su lugar, están leyendo la imagen.

🧠 La Analogía: El Traductor vs. El Pintor

Imagina que estas IAs tienen dos cerebros conectados:

1. El Cerebro del Traductor (OCR): Es muy bueno. Si ve una letra #, piensa: "¡Ah! Eso es un símbolo de texto. Sé exactamente dónde está porque los textos tienen reglas fijas". Cuando ven los cuadrados negros, este cerebro entra en pánico porque no reconoce la "letra".
2. El Cerebro del Pintor (Visión Pura): Es el que debería ver los cuadrados negros. Pero resulta que este cerebro es un poco torpe. Ve una mancha negra y piensa: "Hmm, hay algo oscuro aquí arriba a la derecha", pero no puede decirte exactamente si es el cuadro 3 o el cuadro 4.

El estudio descubrió que las IAs dependen casi totalmente del "Cerebro del Traductor". Si no pueden "leer" la imagen como si fuera texto, su capacidad para entender el espacio se desmorona.

🤖 ¿Cómo fallaron cada uno?

Cada modelo tuvo su propio estilo de error, como si fueran personajes de una comedia:

• Claude (El Contador Tímido): Siempre veía menos cuadros de los que había. Decía: "Hay unos 45 cuadros", cuando en realidad había 60. Era como si le diera miedo contar todo el montón.
• ChatGPT (El Soñador Exagerado): Al revés. Veía 130 cuadros cuando solo había 90. Inventaba cuadros donde no existían, como si la mancha negra se le hubiera "derramado" en la imaginación.
• Gemini (El Copiante de Plantillas): Cuando los cuadros se ponían densos, Gemini se rendía y decía: "No puedo ver esto, voy a dibujar un patrón que me gusta". Empezaba a dibujar cruces o formas de "L" perfectas que no tenían nada que ver con la imagen real.

🧪 El Experimento Extra: ¿Y si ponemos letras dentro de los cuadrados?

Para confirmar su teoría, los investigadores hicieron un experimento final: pintaron los cuadrados negros, pero escribieron un pequeño "1" blanco dentro de cada uno.

• Resultado: ¡Milagro! Claude y Gemini mejoraron drásticamente. De repente, volvieron a ser genios.
• La excepción: A ChatGPT le fue peor. Parece que para él, mezclar letras sobre un fondo negro confundió sus dos cerebros.

💡 ¿Qué significa esto para el futuro?

Este estudio nos da una advertencia importante:

Si usas estas inteligencias artificiales para leer un documento con mucho texto, funcionarán perfecto. Pero si las usas para tareas que requieren visión pura (como contar objetos en una foto médica, analizar un mapa de calor, o ver piezas en un tablero de ajedrez sin letras), podrían fallar estrepitosamente.

Las IAs actuales son como lectores voraces que han olvidado cómo mirar. Necesitan que las cosas se parezcan a palabras para entenderlas. Mientras no aprendan a "ver" sin "leer", seguirán teniendo esta ceguera espacial.

En resumen: Las inteligencias artificiales no ven cuadrados; ven letras. Y si no hay letras, se pierden.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los componentes solicitados:

Título: ¿Pueden los Modelos Visión-Lenguaje ver cuadrados? La reconocimiento de texto media el razonamiento espacial en tres familias de modelos.

1. Problema

El artículo desafía la suposición implícita de que los Modelos Visión-Lenguaje (VLM) poseen un razonamiento espacial robusto sobre entradas visuales arbitrarias. Los autores identifican una limitación fundamental: la incapacidad de los VLMs para localizar con precisión celdas llenas en cuadrículas binarias cuando estas carecen de identidad textual.

• La paradoja: Aunque los modelos tienen un rendimiento excelente en tareas visuales complejas, fallan catastróficamente en una tarea de localización espacial simple (transcribir una cuadrícula de 15x15) cuando los elementos visuales son formas abstractas (cuadrados rellenos) en lugar de caracteres de texto reconocibles, a pesar de que ambos se procesan a través del mismo codificador visual.

2. Metodología

Los autores diseñaron un experimento controlado para aislar el razonamiento espacial de la comprensión semántica:

• Generación de Datos: Se crearon 15 cuadrículas binarias de 15x15 (225 celdas cada una) con densidades variables de celdas llenas (del 10,7% al 41,8%).
• Condiciones de Codificación Visual: Cada cuadrícula se renderizó en dos formatos de imagen (PNG), ambos procesados por el codificador visual sin pasar por tokenización de texto previa:
  1. Símbolos de texto: Celdas vacías como . y llenas como # (fuente monoespaciada).
  2. Cuadrados rellenos: Celdas vacías (blancas) y llenas (negras) sin líneas de cuadrícula.
• Modelos Evaluados: Se probaron tres modelos VLM de vanguardia de diferentes organizaciones:
  • Claude Opus (Anthropic)
  • ChatGPT 5.2 (OpenAI)
  • Gemini 3 Thinking (Google)
• Protocolo: Se prohibió el uso de herramientas de procesamiento de imágenes o código; los modelos debían transcribir las cuadrículas basándose únicamente en la inspección visual.
• Métricas: Se midió la precisión por celda y el puntaje F1 (media armónica de precisión y recall) para la detección de celdas llenas.
• Estudio de Ablación: Se introdujeron condiciones intermedias para probar la naturaleza del "hueco" de rendimiento:
  • Cuadrados Unicode: Uso de caracteres de texto Unicode (□■) que visualmente se parecen a los cuadrados rellenos.
  • Texto dentro de cuadrados: Se insertaron etiquetas "0" y "1" dentro de las celdas llenas y vacías respectivamente.

3. Contribuciones Clave

• Demostración de una Limitación Fundamental: Evidencia empírica de que el razonamiento espacial de los VLMs actuales depende críticamente de la identificación de texto, funcionando como un mecanismo de OCR interno para preservar la precisión espacial.
• Generalización del Fallo: El hallazgo se replica consistentemente en tres familias de modelos independientes con arquitecturas y datos de entrenamiento diferentes, sugiriendo que es una propiedad estructural del diseño actual de los VLMs y no un defecto específico de un modelo.
• Carácter Gradual del Fenómeno: Mediante la ablación, se demuestra que la brecha de rendimiento no es binaria (texto vs. no texto), sino un continuo que depende de la familiaridad del token y la interacción entre las vías visuales y textuales.
• Análisis de Modos de Fallo Distintos: Identificación de que, aunque todos los modelos fallan en la condición de cuadrados, lo hacen de maneras cualitativamente diferentes (subconteo sistemático, sobreconteo masivo y alucinación de plantillas).

4. Resultados

• Brecha de Rendimiento (Gap): Existe una diferencia masiva en el puntaje F1 entre las condiciones de texto y cuadrados:
  • Condición de Texto: Claude y ChatGPT alcanzaron ~91% de precisión y ~84% de F1. Gemini alcanzó 84% de precisión pero un F1 menor (63%).
  • Condición de Cuadrados: Todos los modelos colapsaron a un rango de 60-73% de precisión y 29-39% de F1.
  • Magnitud del Gap: La diferencia en F1 entre texto y cuadrados osciló entre 34 y 54 puntos a través de los modelos.
• Efectos de Densidad:
  • Claude y ChatGPT mantuvieron un rendimiento estable en la condición de texto a través de todas las densidades, pero colapsaron en cuadrados.
  • Gemini mostró un colapso dependiente de la densidad en la condición de texto (bajo rendimiento en cuadrículas densas), pero tuvo el mejor rendimiento en cuadrados esparcidos (baja densidad), sugiriendo que su codificador visual es más preciso para objetos discretos aislados, pero carece de capacidad de procesamiento en densidades medias-altas.
• Resultados de Ablación:
  • Cuadrados Unicode: Produjeron un rendimiento intermedio (69-77% F1), indicando que la identidad textual ayuda incluso si el símbolo es raro en los datos de entrenamiento.
  • Texto dentro de cuadrados: Recuperó el razonamiento espacial para Claude y Gemini (hasta 100% F1 en cuadrículas dispersas), pero degradó el rendimiento de ChatGPT (51% F1), revelando una interferencia destructiva específica del modelo entre sus vías visuales y textuales.

5. Significado e Implicaciones

• Hipótesis de la Vía de Reconocimiento de Texto: Los autores proponen que los VLMs operan con dos vías implícitas:
  1. Una vía de reconocimiento de texto (similar a un OCR interno) que mapea caracteres a tokens discretos, preservando la posición espacial con alta fidelidad.
  2. Una vía de características visuales que codifica contenido no textual en representaciones latentes optimizadas para semántica, pero que pierde precisión en coordenadas espaciales exactas.
• Riesgo en Aplicaciones Críticas: El rendimiento en benchmarks basados en texto puede sobreestimar drásticamente la capacidad de razonamiento espacial de los modelos para contenido no textual. Esto tiene implicaciones graves para aplicaciones en imágenes médicas, sistemas autónomos y visualización científica, donde la precisión espacial es vital.
• Direcciones Futuras: Se sugiere que cerrar esta brecha requiere:
  • Entrenar codificadores visuales con objetivos explícitos de predicción de coordenadas espaciales.
  • Introducir tokens visuales discretos (similares a códigos VQ-VAE) que permitan a la vía de reconocimiento de texto acceder al contenido visual no textual.
  • Validar estrategias de "andamiaje textual" (añadir texto a las imágenes) con precaución, ya que los efectos varían según el modelo.

En conclusión, el estudio revela que la capacidad actual de los VLMs para "ver" y localizar objetos es, en gran medida, una ilusión mediada por la capacidad de leer texto. Cuando el elemento visual carece de análogo textual, la precisión espacial se degrada severamente.