Investigating Relational Reasoning in VLMs

En el panorama moderno de la inteligencia artificial, una nueva generación de computadoras ha aprendido a ver y hablar simultáneamente. Estos sistemas, conocidos como modelos de visión y lenguaje, pueden observar una fotografía y describir su contenido, responder preguntas sobre lo que ven o incluso resolver acertijos basados en una imagen. Para el observador humano, parecen poseer una comprensión genuina del mundo visual, de forma muy similar a una persona que puede echar un vistazo a una escena y captar instantáneamente cómo se relacionan los objetos entre sí. Sin embargo, una pregunta fundamental sigue sin respuesta: ¿comprenden estas máquinas verdaderamente las relaciones espaciales y las conexiones entre los objetos, o son simplemente hábiles emparejadores de patrones que dependen de trucos lingüísticos y conjeturas estadísticas? Esta incertidumbre es importante porque, si estos sistemas solo están imitando la comprensión mediante atajos, podrían fallar de manera impredecible al enfrentarse a situaciones que no coincidan con sus datos de entrenamiento, lo que provocaría errores en aplicaciones críticas.

Un equipo de investigadores se propuso descubrir el funcionamiento interno de estos modelos eliminando la complejidad del mundo real y reemplazándola por un entorno sintético controlado. Crearon un conjunto de datos personalizado que consistía en miles de imágenes simples, cada una con un pequeño número de formas geométricas básicas como círculos, cuadrados y triángulos dispuestos en patrones específicos. A estas formas se les asignaron colores y tamaños distintos y, en algunos casos, se dibujaron flechas para conectarlas explícitamente, mientras que en otros, la conexión quedaba implícita solo por su posición relativa. Los investigadores plantearon entonces una serie de preguntas precisas al modelo de visión y lenguaje moderno, pidiéndole que identificara el número de formas, reconociera colores específicos o determinara la dirección de una flecha entre dos objetos. Al comparar las respuestas del modelo con los hechos conocidos de las imágenes sintéticas, pudieron medir exactamente qué tan bien estaba desempeñándose la máquina.

Los resultados revelaron una división marcada entre lo que el modelo podía hacer fácilmente y lo que le costaba entender. Cuando se le hacían preguntas de reconocimiento simple, como contar el número total de formas o identificar si había un cuadrado verde presente, el modelo funcionaba con una precisión casi perfecta, superando a menudo el noventa y seis por ciento. Parecía tener un control firme sobre los elementos tangibles de la imagen. Sin embargo, tan pronto como las preguntas requerían que el modelo comprendiera las relaciones sin pistas visuales explícitas, su rendimiento caía significamente. Por ejemplo, cuando se le preguntaba qué objetos estaban conectados por una flecha sin que la flecha estuviera dibujada, o para describir la posición de una forma respecto a otra basándose únicamente en su disposición, la precisión del modelo caía alrededor del sesenta por ciento o menos. Curiosamente, cuando la consulta proporcionaba marcadores visuales explícitos, como preguntar por la dirección de una flecha dibujada, el modelo mantenía una alta precisión de más del noventa y dos por ciento. Esto sugería que la máquina no estaba construyendo un mapa mental coherente de la escena, sino que dependía fuertemente de las palabras específicas utilizadas en la pregunta y de los marcadores visuales explícitos proporcionados.

Para determinar si el modelo realmente estaba "viendo" las relaciones o simplemente adivinando basándose en el lenguaje, los investigadores realizaron una prueba rigurosa alterando las imágenes mismas. Crearon versiones modificadas de las imágenes originales donde eliminaban digitalmente un elemento específico, como una sola forma o una flecha, y luego hacían las mismas preguntas de nuevo. Si el modelo estuviera razonando genuinamente sobre la evidencia visual, eliminar una parte clave de la imagen debería haber causado que su precisión cayera en picado. En algunos casos, esto fue exactamente lo que sucedió; cuando se le pidió al modelo que contara formas o siguiera la dirección de una flecha, eliminar el elemento visual relevante hizo que su rendimiento cayera casi un veinticinco por ciento. Esto indicó que, para estas tareas, el modelo efectivamente estaba mirando la imagen, pero también estaba mezclando esos datos visuales con sesgos internos que lo hacían frágil cuando la escena cambiaba.

Más sorprendente aún, los investigadores descubrieron que, para otros tipos de preguntas, eliminar elementos visuales de hecho mejoraba el rendimiento del modelo o lo dejaba sin cambios. Cuando se preguntaba sobre la posición relativa de las formas o la existencia de una conexión sin una flecha, el modelo obtenía respuestas ligeramente mejores cuando la evidencia visual era oscurecida. Este resultado contraintuitivo, que el artículo señala como "sorprendente" y "que contradice directamente el razonismo visual", sugiere fuertmente que el modelo no estaba utilizando los datos visuales para resolver estos problemas en absoluto. En su lugar, estaba dependiendo de patrones estadísticos que había aprendido de sus datos de entrenamiento, esencialmente adivinando la respuesta basándose en cómo se formulaba la pregunta en lugar de en lo que realmente había en la imagen. La máquina no estaba razonando sobre el espacio; estaba recitando una respuesta probable basada en claves lingüísticas.

Al observar dentro de las capas de procesamiento del modelo, los investigadores rastrearon cómo fluía la información desde la entrada inicial de la imagen hasta la respuesta final. Descubrieron que las capas más tempranas del modelo eran muy buenas detectando detalles simples como la presencia de un color o una forma específica. A medida que la información avanzaba hacia las capas más profundas, el modelo se volvía mejor en contar e identificar relaciones gruesas. Sin embargo, las capas más profundas no lograban codificar consistentemente las relaciones complejas y abstractas entre los objetos, como la dirección precisa de una flecha o la disposición espacial de los elementos sin marcadores explícitos. El estudio concluye que, si bien estos poderosos sistemas pueden lograr puntuaciones altas en muchas tareas visuales, su comprensión está estrictamente limitada a lo que es explícitamente observable. No exhiben una verdadera comprensión visual, sino que dependen de una estrategia híbrida que combina la percepción visual genuina con atajos lingüísticos. Este descubrimiento resalta una limitación crítica en la inteligencia artificial actual, sugiriendo que la verdadera comprensión visual requiere más que solo procesar píxeles y palabras; demanda una forma de razonamiento más profunda y robusta que estos modelos aún no han logrado alcanzar.