MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

El artículo presenta MindSet: Vision, una caja de herramientas que ofrece conjuntos de datos de imágenes manipulados sistemáticamente y scripts para evaluar la alineación entre las redes neuronales profundas y la percepción visual humana mediante 30 hallazgos psicológicos clave.

Lo esencial

¡Hola! Imagina que hemos creado un gimnasio de pruebas psicológicas especial para las "mentes" de las computadoras. Este es el resumen del paper "MindSet: Vision" en un lenguaje sencillo y con algunas analogías divertidas.

🧠 ¿De qué trata todo esto?

Durante años, los científicos han estado construyendo Redes Neuronales Profundas (DNNs), que son como cerebros artificiales hechos de código. La gran promesa es que estas máquinas están aprendiendo a ver el mundo exactamente como lo hacemos los humanos.

Para verificar esto, los investigadores suelen mostrarle a la máquina miles de fotos de gatos, perros y coches (como en Instagram) y ver si las identifica bien. Si la máquina acierta mucho, decimos: "¡Genial! Se parece a un humano".

El problema: Es como si le dieras a un niño un examen de matemáticas solo con sumas fáciles. Si el niño acierta, no significa que entienda la lógica profunda de las matemáticas; quizás solo memorizó los patrones de las sumas. De la misma forma, las máquinas pueden acertar en las fotos de internet, pero si les cambias un detalle sutil (como ponerle un sombrero a un perro), pueden fallar estrepitosamente.

🛠️ La Solución: "MindSet: Vision" (La Caja de Herramientas)

Los autores de este paper dicen: "¡Alto ahí! Necesitamos probar a estas máquinas con experimentos psicológicos reales que ya hemos hecho con humanos durante décadas".

Han creado una caja de herramientas digital llamada MindSet: Vision. Imagina que es como un set de 30 juegos de mesa o rompecabezas diseñados específicamente para engañar al cerebro humano.

• Lo que hace: En lugar de fotos naturales, les muestra ilusiones ópticas, dibujos de líneas, formas ocultas y patrones extraños.
• El objetivo: Ver si la máquina "ve" lo mismo que nosotros. Si una ilusión óptica hace que un humano vea una línea más larga de lo que es, ¿la máquina también la ve más larga?

🎭 Los 30 "Trucos de Magia" (Los Experimentos)

La caja de herramientas incluye pruebas famosas de la psicología visual. Aquí te explico algunas con analogías:

1. Las Ilusiones Ópticas (El truco del tamaño):

   • Ejemplo: La ilusión de Müller-Lyer (líneas con flechas en los extremos). Una línea parece más larga que la otra, aunque miden lo mismo.
   • La prueba: ¿La máquina se "engaña" igual que nosotros? Si la máquina mide la línea con precisión matemática y no se deja engañar por las flechas, significa que no ve como un humano, sino como una calculadora.

2. El "Crowding" (La fiesta abarrotada):

   • Ejemplo: Si pones una letra sola en una pantalla, la ves fácil. Si la rodeas de muchas otras letras, se vuelve imposible de leer.
   • La prueba: Las máquinas suelen fallar aquí. Si les quitas las letras de alrededor, las ven bien. Pero si las rodeas, se confunden. Los humanos, en cambio, a veces vemos mejor si hay más cosas alrededor (un efecto llamado "desahogo" o uncrowding). Las máquinas no tienen este "sentido común" visual.

3. Completar lo invisible (Amodal Completion):

   • Ejemplo: Si ves una pelota detrás de un poste, tu cerebro "dibuja" mentalmente la parte que falta. Sabes que es una pelota completa.
   • La prueba: Las máquinas a menudo ven solo lo que tienen delante (el poste y un trozo de pelota). No "completan" la imagen en su mente como nosotros.

4. Relaciones vs. Posición:

   • Ejemplo: Si mueves un brazo de un dibujo de un hombre, sigue siendo el mismo hombre (cambio de posición). Pero si cambias la relación entre el brazo y el cuerpo (poner el brazo en la cabeza), ya no es un hombre normal.
   • La prueba: Los humanos notamos inmediatamente el cambio de "relación". Las máquinas a menudo no notan la diferencia, solo miran los pedacitos sueltos.

🏋️‍♂️ ¿Cómo probaron a las máquinas?

Los investigadores tomaron 15 de los cerebros artificiales más inteligentes (los que suelen ganar los premios en concursos de visión por computadora) y los sometieron a 9 de estos 30 experimentos.

Usaron tres métodos para "interrogar" a las máquinas:

1. El juez de similitud: ¿Qué tan parecidos se ven dos dibujos para la máquina? (Como comparar dos fotos en Google).
2. El traductor (Decoder): Le preguntan a la máquina: "¿Qué tamaño tiene este círculo?". Si la máquina está "engañada" por la ilusión, dirá un tamaño incorrecto.
3. La clasificación fuera de lo normal: Les muestran dibujos de líneas (algo que los humanos reconocen al instante) y ven si la máquina los reconoce sin haberlos visto antes.

📉 Los Resultados: ¡No es tan brillante como parece!

Aquí viene la parte más interesante. Los resultados fueron una mezcla de "buenos intentos" y "fracasos estrepitosos":

• Lo bueno: Algunas máquinas mostraron señales de "completar" objetos ocultos o de ser sensibles a ciertas formas 3D.
• Lo malo: En general, fallaron en la mayoría de los experimentos.
  • No se dejaron engañar por las ilusiones ópticas (¡eran demasiado lógicas!).
  • No entendían las relaciones entre las partes de un objeto.
  • Si les mostraban un dibujo de líneas (algo que un niño de 5 años reconoce), la máquina se quedaba bloqueada.

La conclusión clave: Las máquinas actuales son muy buenas reconociendo "texturas" (como la piel de un gato o el pelaje de un perro), pero son muy malas entendiendo la "forma" y la "estructura" global, que es lo que hace que los humanos veamos el mundo.

💡 ¿Por qué importa esto?

Este paper es como un espejo de realidad. Nos dice que, aunque las máquinas son increíbles para tareas específicas (como conducir un coche o diagnosticar enfermedades), aún no tienen una visión del mundo "humana".

No es que las máquinas sean "tontas", es que están aprendiendo de una manera diferente. Para crear una inteligencia artificial que realmente piense y vea como nosotros, necesitamos dejar de solo darle más fotos de internet y empezar a darle estos "rompecabezas psicológicos" que nos obligan a entender la lógica detrás de lo que vemos.

En resumen: MindSet: Vision es el nuevo examen de admisión para la inteligencia artificial. Y hasta ahora, la mayoría de los candidatos han suspendido porque no entienden la diferencia entre "ver" y "procesar datos".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "MindSet: Vision. A toolbox for testing DNNs on key psychological experiments", estructurado según los puntos solicitados:

1. El Problema

El artículo identifica una limitación crítica en la evaluación actual de las Redes Neuronales Profundas (DNN) como modelos de la visión humana. La mayoría de los benchmarks existentes (como Brain-Score) son observacionales: evalúan el rendimiento de los modelos en conjuntos de datos de imágenes naturalistas sin manipulación experimental.

• Fallo en la causalidad: Estos enfoques permiten que los modelos logren buenos resultados prediciendo datos humanos o cerebrales incluso si identifican objetos mediante mecanismos cualitativamente diferentes (por ejemplo, basándose en texturas en lugar de formas), debido a la confusión de múltiples señales diagnósticas en las imágenes naturales.
• Falta de pruebas severas: La literatura psicológica contiene décadas de experimentos diseñados para probar hipótesis específicas sobre cómo funciona la visión humana (manipulando variables independientes), pero esta literatura se ignora frecuentemente al comparar DNNs con la visión biológica. Las conclusiones sobre la similitud DNN-humano a menudo se basan en similitudes superficiales en lugar de pruebas rigurosas que desafíen las afirmaciones de los modelos.

2. Metodología

Los autores presentan MindSet: Vision, una caja de herramientas (toolbox) diseñada para superar estas limitaciones mediante la aplicación de métodos experimentales psicológicos a las DNN.

• Conjunto de Datos (Datasets): Se han creado 30 conjuntos de datos de imágenes que cubren fenómenos visuales desde la visión de bajo nivel (ley de Weber, agrupación Gestalt, completamiento amodal) hasta la visión de alto nivel (reconocimiento de objetos, ilusiones visuales, razonamiento relacional).
  • Los estímulos están sistemáticamente manipulados para probar hipótesis específicas (ej. cambiar la relación entre partes de un objeto, añadir ruido, crear ilusiones ópticas).
  • Los datos son regenerables: se proporciona código para generar nuevos conjuntos de datos con parámetros configurables (tamaño de imagen, colores, número de muestras, etc.), lo que permite una flexibilidad extrema.
• Métodos de Evaluación: Se proponen tres métodos principales para probar las DNN en estos datos:
  1. Juicio de Similitud (Similarity Judgment): Comparar patrones de activación (similitud coseno o distancia euclidiana) entre pares de imágenes para ver si las DNN capturan las mismas relaciones perceptuales que los humanos.
  2. Método del Decodificador (Decoder Method): Entrenar un decodificador lineal simple (sonda) sobre capas congeladas de una DNN para predecir propiedades específicas (ej. tamaño de un círculo en una ilusión). Si el decodificador falla o muestra sesgos en condiciones ilusorias, revela cómo la red codifica la información.
  3. Clasificación Fuera de Distribución (Out-of-Distribution Classification): Probar modelos preentrenados (ej. en ImageNet) en estímulos modificados (ej. dibujos de líneas, siluetas) que los humanos reconocen fácilmente pero que representan una distribución de datos diferente a la de entrenamiento.
• Modelos Probados: Se evaluaron 15 DNNs de arquitecturas diversas (ResNet, ResNeXt, ConvNeXt, ViT, DeIT, FocalNet) en 9 de los 30 experimentos.

3. Contribuciones Clave

• Caja de Herramientas Abierta: MindSet: Vision es un repositorio de código abierto (GitHub) que incluye los 30 conjuntos de datos, scripts para su regeneración y scripts de evaluación.
• Enfoque Causal: Cambia el paradigma de evaluación de "rendimiento en datos observacionales" a "pruebas de hipótesis causales" basadas en la psicología experimental clásica.
• Flexibilidad y Reproducibilidad: La capacidad de regenerar datos con parámetros variables permite a los investigadores realizar pruebas severas y sistemáticas, evitando el sobreajuste a un conjunto de datos estático.
• Integración Interdisciplinaria: Conecta directamente la investigación en visión por computadora con los hallazgos fundamentales de la psicología de la percepción, facilitando que los ingenieros de IA prueben sus modelos contra fenómenos psicológicos bien replicados.

4. Resultados

Al probar 15 modelos de vanguardia (incluyendo los que mejor puntuación tienen en Brain-Score) en 9 experimentos seleccionados, se encontraron discrepancias significativas entre las DNN y la visión humana:

• Éxitos Limitados: Algunos modelos mostraron patrones similares a los humanos en tareas de completamiento amodal y sensibilidad a propiedades no accidentales (NAPs), pero los efectos a menudo eran débiles, inconsistentes entre capas o desaparecían en capas profundas.
• Fracasos Críticos:
  • Ilusiones Visuales: La mayoría de las redes no mostraron evidencia de ilusiones como la de Müller-Lyer o resultados mixtos/inconsistentes en la ilusión de Ebbinghaus. En la ilusión de Jastrow, aunque algunos modelos replicaron el efecto, la magnitud de la estimación era inhumana (ej. 10 veces el tamaño real).
  • Relaciones y Estructura: Las DNN mostraron insensibilidad a los cambios relacionales entre partes de un objeto (a diferencia de los humanos) y dificultades para reconocer formas globales cuando se modificaban (ej. en tareas de "Frankenstein" o fragmentación), indicando una dependencia excesiva de características locales.
  • Generalización: El rendimiento de clasificación cayó drásticamente en imágenes fuera de distribución (dibujos de líneas, siluetas, texturas), donde los humanos mantienen un rendimiento superior al 90%.
• Conclusión de los Resultados: Los modelos que funcionan bien en benchmarks observacionales fallan sistemáticamente cuando se someten a pruebas psicológicas severas diseñadas para aislar mecanismos específicos de percepción.

5. Significado

El artículo tiene un impacto fundamental en la investigación de la visión por computadora y la neurociencia cognitiva:

• Reevaluación de la Similitud DNN-Humano: Sugiere que el alto rendimiento en benchmarks actuales no garantiza que los modelos capturen los mecanismos subyacentes de la visión biológica. Las similitudes observadas podrían ser artefactos de la correlación en datos naturales.
• Guía para el Futuro: Establece que para construir modelos verdaderamente alineados con la visión humana, es necesario someter a las DNN a "pruebas severas" basadas en experimentos psicológicos que manipulen variables independientes.
• Herramienta de Diagnóstico: MindSet: Vision no solo expone las debilidades de los modelos actuales, sino que proporciona el marco para entender por qué fallan (ej. falta de invariancia, sensibilidad incorrecta a texturas vs. formas), guiando el desarrollo de arquitecturas futuras más robustas y biológicamente plausibles.
• Cambio de Paradigma: Promueve un cambio desde la optimización de métricas de precisión en conjuntos de datos estáticos hacia la comprensión de los procesos cognitivos mediante la experimentación controlada.