Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

Imagina que estás intentando enseñar a un robot a ver el mundo de la misma forma que lo hace un humano. Los científicos en un campo llamado NeuroAI están obsesionados con esta pregunta: "¿Cuál es el mejor conjunto de reglas para enseñar a una computadora a reconocer un gato o un coche?". Tienen varios libros de reglas diferentes para elegir. Uno es el método estándar y súper eficiente utilizado en casi toda la IA moderna (llamado retropropagación o backpropagation). Los otros son reglas "biológicamente plausibles", que intentan imitar cómo aprenden los cerebros reales, como por ejemplo cómo las neuronas se activan en respuesta al tiempo o cómo el cerebro predice lo que verá a continuación.

Para ver qué libro de reglas funciona mejor, los investigadores utilizan un truco ingenioso llamado Análisis de Similitud Representacional (RSA). Piensa en ello como un juego de "Adivina la Conexión". Toman los "pensamientos" internos del robot (sus representaciones digitales) sobre una imagen y los comparan con la actividad eléctrica real en el cerebro humano cuando mira esa misma imagen. Si los pensamientos del robot coinciden estrechamente con la actividad cerebral, decimos que tiene una comprensión "similar a la del cerebro". La gran esperanza es que, al encontrar la regla que hace al robot más parecido al cerebro, finalmente podamos descifrar el código de la visión humana. Pero hay un inconveniente: el cerebro real es increíblemente complejo, y los robots que podemos entrenar actualmente con estas sofisticadas reglas biológicas son todavía bastante pequeños y simples.

Este artículo descorre la cortina de una trampa oculta en estas comparaciones. El investigador descubrió que la respuesta a "¿qué regla es mejor?" cambia completamente dependiendo de una sola cosa: el tamaño de la imagen que se le muestra al robot. Resulta que, cuando los científicos comparan estos robots pequeños, inspirados en la biología, con el cerebro humano, suelen utilizar fotos de alta resolución y detalladas (como 224 píxeles de ancho) para probarlos, a pesar de que los robots fueron entrenados solo con imágenes diminutas y borrosas de 32 píxeles. El estudio encuentra que este desajuste crea una ilusión mágica. Cuando se prueba al robot no entrenado, aleatorio, con imágenes grandes y detalladas, este de repente parece tan bueno como, o incluso mejor que, el robot inteligente y entrenado para comprender las partes tempranas del sistema visual. El autor demuestra que esto no es porque el robot aleatorio sea secretamente brillante, sino porque la forma en que lo estamos midiendo está sesgada por el tamaño de la imagen.

La trampa de la resolución

El descubrimiento central aquí es que el "ganador" del concurso de similitud con el cerebro depende enteramente de la resolución de las imágenes de prueba. Imagina que estás juzgando un concurso de cocina. Tienes a un chef que practicó haciendo un plato en una sartén diminuta de 3 pulgadas, y tienes a una persona al azar que simplemente lanzó ingredientes en un bol sin cocinar. Si les pides que sirvan el plato en una bandeja enorme de 2 pies, la persona al azar podría parecer accidentalmente mejor porque la enorme bandeja esconde el hecho de que la comida está cruda. Pero si les sirves en la misma sartén diminuta de 3 pulgadas en la que practicaron, el chef entrenado brilla, y la persona al azar se ve terrible.

En este estudio, la "sartén diminuta" es la resolución de 32 píxeles en la que los robots fueron entrenados, y la "bandeja masiva" es la resolución de 224 píxeles que se utiliza a menudo para probarlos contra los datos cerebrales. Cuando el investigador probó los robots en el mismo tamaño de 32 píxeles en el que aprendieron, los robots entrenados (usando retropropagación) fueron ligeramente mejores que los no entrenados, tal como se esperaba. Pero cuando cambiaron a las imágenes más grandes de 224 píxeles, los resultados se invirtieron. El robot no entrenado y aleatorio de repente se pareció mucho más a la corteza visual temprana (V1) del cerebro humano que el entrenado. La brecha entre ellos creció constantemente a medida que la imagen se hacía más grande, pasando de una pequeña diferencia de -0.001 a 32 píxeles a una gran diferencia de +0.044 a 224 píxeles.

Descartando a los sospechosos

El autor no se limitó a encontrar el problema; jugó a ser detective para averiguar por qué estaba sucediendo esto. Tenían cuatro sospechosos principales, y los descartaron uno por uno.

Primero, sospecharon que era simplemente un problema de "desajuste": tal vez los robots entrenados funcionan peor cuando se les muestran imágenes con las que no fueron entrenados. Para probar esto, probaron robots que fueron entrenados realmente con las imágenes grandes de 224 píxeles (como un ResNet-50 y un transformador Swin-Tiny). Si la teoría del desajuste fuera cierta, estos robots entrenados en imágenes grandes deberían haber funcionado mejor a 224 píxeles. Pero no fue así. También funcionaron mejor en resoluciones bajas y empeoraron a medida que las imágenes se hacían más grandes. Así que no se trataba solo de ser entrenados en el tamaño incorrecto.

Segundo, examinaron la configuración del robot "no entrenado". Los robots no entrenados suelen tener sus configuraciones de "normalización" (que ayudan a mantener los datos equilibrados) establecidas en valores por defecto, mientras que los robots entrenados han aprendido configuraciones. El autor pensó que tal vez esta configuración por defecto era la salsa secreta. Ajustaron manualmente la configuración del robot no entrenado para que coincidiera perfectamente con los datos de entrenamiento. Incluso con estas configuraciones perfectas, el robot no entrenado superó al entrenado en las altas resoluciones. Por lo tanto, no era un error de configuración.

Tercero, comprobaron si los robots simplemente estaban imitando patrones visuales simples, como la forma en que los parches de luz y oscuridad (filtros de Gabor) o los píxeles brutos se ven. Descubrieron que los robots que más se parecían a estos patrones simples no eran necesariamente los que más se parecían al cerebro. De hecho, uno de los robots entrenados se veía muy "parecido a un Gabor", pero aun así no coincidía bien con el cerebro. Por lo tanto, los patrones simples no eran toda la historia.

Cuarto, consideraron que a medida que la imagen se hace más grande, el robot está promediando cada vez más píxeles, lo que podría hacer que su respuesta final sea solo una medida simple del brillo general de la imagen. Encontraron que un solo número que representa el brillo promedio de una imagen coincidía con los datos cerebrales casi tan bien como el robot no entrenado. Esta fue una gran pista: el robot no entrenado estaba haciendo gran parte de su "similitud" simplemente adivinando el brillo. Sin embargo, incluso después de contabilizar el brillo, el efecto de la resolución no desapareció por completo.

El verdadero culpable: El detalle de la imagen

Para encontrar la verdadera causa, el autor realizó un experimento final y astuto. Tomó las imágenes grandes, las encogió al tamaño diminuto de 32 píxeles (limitando el detalle) y luego las volvió a ampliar al tamaño grande. Esto significaba que el robot todavía estaba mirando una imagen grande y promediando muchos píxeles, pero la información real en la imagen estaba estancada en la baja resolución.

El resultado fue dramático. Cuando el detalle se limitó a la resolución de entrenamiento, los robots entrenados dejaron de empeorar a medida que la imagen se hacía más grande. La enorme brecha entre los robots entrenados y los no entrenados casi desapareció. Esto demostró que el efecto no era causado por el robot mirando más píxeles (el agrupamiento o pooling), sino por el robot viendo más detalle que no había aprendido a manejar. El detalle adicional en las imágenes de alta resolución estaba perjudicando a los robots entrenados y ayudando a los no entrenados, pero el autor admite que no comprenden completamente por qué los filtros aleatorios se benefician de este detalle adicional mientras que los entrenados sufren.

Lo que realmente importa

El artículo termina con un giro tranquilizador. Mientras que la parte temprana del sistema visual (V1) se estaba confundiendo por el tamaño de la imagen, las partes de nivel superior del cerebro (llamadas LOC) contaban una historia diferente. En estos niveles superiores, los robots entrenados superaron consistentemente a los no entrenados, sin importar el tamaño de la imagen. Esto significa que el aprendizaje sí cambia la naturaleza cerebral de la red, pero el "ruido" de la resolución de la imagen estaba ahogando la señal en las etapas tempranas.

La principal conclusión es una advertencia para los científicos: si quieren saber qué regla de aprendizaje es mejor, deben ser muy cuidadosos con el tamaño de las imágenes que usan para probarlas. El "ganador" no es una propiedad fija de la regla; es el resultado de cómo eliges medirla. Hasta que los científicos acuerden una forma estándar de hacer coincidir el tamaño de la imagen con el área cerebral que están estudiando, las comparaciones en la corteza visual temprana pueden ser engañosas. El artículo sugiere que deberíamos probar a la resolución en la que el modelo fue entrenado y reportar esa resolución claramente, para que no seamos engañados por la trampa de la resolución.