Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

Durante décadas, una esperanza silenciosa ha persistido en el mundo de la inteligencia artificial: que el desordenado cableado biológico de un cerebro vivo pudiera contener el secreto para construir máquinas más inteligentes. La idea es sencilla. La evolución ha pasado millones de años perfeccionando las conexiones entre neuronas en los animales, creando redes que son eficientes, modulares y sorprendentemente buenas aprendiendo. Si pudiéramos copiar esos patrones de conexión específicos —el "diagrama de cableado"— y pegarlos en un programa informático diseñado para comprender el lenguaje, tal vez la computadora aprendería más rápido o pensaría con mayor claridad. Esta esperanza no es solo una metáfora; es una pregunta comprobable. ¿Puede el mapa físico de un cerebro servir como un punto de partida útil, o "sesgo inductivo", para un modelo de aprendizaje automático? Para averiguarlo, los investigadores recurrieron a la mosca de la fruta, Drosophila melanogaster. Los científicos ya han mapeado todo el sistema nervioso de una mosca adulta, identificando aproximadamente 139.000 neuronas y decenas de millones de conexiones. Este mapa, conocido como conectoma, es el diagrama de cableado más detallado disponible de cualquier cerebro animal. La pregunta ahora era si este plano biológico específico podría realmente mejorar una computadora lingüística, o si la complejidad del cerebro de la mosca era simplemente demasiado diferente de la tarea de procesar palabras humanas.

Un investigador se propuso responder a esta pregunta mediante un experimento riguroso y planificado previamente. No se limitó a suponer que el cerebro de la mosca ayudaría; diseñó una serie de pruebas estrictas donde las reglas para ganar fueron escritas antes de recolectar cualquier dato. El objetivo era ver si usar el diagrama de cableado de la mosca podía hacer que un pequeño modelo de lenguaje fuera mejor prediciendo la siguiente palabra en una oración, comparado con el uso de un conjunto aleatorio de conexiones o sin ningún mapa especial. Probaron varias formas diferentes de utilizar la anatomía de la mosca. Primero, intentaron usar el mapa como guía sobre cómo la computadora debería prestar atención a diferentes partes de una oración. Luego, reemplazaron una parte estándar del motor de procesamiento de la computadora con una copia congelada e inalterable del sistema olfativo de la mosca, el cual es famoso por expandir la información y filtrarla. Finalmente, probaron una idea más compleja inspirada en cómo las moscas almacenan memorias: un sistema donde la información está oculta y solo puede ser recuperada con una señal de "recordatorio" específica, un concepto conocido como engrama silencioso.

Los resultados fueron claros y consistentes: el diagrama de cableado de la mosca no proporcionó ninguna ventaja mensurable. En el primer conjunto de pruebas, donde el investigador utilizó el mapa de la mosca para guiar la atención de la computadora, el modelo no funcionó mejor que un modelo sin mapa alguno. De hecho, cuando compararon el modelo basado en la mosca con un modelo que utilizaba una red completamente aleatoria del mismo tamaño, la red aleatoria a menudo funcionó igual de bien o mejor. El investigador descubrió que, aunque el mapa de la mosca contenía patrones interesantes, esos patrones no se tradujeron en una capacidad para entender la sintaxis del lenguaje o hechos mejor que un lienzo en blanco. Una prueba específica implicó tomar las conexiones puras del cerebro de la mosca y usarlas para predecir relaciones entre palabras. Aunque el mapa de la mosca a veces pudo vencer a una versión alterada de sí mismo, no logró superar la línea base de tener ningún mapa en absoluto. La diferencia en el rendimiento fue tan pequeña que resultó estadísticamente indistinguible del azar.

El experimento fue más allá, probando el cerebro de la mosla como un reemplazo para un componente computacional estándar. El investigador tomó la parte del cerebro de la mosca que expande la entrada sensorial y la filtra, y la dejó congelada en su lugar para actuar como un procesador fijo para el modelo de lenguaje. Esperaban que esta estructura biológica fuera una forma superior de manejar la información. En cambio, la computadora funcionó peor que si hubieran utilizado una red simple y aleatoria del mismo tamaño. La expansión biológica no fue una llave mágica para un mejor procesamiento del lenguaje; fue, en este contexto, una herramienta menos eficiente que una red estandarizada y no estructurada. El investigador también probó la idea del "engrama silencioso". En las moscas, las memorias pueden almacenarse de una manera que las hace invisibles a controles normales, volviéndose accesibles solo cuando una señal química específica actúa como recordatorio. El investigador construyó un sistema informático que imitaba este comportamiento, tratando de ver si este truco biológico para ocultar y recuperar memorias ofrecía alguna ventaja sobre la memoria informática estándar. Descubrieron que, si bien podían construir un sistema que funcionara como la memoria de la mosca, un programa informático mucho más simple y genérico podía realizar exactamente el mismo trabajo igual de bien. El método específico de la mosca para ocultar memorias no era único ni superior; un selector estándar y restringido podía lograr los mismos resultados sin necesidad del complejo plano biológico.

Incluso el intento del investigador de usar el cerebro de la mosca como una herramienta para encontrar información, similar a cómo una mosca usa su cerebro para reconocer olores, falló al no superar los métodos estándar. Cuando utilizaron el mecanismo de expansión de la mosca como una forma de buscar datos, un método de expansión aleatorio funcionó mejor. Los densos métodos computacionales estándar fueron muy superiores a la hora de recuperar la información correcta. El estudio también analizó el complejo central de la mosca, una parte del cerebro involucrada en la navegación y en mantener un sentido de la dirección. Intentaron ver si esta estructura podría actuar como un bucle de memoria estable en una computadora, manteniendo una pieza de información a lo largo del tiempo. La prueba mostró que la estructura de la mosca no retuvo la información mejor que las redes aleatorias; de hecho, la información se desvaneció más rápido que en los grupos de control.

A lo largo del estudio, el investigador tuvo cuidado de distinguir entre lo que probó y lo que no hizo. No afirmó que el cerebro de la mosca de la fruta sea inútil para todo el aprendizaje automático, ni dijo que los cerebros sean malos modelos para las computadoras. Simplemente demostró que estos intentos específicos de copiar el cableado de la mosca en un modelo de lenguaje no funcionaron. El modelo de 800 millones de parámetros que utilizó como punto de referencia en segundo plano no fue probado como superior debido al mapa de la mosca; su rendimiento se midió por separado y no formaba parte del experimento del conectoma. El estudio concluyó que, si bien es posible construir una computadora que utilice una comunicación dispersa a nivel familiar similar a la de la mosca, la topología específica del proyecto del Drosophila no ofrece ninguna ventaja sobre las conexiones aleatorias o aprendidas. El plano biológico, en este caso, no fue un atajo hacia una máquina más inteligente. El experimento demostró que la solución de la evolución para el cerebro de una mosca no resuelve automáticamente el problema de enseñar a una computadora a comprender el lenguaje humano. La esperanza de que copiar el diagrama de cableado de un cerebro mejoraría instantáneamente la inteligencia artificial fue, en este caso específico y cuidadosamente medido, no respaldada por la evidencia.