Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

Durante décadas, uma esperança silenciosa persistiu no mundo da inteligência artificial: a de que a fiação biológica e desordenada de um cérebro vivo pudesse conter o segredo para construir máquinas mais inteligentes. A ideia é simples. A evolução passou milhões de anos refinando as conexões entre os neurônios nos animais, criando redes que são eficientes, modulares e surpreendentemente boas em aprender. Se pudéssemos copiar esses padrões de conexão específicos — o "diagrama de fiação" — e colá-los em um programa de computador projetado para entender a linguagem, talvez o computador aprendesse mais rápido ou pensasse com mais clareza. Essa esperança não é apenas uma metáfora; é uma questão testável. Pode o mapa físico de um céreio servir como um ponto de partida útil, ou "viés indutivo", para um modelo de aprendizado de máquina? Para descobrir, pesquisadores recorreram à mosca-das-frutas, Drosophila melanogaster. Cientistas já mapearam todo o sistema nervoso de uma mosca adulta, identificando aproximadamente 139.000 neurônios e dezenas de milhões de conexões. Este mapa, conhecido como conectoma, é o diagrama de fiação mais detalhado de qualquer cérebro animal disponível. A questão agora era se esse projeto biológico específico poderia realmente melhorar um computador de linguagem, ou se a complexidade do cérebro da mosca era simplesmente muito diferente da tarefa de processar palavras humanas.

Um pesquisador partiu para responder a essa questão com um experimento rigoroso e pré-planejado. Ele não simplesmente supôs que o cérebro da mosca ajudaria; ele desenhou uma série de testes estritos onde as regras para vencer foram escritas antes de qualquer dado ser coletado. O objetivo era ver se o uso do diagrama de fiação da mosca poderia tornar um pequeno modelo de linguagem melhor em prever a próxima palavra em uma frase, comparado ao uso de um conjunto de conexões aleatórias ou de nenhum mapa especial. Eles testaram várias maneiras diferentes de usar a anatomia da mosca. Primeiro, tentaram usar o mapa como um guia para como o computador deveria prestar atenção a diferentes partes de uma frase. Em seguida, substituíram uma parte padrão do motor de processamento do computador por uma cópia congelada e imutável do sistema olfativo da mosca, que é famoso por expandir informações e filtrá-las. Finalmente, testaram uma ideia mais complexa inspirada em como as moscas armazenam memórias: um sistema onde a informação é escondida e só pode ser recuperada com um sinal de "lembrete" específico, um conceito conhecido como engrama silencioso.

Os resultados foram claros e consistentes: o diagrama de fiação da mosca não proporcionou nenhuma vantagem mensurável. No primeiro conjunto de testes, onde o pesquisador usou o mapa da mosca para guiar a atenção do computador, o modelo não performou melhor do que um modelo sem mapa algum. De fato, quando compararam o modelo baseado na mosca a um modelo usando uma rede completamente aleatória do mesmo tamanho, a rede aleatória frequentemente performou tão bem ou melhor. O pesquisador descobriu que, embora o mapa da mosca contivesse padrões interessantes, esses padrões não se traduziram em uma habilidade de entender sintaxe ou fatos de linguagem melhor do que um quadro em branco. Um teste específico envolveu pegar as conexões brutas do cérebro da mosca e usá-las para prever relações entre palavras. Embora o mapa da mosca pudesse às vezes vencer uma versão embaralhada de si mesmo, ele falhou em vencer a linha de base de ter nenhum mapa. A diferença de desempenho foi tão pequena que era estatisticamente indistinguível do acaso.

O experimento foi além, testando o cérebro da mosca como um substituto para um componente de computador padrão. O pesquisador pegou a parte do cérebro da mosca que expande o estímulo sensorial e o filtra, e o congelou no lugar para agir como um processador fixo para o modelo de linguagem. Ele esperava que essa estrutura biológica fosse uma forma superior de lidar com a informação. Em vez disso, o computador performou pior do que se tivesse usado uma rede simples e aleatória do mesmo tamanho. A expansão biológica não era uma chave mágica para um melhor processamento de linguagem; era, neste contexto, uma ferramenta menos eficiente do que uma rede padrão e não estruturada. O pesquisador também testou a ideia do "engrama silencioso". Nas moscas, as memórias podem ser armazenadas de uma forma que as torna invisíveis a verificações normais, tornando-se acessíveis apenas quando um sinal químico específico atua como um lembrete. O pesquisador construiu um sistema de computador que mimetizava esse comportamento, tentando ver se esse truque biológico para esconder e recuperar memórias oferecia alguma vantagem sobre a memória de computador padrão. Eles descobriram que, embora pudessem construir um sistema que funcionasse como a memória da mosca, um programa de computador muito mais simples e genérico poderia fazer exatamente o mesmo trabalho tão bem quanto. O método específico da mosca de esconder memórias não era único ou superior; um seletor padrão e restrito poderia alcançar os mesmos resultados sem precisar do complexo projeto biológico.

Mesmo a tentativa do pesquisador de usar o cérebro da mosca como uma ferramenta para encontrar informações, semelhante a como uma mosca usa seu cérebro para reconhecer cheiros, falhou em superar métodos padrão. Quando usaram o mecanismo de expansão da mosca como uma forma de buscar dados, um método de expansão aleatória funcionou melhor. Os métodos densos e padrão de computador foram muito superiores na recuperação da informação correta. O estudo também observou o complexo central da mosca, uma parte do cérebro envolvida na navegação e na manutenção de um senso de direção. Eles tentaram ver se essa estrutura poderia atuar como um loop de memória estável em um computador, retendo uma peça de informação ao longo do tempo. O teste mostrou que a estrutura da mosca não reteve a informação melhor do que as redes aleatórias; de fato, a informação desapareceu mais rápido do que nos grupos de controle.

Ao longo do estudo, o pesquisador foi cuidadoso ao distinguir entre o que testou e o que não testou. Ele não afirmou que o cérebro da mosca-das-frutas é inútil para todo aprendizado de máquina, nem disse que cérebros são modelos ruins para computadores. Ele simplesmente mostrou que essas tentativas específicas de copiar a fiação da mosca para um modelo de linguagem não funcionaram. O modelo de 800 milhões de parâmetros que usaram como ponto de referência no plano de fundo não foi provado ser melhor devido ao mapa da mosca; seu desempenho foi medido separadamente e não fazia parte do experimento do conectoma. O estudo concluiu que, embora seja possível construir um computador que use comunicação esparsa de nível de família semelhante à da mosca, a topologia específica do projetoma da Drosophila não oferece vantagem sobre conexões aleatórias ou aprendidas. O projeto biológico, neste caso, não foi um atalho para uma máquina mais inteligente. O experimento demonstrou que a solução da evolução para o cérebro de uma mosca não resolve automaticamente o problema de ensinar um computador a entender a linguagem humana. A esperança de que copiar o diagrama de fiação de um cérebro melhoraria instantaneamente a inteligência artificial foi, neste caso específico e cuidadosamente medido, não sustentada pelas evidências.