Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

Per decenni, una silenziosa speranza è persistita nel mondo dell'intelligenza artificiale: che il disordinato cablaggio biologico di un cervello vivente possa custodire il segreto per costruire macchine più intelligenti. L'idea è semplice. L'evoluzione ha impiegato milioni di anni per perfezionare le connessioni tra i neuroni negli animali, creando reti che sono efficienti, modulari e sorprendentemente brave ad apprendere. Se fossimo in grado di copiare quei modelli di connessione specifici — il "diagramma del cablaggio" — e incollarli in un programma per computer progettato per comprendere il linguaggio, forse il computer imparerebbe più velocemente o penserebbe con più chiarezza. Questa speranza non è solo una metafora; è una domanda testabile. Può la mappa fisica di un cervello servire come punto di partenza utile, o "bias induttivo", per un modello di apprendimento automatico? Per scoprirlo, i ricercatori si sono rivolti alla mosca della frutta, Drosophila melanogaster. Gli scienziati hanno già mappato l'intero sistema nervoso di una mosca adulta, identificando circa 139.000 neuroni e decine di milioni di connessioni. Questa mappa, nota come connettoma, è il diagramma di cablaggio più dettagliato di qualsiasi cervello animale disponibile. La domanda ora era se questo specifico progetto biologico potesse effettivamente migliorare un modello linguistico per computer, o se la complessità del cervello della mosca fosse semplicemente troppo diversa dal compito di elaborare parole umane.

Un ricercatore si è posto l'obiettivo di rispondere a questa domanda con un esperimento rigoroso e pre-pianificato. Non ha semplicemente ipotizzato che il cervello della mosca sarebbe stato d'aiuto; ha progettato una serie di test rigorosi in cui le regole per vincere erano state scritte prima che venissero raccolti i dati. L'obiettivo era vedere se l'uso del diagramma di cablaggio della mosca potesse rendere un piccolo modello linguistico migliore nella previsione della parola successiva in una frase, rispetto all'uso di un insieme casuale di connessioni o all'assenza di una mappa speciale. Ha testato diversi modi per utilizzare l'anatomia della mosca. Primo, ha provato a usare la mappa come guida per il modo in cui il computer dovrebbe prestare attenzione a diverse parti di una frase. Poi, ha sostituito una parte standard del motore di elaborazione del computer con una copia congelata e immutabile del sistema olfattivo della mosca, famoso per espandere le informazioni e filtrarle. Infine, ha testato un'idea più complessa ispirata a come le mosche conservano i ricordi: un sistema in cui l'informazione è nascosta e può essere recuperata solo con un segnale di "promemoria" specifico, un concetto noto come engramma silenzioso.

I risultati sono stati chiari e coerenti: il diagramma di cablaggio della mosca non ha fornito alcun vantaggio misurabile. Nel primo set di test, in cui il ricercatore ha usato la mappa della mosca per guidare l'attenzione del computer, il modello non è performato meglio di un modello senza alcuna mappa. Infatti, quando hanno confrontato il modello basato sulla mosca con un modello che utilizzava una rete completamente casuale della stessa dimensione, la rete casuale spesso performava altrettanto bene o meglio. Il ricercatore ha scoperto che, sebbene la mappa della mosca contenesse schemi interessanti, tali schemi non si traducevano in una capacità di comprendere la sintassi o i fatti del linguaggio meglio di un foglio bianco. Un test specifico consisteva nel prendere le connessioni grezze dal cervello della mosca e usarle per prevedere le relazioni tra le parole. Sebbene la mappa della mosca potesse a volte battere una versione rimescolata di se stessa, non è riuscita a battere la linea di base di non avere alcuna mappa affatto. La differenza di prestazioni era così piccola da essere statisticamente indistinguibile dal caso.

L'esperimento è andato oltre, testando il cervello della mosca come sostituto di un componente standard del computer. Il ricercatore ha preso la parte del cervello della mosca che espande l'input sensoriale e lo filtra, e l'ha congelata in posizione per agire come un elaboratore fisso per il modello linguistico. Si aspettava che questa struttura biologica fosse un modo superiore di gestire l'informazione. Inveve, il computer ha performato peggio rispetto all'uso di una semplice rete casuale della stessa dimensione. L'espansione biologica non era una chiave magica per una migliore elaborazione del linguaggio; era, in questo contesto, uno strumento meno efficiente rispetto a una rete standard e non strutturata. Il ricercatore ha anche testato l'idea dell' "engramma silenzioso". Nelle mosche, i ricordi possono essere conservati in un modo che li rende invisibili ai controlli normali, diventando accessibili solo quando un segnale chimico specifico agisce come promemoria. Il ricercatore ha costruito un sistema informatico che mimava questo comportamento, cercando di vedere se questo trucco biologico per nascondere e recuperare i ricordi offrisse alcun vantaggio rispetto alla memoria informatica standard. Ha scoperto che, sebbene fosse possibile costruire un sistema che funzionasse come la memoria della mosca, un programma per computer molto più semplice e generico poteva svolgere esattamente lo stesso lavoro altrettanto bene. Il metodo specifico della mosca per nascondere i ricordi non era unico o superiore; un selettore standard e vincolato poteva ottenere gli stessi risultati senza bisogno del complesso progetto biologico.

Persino il tentativo del ricercatore di usare il cervello della mosca come strumento per trovare informazioni, simile a come una mosca usa il suo cervello per riconoscere gli odori, non è riuscito a superare i metodi standard. Quando ha usato il meccanismo di espansione della mosca come modo per cercare dati, un metodo di espansione casuale ha funzionato meglio. I metodi densi e standard del computer erano di gran lunga superiori nel recuperare l'informazione corretta. Lo studio ha anche esaminato il complesso centrale della mosca, una parte del cervello coinvolta nella navigazione e nel mantenimento del senso di direzione. Hanno cercato di vedere se questa struttura potesse fungere da ciclo di memoria stabile in un computer, mantenendo un pezzo di informazione nel tempo. Il test ha mostrato che la struttura della mosca non manteneva l'informazione meglio delle reti casuali; anzi, l'informazione svaniva più velocemente rispetto ai gruppi di controllo.

In tutto lo studio, il ricercatore è stato attento a distinguere tra ciò che ha testato e ciò che non ha testato. Non ha affermato che il cervello della mosca della frutta sia inutile per tutto l'apprendimento automatico, né ha detto che i cervelli siano cattivi modelli per i computer. Ha semplicemente dimostrato che questi specifici tentativi di copiare il cablaggio della mosca in un modello linguistico non hanno funzionato. Il modello da 800 milioni di parametri utilizzato come punto di riferimento sullo sfondo non è stato provato essere migliore grazie alla mappa della mosca; le sue prestazioni sono state misurate separatamente e non facevano parte dell'esperimento del connettoma. Lo studio ha concluso che, sebbene sia possibile costruire un computer che utilizzi una comunicazione sparsa a livello familiare simile a quella della mosca, la specifica topologia del progetto progetto della Drosophila non offre alcun vantaggio rispetto alle connessioni casuali o apprese. Il progetto biologico, in questo caso, non era una scorciatoia per una macchina più intelligente. L'esperimento ha dimostrato che la soluzione evolutiva per il cervello di una mosca non risolve automaticamente il problema di insegnare a un computer a comprendere il linguaggio umano. La speranza che copiare il diagramma di cablaggio di un cervello migliorerebbe istantaneamente l'intelligenza artificiale non era, in questo caso specifico e attentamente misurato, supportata dalle prove.