Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

Résumé technique : La topologie du connectome de la drosophile n'offre aucun avantage mesurable pour les modèles de langage

Énoncé du problème
L'article traite de la question empirique de savoir si le câblage synaptique d'un cerveau animal (spécifiquement le connectome de Drosophila melanogaster) peut servir de biais inductif bénéfique pour les modèles de langage (LM). Bien que des diagrammes de câblage de cerveaux entiers existent, il n'a pas été prouvé que la copie ou la contrainte de réseaux artificiels par ces topologies biologiques améliore les objectifs d'apprentissage par rapport à de solides contrôles non cérébraux. L'étude vise à dépasser les comparaisons métaphoriques pour proposer un test rigoureux et préenregistré de la capacité des opérateurs dérivés de la mouche à réduire la log-vraisemblance négative (NLL) ou à améliorer la performance de récupération par rapport à des topologies vanilla, aléatoires ou de degré équivalent.

Méthodologie
La recherche suit un programme expérimental fermé et préenregistré utilisant de petits modèles (TinyLM) et des « files d'attente » (étapes expérimentales) spécifiques avec des règles de victoire strictes définies avant l'exécution. L'étude utilise la table de connectivité FlyWire v783 (environ 139 000 neurones, 50 millions de synapses).

Les principaux bras expérimentaux incluent :

1. Priors de graphes dans l'attention/les routeurs : Test de noyaux de diffusion « lavés » (dérivés des nœuds à haut degré de FlyWire avec des diagonales unitaires forcées) et de matrices d'adjacence « brutes » comme biais d'attention ou priors de routeur dans TinyLM.
2. Expansion biologique gelée comme FFN : Remplacement du réseau de propagation vers l'avant (FFN) standard par une expansion ALPN (neurone de projection du lobe antennaire) $\to$ KC (cellule de Kenyon), suivie d'un mécanisme de $k$-winner-take-all (WTA) strict.
3. Résidu de projectome entraînable (C1-R) : Implémentation d'une connexion résiduelle entraînable où la communication est régulée par un masque dérivé du projectome de la mouche. Cela a fait suite à un test dégénéré initial (C1) où l'initialisation empêchait l'apprentissage.
4. Expansion comme hash de récupération : Test de l'expansion ALPN $\to$ KC comme hash sensible à la localité pour la récupération de mémoire associative, comparé à des expansions aléatoires et des recherches cosinus denses.
5. Interface d'engramme silencieux : Test de l'hypothèse de l'« engramme silencieux » où les mémoires sont stockées mais inaccessibles jusqu'à ce qu'une voie de rappel (indice) les restaure. Cela impliquait de comparer une interface de forme de mouche à un sélecteur contraint générique pour déterminer si la structure biologique offre un avantage unique en termes de stockage versus accessibilité.
6. Persistance du complexe central : Test de la persistance de cap directionnel dans l'attracteur de type anneau du complexe central par rapport aux critères d'attracteur.

Les contrôles comprenaient des bases sans graphe, des graphes aléatoires d'Erdős–Rényi, des graphes aléatoires de degré équivalent, des FFN denses et des topologies creuses apprises. Le succès était défini par une marge préenregistrée (typiquement 0,02 en NLL de paire de tokens ou des écarts de précision spécifiques) sur plusieurs graines (généralement 3/3).

Résultats clés
L'étude rapporte une série de résultats négatifs à travers toutes les architectures testées :

• Priors de graphes : Les priors de diffusion lavés (matrices quasi-identité) n'ont pas réussi à surpasser les graphes brouillés ou aléatoires sur les sondes lexicales, factuelles ou morphologiques. Les noyaux de syntaxe bruts (64×12 et 256×12) ont montré certains avantages d'AUROC par rapport aux graphes brouillés mais n'ont pas réussi à battre la base de référence « sans noyau » ou les contrôles non cérébraux par la marge requise de 0,02 en NLL de paire de tokens.
• Expansion gelée (FFN) : Le remplacement du FFN par l'expansion gelée ALPN $\to$ KC a entraîné une performance nettement moins bonne (NLL plus élevée) que la parcimonie aléatoire, les expansions de degré équivalent et les FFN denses sur les trois graines.
• Projectome entraînable (C1-R) : Après résolution de la dégénérescence d'initialisation, la topologie de la mouche a été utilisée dans le calcul (norme résiduelle relative $\rho \approx 0,02\text{--}0,06$). Cependant, elle n'a fourni aucun avantage mesurable par rapport aux topologies vanilla, aléatoires, de degré équivalent ou de parcimonie apprise en termes de Qualité, d'Anatomie ou de Spécificité.
• Hash de récupération : L'expansion basée sur la mouche comme hash de récupération (M0) a moins bien performé que l'expansion aléatoire avec le même mécanisme WTA (recall@1 $\approx$ 0,31 contre 0,37) et nettement moins bien que la recherche cosinus dense ($\approx$ 0,85).
• Engramme silencieux : Bien qu'une interface d'engramme silencieux (stockage $\neq$ accessibilité) soit réalisable par construction, un opérateur de récupération appris a échoué sur les données d'entraînement. Crucialement, un ordinateur d'expression de type « banque de famille » utilisant la topologie de la mouche a été égalé exactement par un sélecteur contraint générique (succès moyen 0,80, écart 0), fermant la revendication d'une unicité spécifique à la mouche.
• Complexe central : La persistance isolée du cap directionnel n'a pas satisfait aux critères d'attracteur préenregistrés ; l'état de la mouche se dégradait plus vite que les contrôles.
• Contexte de modèle 800M : L'article note qu'un modèle de production de 800 millions de paramètres (Mara-MoE) a obtenu un score de 36,0 % sur une suite de choix multiples russe, mais précise explicitement que ce n'est pas un résultat lié au connectome, car aucune ablation sans le blueprint n'a été menée pour ce checkpoint spécifique.

Signification et revendications
La principale signification de l'article réside dans sa réfutation rigoureuse et préenregistrée de hypothèses spécifiques concernant l'utilité du connectome de Drosophila comme biais inductif direct pour les modèles de langage.

• Les résultats négatifs comme discipline : L'auteur souligne que le terme « meilleur » est strictement défini par des inégalités préenregistrées. L'étude conclut que, bien qu'une communication parcimonieuse entraînable au niveau de la famille soit viable, la topologie spécifique du projectome de Drosophila ne fournit aucun avantage mesurable de paire-NLL par rapport aux topologies vanilla, aléatoires, de degré équivalent ou de parcimonie apprise sous les interfaces testées.
• Limites architecturales : L'expansion gelée du corps de la mushroom n'est pas un FFN de langage supérieur, ni un hash associatif supérieur à l'expansion aléatoire plus WTA.
• Interface vs Mécanisme : Le phénomène de l'« engramme silencieux » est réalisable en tant qu'interface de calcul, mais l'implémentation spécifique de la forme de Drosophila n'offre aucun avantage unique par rapport aux sélecteurs contraints génériques.
• Portée des revendications : L'auteur déclare explicitement qu'il ne prétend pas que les cerveaux sont inutiles pour l'apprentissage automatique ou que la drosophile n'a pas d'algorithmes utiles, mais démontre que ces transferts spécifiques sous ces juges spécifiques n'ont pas amélioré les objectifs mesurés. L'efficacité, la latence et la robustesse hors distribution n'ont pas été mesurées et ne sont pas revendiquées.

L'article conclut que la direction de recherche « existe-t-il une structure de calcul dans ce cerveau qui pourrait devenir un biais inductif ? » reste ouverte, mais que les implémentations spécifiques testées (priors lavés, expansions gelées, résidus de projectome et interfaces d'engramme silencieux) ont reçu une réponse négative.