Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis

Imaginez que vous possédez une bibliothèque géante et magique où chaque livre est une cellule vivante du corps humain. Depuis des années, les scientifiques tentent de lire ces livres pour comprendre comment notre corps fonctionne, mais le texte est désordonné et difficile à déchiffrer. Récemment, un nouveau type de « super-lecteur » appelé Modèle de Langage Étendu Biologique (ou LLM Biologique) a été inventé. Ce sont des programmes informatiques entraînés sur des millions de « livres » cellulaires pour repérer des motifs, tout comme le clavier de votre téléphone apprend à prédire le prochain mot que vous allez taper.

La grande question que les scientifiques se sont posée est la suivante : ces super-lecteurs organisent-ils leurs connaissances de manière nette et rectiligne ? Dans les modèles de langage classiques (ceux qui écrivent des essais ou discutent avec vous), les chercheurs ont découvert que des idées comme « roi » et « reine » se situent sur une ligne droite, et que les opposés ne sont qu'à une simple étape l'un de l'autre. C'est comme une carte parfaitement organisée où chaque concept possède sa propre rue bien définie. Les scientifiques espéraient que ces super-lecteurs biologiques auraient la même carte nette et rectiligne pour des concepts tels que « sain vs malade » ou « en croissance vs au repos ». S'ils en avaient une, cela signifierait que nous pourrions facilement ajuster la pensée de l'ordinateur pour comprendre les maladies ou le développement. Mais, comme nous allons le voir, la carte à l'intérieur de ces modèles biologiques ressemble davantage à un sentier de forêt sinueux et vallonné qu'à une rue de ville droite.

---

La carte à l'intérieur de la machine : une forêt, pas une autoroute

Dans cette étude, une chercheuse nommée Olivia Denvis a décidé de plonger en profondeur dans quatre de ces super-lecteurs biologiques (nommés scBERT, Geneformer, scGPT et UCE) pour voir s'ils possèdent réellement cette organisation rectiligne et nette. Elle les a traités comme des explorateurs, les envoyant dans un ensemble massif de données de 420 000 cellules avec des notes détaillées sur ce qu'elles sont, où elles vivent et ce qu'elles font. Elle a ensuite comparé les cartes internes des modèles aux outils traditionnels et fiables que les scientifiques utilisent depuis des décennies, comme les astuces mathématiques simples appelées PCA.

Voici ce qu'elle a trouvé : les modèles possèdent une carte, mais ce n'est pas l'autoroute droite et nette que tout le monde espérait.

1. La carte est compacte, mais encombrée
D'abord, les chercheurs ont vérifié l'espace que les modèles utilisent pour stocker l'information. Imaginez un immense entrepôt (la taille complète du modèle) qui pourrait contenir 1 280 étagères. L'étude a révélé que les modèles n'utilisent réellement qu'environ 12 à 26 étagères pour stocker leur savoir. C'est un espace de faible dimension, ce qui est une bonne chose car cela signifie que les modèles sont efficaces. Cependant, l'espace est « anisotrope », ce qui est une façon sophistiquée de dire qu'il est façonné comme un cône long et étroit plutôt que comme une boule ronde. Les modèles plus petits étaient encore plus comprimés dans ce cône étroit, suggérant qu'ils pourraient être un peu « à l'étroit » dans leur façon de penser.

2. Le facile est droit, le difficile est courbe
Lorsque la chercheuse a demandé aux modèles d'identifier des choses simples, comme « Est-ce que cette cellule provient d'un homme ou d'une femme ? » ou « Appartient-elle au système immunitaire ? », les modèles ont été formidables. Ils pouvaient tracer une ligne droite pour séparer ces groupes, tout comme les modèles de langage. En fait, pour ces catégories faciles, les modèles étaient presque parfaits.

Mais voici le tournant : lorsqu'elle a interrogé les modèles sur des sujets plus intéressants — comme « Est-ce que cette cellule est malade ? » ou « Quel est son sous-type spécifique ? » ou « À quel stade de son développement se trouve-t-elle ? » — les lignes droites ont cessé de fonctionner. Le savoir était toujours là, mais il était emmêlé en courbes.

• La preuve : Lorsque la chercheuse a essayé d'utiliser une simple ligne droite pour prédire le temps de développement d'une cellule, elle n'a obtenu qu'environ 61 % de la réponse correcte. Mais lorsqu'elle a laissé l'ordinateur suivre le chemin naturel et courbe des données (comme marcher le long d'un sentier sinueux plutôt que de couper à travers un champ), la précision est passée à 80 %.
• La conclusion : Les modèles connaissent les choses complexes, mais ils les stockent de manière courbe et non linéaire, que les lignes droites simples ne peuvent pas atteindre facilement. Cela diffère des modèles de langage, où même les idées complexes se situent souvent sur des lignes droites.

3. Le « volant » est un peu instable
Dans les modèles de langage, si vous voulez changer la signification d'un mot (comme transformer « heureux » en « triste »), vous pouvez simplement ajouter un vecteur spécifique (une direction), et cela fonctionne parfaitement. La chercheuse a tenté cette expérience avec les modèles biologiques. Elle a essayé de « piloter » l'identité d'une cellule en ajoutant un vecteur de direction.

• Le résultat : Cela a fonctionné, mais seulement 54 % à 66 % du temps. C'était mieux qu'un pile ou face, mais loin du contrôle parfait observé dans les modèles de langage. Parfois, essayer de changer une chose modifiait accidentellement autre chose. Les directions pour différentes idées étaient quelque peu parallèles, mais pas parfaitement, et elles n'étaient que faiblement alignées.

4. Les modèles sont d'accord entre eux, pas avec la « vérité »
La chercheuse a également vérifié si les quatre modèles pensent de la même manière. Ils étaient modérément similaires entre eux (environ 55 % à 74 % de similitude), ce qui est une bonne chose. Mais lorsqu'elle les a comparés au « Standard d'Or » de la connaissance biologique (une carte détaillée de la façon dont les types de cellules sont liés dans la réalité), les modèles n'étaient qu'environ 36 % à 45 % similaires.

• La surprise : Les modèles ressemblaient en fait davantage aux outils mathématiques traditionnels (PCA) qu'à la véritable réalité biologique. Ils ont convergé vers une vision partagée et simplifiée des données, plus proche des mathématiques de base que de la réalité complexe de la biologie.

5. Le savoir « profond » se trouve au milieu
Enfin, elle a examiné où, dans les couches du modèle (son « cerveau »), ce savoir résidait.

• Identité simple : Savoir « quel type de cellule » il s'agit devient plus fort à mesure que l'on s'enfonce dans les couches du modèle.
• État de la maladie : Savoir si une cellule est malade a atteint un sommet dans les couches intermédiaires avant de s'estomper à mesure que le modèle devenait plus profond.
• Effets de lot (Batch Effects) : Les modèles étaient bons pour ignorer le bruit technique (comme la machine qui a pris la photo) dans les premières couches, mais ils ne l'ont pas complètement oublié.

Le mot de la fin

Alors, quel est le verdict ? Les Modèles de Langage Étendus Biologiques sont réels, et ils détiennent effectivement une carte géométrique du savoir. Mais ce n'est pas la carte propre, rectiligne et parfaitement organisée que nous avons vue dans les modèles de langage. Au lieu de cela, c'est une carte « partiellement linéarisée et de faible dimension ».

Les modèles sont excellents pour les choses faciles (comme distinguer une cellule mâle d'une cellule femelle), mais pour les choses difficiles et cliniquement importantes (comme la maladie ou le développement), le savoir est courbe et emmêlé. La majeure partie du savoir « en ligne droite » que les modèles possèdent est en fait ce que nous pouvions déjà obtenir grâce à des outils mathématiques simples et traditionnels. Les nouvelles choses que les modèles ont apprises sont bien là, mais elles sont cachées dans les courbes, ce qui les rend plus difficiles à lire et à utiliser.

L'étude conclut que, bien que ces modèles soient utiles, ils ne sont pas la percée magique de la « ligne droite » que certains espéraient. Le véritable défi pour l'avenir n'est pas seulement de construire des modèles plus grands, mais de construire de meilleurs outils pour lire les chemins courbes et sinueux où les secrets biologiques les plus importants sont réellement cachés.