The Complex Geometry of Biological Knowledge in Artificial Intelligence: Manifolds, Spectra, and Concept Structure in Foundation-Model Representations

Imaginez que vous essayez de comprendre comment une bibliothèque géante organise ses livres. Dans le monde de l'intelligence artificielle, il existe des « modèles de fondation » — de massifs programmes informatiques entraînés sur des océans de données pour apprendre les règles d'un sujet spécifique. Un type populaire de ces modèles est entraîné sur des données biologiques, comme le code génétique des cellules ou les séquences de protéines. Des scientifiques ont récemment découvert que certains de ces modèles, spécifiquement ceux entraînés sur des données cellulaires, semblent posséder une carte interne très sophistiquée. Ils semblent organiser l'information le long de chemins lisses et incurvés (appelés « variétés » ou manifolds) et présentent une structure complexe à plusieurs couches qui ressemble à une sculpture magnifique et complexe. C'est passionnant car si un ordinateur organise la connaissance comme une sculpture complexe, il pourrait être plus facile pour nous de comprendre comment il réfléchit et même d'utiliser cette structure pour découvrir une nouvelle biologie.

Mais voici la grande question : est-ce que tous les modèles d'IA biologique organisent leurs connaissances de cette manière ? Qu'en est-il des modèles entraînés sur les protéines ? Les protéines sont les minuscules machines qui effectuent la majeure partie du travail à l'intérieur de nos corps, et leur « langage » est une longue chaîne d'acides aminés. Si ces modèles de protéines possèdent également cette géométrie complexe et courbe, ce serait une victoire majeure pour les scientifiques tentant de les décoder. S'ils ne l'ont pas, cela signifie que nous cherchons peut-être une carte au trésor là où il n'y a qu'un champ plat et ouvert. Cet article se propose de passer ces modèles de protéines à la loupe pour voir s'ils possèdent réellement la même architecture complexe et secrète que leurs cousins axés sur les cellules, ou si leur monde interne est construit sur une logique totalement différente.

---

La grande chasse à la carte des protéines : un conte de courbes contre nuages

Rencontrez les Modèles de Langage de Protéines (pLM). Considérez-les comme des chefs super intelligents qui ont goûté toutes les recettes de l'univers (des centaines de millions de séquences de protéines) et ont appris les règles de la cuisine sans jamais avoir vu un seul plat fini. Ils sont si doués qu'ils peuvent prédire comment une protéine va se replier en une forme 3D ou ce qu'elle fait dans le corps. Les scientifiques se sont demandé : « Comment ce chef organise-t-il ses connaissances dans son cerveau ? »

Pendant un certain temps, la réponse semblait être « dans un labyrinthe complexe et courbe ». D'autres modèles d'IA biologique (entraînés sur des cellules uniques) se sont révélés stocker la connaissance dans des courbes lisses et de faible dimension, comme un ruban serpentant dans une pièce de haute dimension. Ils possédaient des structures « spectrales » (comme des bandes de couleurs distinctes dans un arc-en-ciel) et des « hiérarchies de concepts » (comme un arbre généalogique où les idées bifurquent proprement). Cela a conduit à une grande hypothèse : Peut-être que toute l'IA biologique organise la connaissance dans ces formes géométriques complexes et sophistiquées.

Cet article, dirigé par le chercheur Liu Chen, a décidé de mettre cette hypothèse à l'épreuve. Ils ont construit une « batterie de trois lentilles » pour inspecter le cerveau de huit modèles de protéines différents, incluant la célèbre famille ESM-2 (allant de minuscules modèles à 8 millions de paramètres à des géants massifs de 3 milliards de paramètres) et d'autres comme ProtBERT et Ankh. Ils ne se sont pas contentés de regarder ; ils ont utilisé un ensemble d'outils rigoureux pour mesurer trois choses spécifiques :

1. La Forme (Variété/Manifold) : Les données sont-elles organisées sur une surface lisse et courbe ?
2. Le Spectre : Les données possèdent-elles des bandes d'information distinctes et séparées comme un arc-en-ciel ?
3. Les Concepts : Les idées sont-elles disposées selon une hiérarchie ou un arbre généalogique ordonné ?

Ils ont également testé ces mêmes outils sur des « contrôles synthétiques » — des données fictives qu'ils avaient créées et qui possédaient des formes complexes connues (comme un donut torsadé ou une spirale). Si leurs outils fonctionnaient, ils devraient trouver les formes complexes dans les données fictives.

Le Verdict : C'est un nuage plat et linéaire, pas un labyrinthe courbe

Les résultats ont été un peu surprenants, mais très clairs. Les auteurs ont découvert que les modèles de langage de protéines ne possèdent pas la géométrie complexe et courbe des modèles cellulaires. Au lieu de cela, leur connaissance interne est « réelle mais simple ».

1. La Forme : Un nuage, pas un ruban
Lorsque les chercheurs ont tenté de trouver une surface lisse et courbe (une variété) où les données de protéines résident, ils n'ont rien trouvé.

• Le constat : Bien que les données semblent être sur une courbe de faible dimension (la « dimension intrinsèque non linéaire » était faible, environ 26 pour les grands modèles), la réalité est différente. Les données se répandent en fait dans un espace immense et de haute dimension (dimension linéaire d'environ 131).
• L'analogie : Imaginez que vous essayiez d'aplatir une feuille de papier froissée. Si c'était un ruban lisse, vous pourriez l'aplatir facilement. Mais ces modèles de protéines sont plutôt comme un énorme nuage de barbe à papa duveteux. Il paraît petit de loin, mais si vous essayez de le comprimer en une forme plate, il se répand simplement.
• La preuve : Lorsque les chercheurs ont essayé d'utiliser des mathématiques courbes sophistiquées pour visualiser les données (comme UMAP, populaire pour créer de jolies images en 2D), les résultats ont été médiocres. Les modèles perdaient leur capacité à prédire les propriétés des protéines. Cependant, des mathématiques linéaires simples (sondes linéaires) fonctionnaient parfaitement. Les auteurs concluent que la « géométrie » de la connaissance des protéines n'est pas une variété lisse et courbe, mais un « nuage quasi-linéaire de haute dimension ».

2. Le Spectre : Une glissade lisse, pas un arc-en-ciel
Ensuite, ils ont examiné le « spectre » des données, ce qui revient à regarder les fréquences sonores d'une chanson.

• Le constat : Ils ont trouvé une glissade de données unique et lisse suivant une loi de puissance (une courbe mathématique spécifique où l'exposant est proche de 1). Il n'y avait pas de « bandes » ou d'écarts distincts qui séparaient différents concepts biologiques.
• L'analogie : Si les modèles cellulaires étaient comme un arc-en-ciel avec des bandes distinctes de rouge, d'orange et de bleu, les modèles de protéines sont comme un dégradé de gris unique et lisse. Il n'y a pas de lignes nettes séparant un type de protéine d'un autre dans la structure interne des données.
• La nuance : Bien qu'il n'y ait pas de structure complexe, la pente de cette glissade lisse (l'exposant) était en fait très utile. Elle agissait comme un « score de qualité ». Plus la glissade était plate (plus l'exposant était proche de 1), plus le modèle performait sur des tâches réelles. Ainsi, bien que la structure ne soit pas complexe, elle était un indicateur fiable de la qualité du modèle.

3. Les Concepts : Plats, pas hiérarchiques
Enfin, ils ont vérifié comment les modèles organisaient les « concepts » tels que « est-ce une protéine membranaire ? » ou « quelle est sa structure secondaire ? ».

• Le constat : Les modèles étaient excellents pour répondre à ces questions en utilisant des lignes droites simples. Si vous demandiez à une sonde linéaire : « Est-ce une protéine membranaire ? », elle répondait « Oui » avec une grande précision. Cependant, les relations entre ces concepts étaient plates.
• L'analogie : Imaginez une bibliothèque. Dans une hiérarchie complexe, les livres sont rangés par continent, puis par pays, puis par ville, puis par rue. Dans ces modèles de protéines, les livres sont simplement éparpillés sur une grande table plate. Vous trouvez facilement le bon livre (décodabilité linéaire), mais il n'y a pas d'arbre généalogique ordonné qui les relie. Le test d'analogie (vérifier si le modèle comprend que « A est à B ce que C est à D ») a également échoué ; les relations étaient faibles et ne s'alignaient pas de manière parallèle comme dans les modèles de langage.
• Le biais de confusion : Les auteurs ont également découvert que une partie de la structure apparente était simplement le résultat de la réaction du modèle à des caractéristiques de base, comme la longueur de la protéine ou la quantité de certains acides aminés, plutôt qu'à une signification biologique profonde.

Pourquoi cette différence ? La nature des données

L'article propose une raison fascinante pour laquelle les modèles de protéines sont différents des modèles cellulaires.

• Données cellulaires : Les cellules changent de manière continue. Une cellule souche devient lentement une cellule sanguine. Cela crée un chemin lisse et sinueux (une variété) dans les données.
• Données protéiques : Les protéines sont discrètes. Elles sont composées d'une chaîne de 20 acides aminés possibles. L'espace de toutes les protéines possibles est immense et « fragmenté », organisé par l'histoire de l'évolution (homologie) plutôt que par des transitions fluides.
• La conclusion : Parce que les données elles-mêmes sont discrètes et dispersées en grappes, le modèle d'IA n'a pas besoin de construire une carte lisse et courbe. Il se contente de répandre sa connaissance dans un nuage de haute dimension et linéaire. La « géométrie complexe » rapportée dans les modèles cellulaires ne se transfère pas aux protéines car la réalité sous-jacente des protéines est différente.

Ce qu'il faut retenir

Les auteurs concluent que la connaissance biologique dans les modèles de protéines est réelle et accessible, mais géométriquement simple.

• Ce qui fonctionne : Les outils simples et linéaires (comme les sondes de ligne droite et l'ACP) sont la meilleure façon de lire ces modèles.
• Ce qui ne fonctionne pas : Tenter de forcer ces modèles dans des formes courbes complexes ou chercher de profonds arbres généalogiques hiérarchiques dans leur structure interne est une voie sans issue.
• La lueur d'espoir : Le fait que la connaissance soit linéaire et simple est en réalité une bonne chose. Cela signifie que nous pouvons faire confiance à ces modèles pour nous donner des réponses directes sans avoir besoin de décoder un labyrinthe courbe mystérieux. L'hypothèse de la « géométrie complexe », bien que magnifique pour les modèles cellulaires, ne correspond tout simplement pas au monde des protéines. L'article confirme que pour les protéines, la carte n'est pas un ruban sinueux, mais un vaste champ ouvert et étonnamment direct.