Molecules Meet Language: Confound-Aware Representation Learning and Chemical Property Steering in Transformer-VAE Latent Spaces

Ce papier démontre que, bien que les espaces latents de Transformer-VAE non supervisés entraînés sur SELFIES puissent permettre un contrôle significatif des propriétés chimiques, un tel contrôle n'est valide que lorsqu'il est rigoureusement validé par des molécules décodées et une évaluation consciente des facteurs de confusion afin de distinguer les signaux chimiques authentiques des artefacts au niveau de la séquence.

L'essentiel

Imaginez que vous possédez une immense bibliothèque de recettes chimiques, mais qu'au lieu d'être écrites dans une langue standard, elles sont rédigées dans un code secret appelé SELFIES. Ce code est spécial car, contrairement aux autres langages chimiques, chaque chaîne de caractères qu'il contient est garantie pour se décoder en une molécule valide. C'est comme un grimoire magique où vous ne pouvez pas accidentellement lancer un sort qui enfreint les lois de la physique.

Les chercheurs de cet article souhaitaient enseigner à un ordinateur (une IA) à comprendre ce code secret et, plus important encore, à comprendre la chimie qui s'y cache. Ils ont entraîné un modèle d'IA sophistiqué (un Transformer-VAE) à lire ces chaînes et à les compresser dans un « espace latent ».

Imaginez cet espace latent comme une gigantesque carte 3D invisible. Sur cette carte, chaque molécule est représentée par un simple point. L'objectif était de déterminer si cette carte était organisée de manière logique : si vous marchiez en ligne droite d'un point à un autre, les molécules changeraient-elles de manière prévisible et chimique ? Par exemple, si vous marchiez dans une direction spécifique, les molécules deviendraient-elles plus grasses (lipophiles) ou plus lourdes ?

Le Problème : Le Piège du « Raccourci »

Les chercheurs soupçonnaient une ruse. Ils craignaient que l'IA n'apprenne pas réellement la chimie, mais qu'elle apprenne simplement des raccourcis.

Imaginez que vous essayez d'enseigner à un élève à reconnaître des objets lourds. Si vous lui montrez une liste de mots, et que chaque fois que le mot est long, l'objet est lourd, l'élève pourrait simplement apprendre « mot long = objet lourd » sans jamais comprendre ce que « lourd » signifie réellement.

Dans cet article, le problème du « mot long » était réel. La longueur du code SELFIES, le nombre de symboles spéciaux de « branche » et le nombre de symboles de « cycle » étaient tous fortement corrélés à des propriétés chimiques comme le poids moléculaire. L'IA aurait pu simplement apprendre à prédire la « lourdeur » en comptant la longueur de la chaîne, plutôt qu'en comprenant la structure de la molécule.

La Solution : Le Filtre « Conscient des Facteurs Confondants »

Pour résoudre ce problème, les chercheurs ont inventé un filtre ingénieux qu'ils appellent l'évaluation consciente des facteurs confondants.

1. La Triche : Ils ont d'abord enseigné à l'IA à prédire les variables de la « triche » (comme la longueur de la chaîne et le nombre de jetons) à partir de la carte.
2. L'Effaceur : Ils ont ensuite utilisé les mathématiques pour « effacer » la partie de la propriété chimique qui pouvait être expliquée par ces variables de triche. Cela leur a laissé le signal « résiduel » — la partie de la propriété qui ne pouvait pas être expliquée simplement en comptant les symboles.
3. Le Vrai Test : Enfin, ils n'ont pas fait confiance uniquement aux scores mathématiques de l'IA. Ils ont pris la « direction de marche » suggérée par l'IA sur la carte, généré les molécules réelles, et vérifié si les propriétés chimiques réelles changeaient comme prévu.

Les Résultats : Ce Qui a Fonctionné et Ce Qui N'a Pas Fonctionné

Les Succès (Les « Volants ») :
Les chercheurs ont découvert que pour plusieurs propriétés chimiques importantes, l'IA avait appris une véritable direction utilisable sur la carte. Si vous tourniez le « cadran » de l'IA dans une direction spécifique, les molécules résultantes changeaient de manière fluide et prévisible. Ces propriétés comprenaient :

• cLogP : À quel point une molécule est grasse ou aime l'eau.
• TPSA : La surface disponible pour les interactions polaires (liée à la capacité d'un médicament à se fixer à une cible).
• HBA/HBD : Le nombre de liaisons hydrogène qu'une molécule peut former.
• FractionCSP3 : À quel point la structure carbonée est « 3D » et saturée.
• HeavyAtomCount & BertzCT : Même si ces éléments sont fortement liés à la taille (le « raccourci »), l'IA a tout de même trouvé un moyen de les piloter qui ne reposait pas uniquement sur la longueur de la chaîne. Elle a capturé la complexité chimique réelle.

La Découverte « Locale » vs « Globale » :
Certaines propriétés ressemblaient à une autoroute droite (directions globales), où vous pouviez rouler loin et le changement restait cohérent. D'autres ressemblaient à une route de montagne sinueuse (non linéaire). Pour des propriétés comme le QED (similitude avec un médicament) ou le HBD (donneurs de liaisons hydrogène), l'IA connaissait la réponse, mais il n'existait pas de ligne droite unique pour y parvenir. Il fallait emprunter un chemin courbe qui changeait selon le point de départ.

Les Directions « Fausse » :
Pour certaines propriétés, les directions de la carte de l'IA étaient trompeuses. Si vous suiviez le chemin suggéré par l'IA, les molécules ne changeaient pas de manière fluide ; elles sautaient d'un état à l'autre ou cessaient de changer du tout. Cela prouvait que l'IA avait mémorisé les données, mais n'avait pas organisé la chimie en un système de contrôle utilisable pour ces traits spécifiques.

La Grande Conclusion

L'article conclut que, bien que les modèles d'IA entraînés sur des textes chimiques puissent apprendre une chimie significative, vous ne pouvez pas leur faire confiance simplement parce qu'ils obtiennent de bons scores à un test.

Vous devez :

1. Vérifier s'ils utilisent simplement des raccourcis (comme compter la longueur de la chaîne).
2. Générer réellement les molécules et voir si elles changent comme vous vous y attendez.

Lorsqu'ils ont effectué cette vérification minutieuse, ils ont découvert que l'IA pouvait apprendre à piloter des molécules comme une voiture sur une route, mais uniquement pour certaines propriétés, et uniquement si vous filtriez d'abord les « codes de triche ». C'est un rappel que dans le monde de la chimie par IA, voir c'est croire, et le décodage est le seul vrai test.

Résumé technique

Résumé technique : Les molécules rencontrent le langage : apprentissage de représentations conscientes des confondants et pilotage des propriétés chimiques dans les espaces latents Transformer-VAE

Énoncé du problème

Les modèles génératifs de molécules, en particulier ceux basés sur la modélisation du langage (par exemple, les Transformers entraînés sur des chaînes SELFIES), sont souvent supposés apprendre des espaces latents dotés d'une géométrie chimiquement significative. Cependant, une ambiguïté critique existe : la prévisibilité apparente des propriétés moléculaires à partir de représentations latentes peut refléter des « raccourcis au niveau des séquences » plutôt qu'une véritable organisation chimique. Plus précisément, dans les représentations SELFIES, la longueur des tokens, le nombre de branches, le nombre de cycles et l'entropie des tokens peuvent fortement corréler avec la taille et la topologie moléculaires. Si un modèle apprend à prédire une propriété comme le poids moléculaire simplement en comptant les tokens, il n'a pas appris une direction chimique pilotable.

L'article aborde la question suivante : Un modèle de langage moléculaire non supervisé apprend-il un espace latent continu contenant des directions simples et globalement pilotables pour les propriétés chimiques, ou ces directions ne sont-elles que des artefacts de la représentation en chaîne ?

Méthodologie

Les auteurs proposent un cadre d'évaluation conscient des confondants appliqué à un Transformer-VAE non supervisé figé, entraîné sur des séquences SELFIES. La méthodologie se déroule en quatre étapes principales :

1. Entraînement et figement du modèle

• Architecture : Un Transformer-VAE autorégressif basé sur des slots est entraîné sur 794 403 molécules SELFIES valides par RDKit. Le modèle utilise un regroupement multi-slot pour agréger les états des tokens en une distribution latente gaussienne.
• Objectif d'entraînement : Le modèle est entraîné uniquement sur la perte de reconstruction et la régularisation latente (divergence KL). Aucune étiquette de propriété n'est utilisée pendant l'entraînement.
• Figement : Après l'entraînement, l'encodeur et le décodeur sont figés. Les étiquettes de propriétés sont introduites a posteriori uniquement pour interroger l'espace latent.

2. Sondage conscient des confondants

Pour distinguer les signaux chimiques des artefacts de représentation, les auteurs introduisent un panneau de confondants composé de statistiques au niveau SELFIES : longueur des tokens, nombre de tokens de branche, nombre de tokens de cycle et entropie des tokens.

• Sondage linéaire : Des sondes linéaires sont ajustées pour prédire à la fois les descripteurs moléculaires (par exemple, cLogP, TPSA) et les variables de confondants à partir de l'espace latent figé.
• Résiduation : Pour isoler le signal chimique, la composante de chaque propriété prévisible à partir du panneau de confondants est supprimée. Une cible résiduelle $y_{res} = y - \hat{y}(C)$ est créée, où $\hat{y}(C)$ est la prédiction issue des confondants. Les sondes sont ensuite réévaluées sur ces cibles résiduelles.

3. Pilotage global et traversal

• Directions de pilotage : Les poids des sondes linéaires sont interprétés comme des directions de pilotage globales dans l'espace latent.
• Validation par décodage : Crucialement, l'article ne se fie pas uniquement à la précision des sondes ($R^2$). Il valide le pilotage en parcourant l'espace latent le long de la direction apprise, en décodant les points résultants en molécules, et en mesurant le changement réel des propriétés chimiques à l'aide de RDKit.
• Vérification de la monotonie : Une propriété est considérée « pilotable » uniquement si le parcours de la direction latente entraîne un changement monotone de la propriété moléculaire décodée.

4. Diagnostic non linéaire

Pour déterminer si les propriétés dépourvues de directions linéaires globales sont tout de même encodées, les auteurs emploient des sondes non linéaires (MLP). Cela aide à distinguer les propriétés qui sont globalement linéaires (pilotables via un seul vecteur) de celles qui sont encodées via des variétés complexes, locales ou non linéaires.

Contributions clés

1. Protocole d'évaluation conscient des confondants : L'article introduit un protocole rigoureux pour séparer l'organisation chimique des raccourcis au niveau SELFIES (longueur des tokens, entropie, etc.) en utilisant la résiduation et la validation par molécules décodées.
2. Interprétation a posteriori des modèles non supervisés : Il présente le pilotage des propriétés moléculaires comme une tâche d'interprétation pour les modèles non supervisés, démontrant que des directions utiles peuvent émerger sans supervision explicite des propriétés pendant l'entraînement.
3. Distinction entre organisation latérale linéaire et non linéaire : L'étude utilise des sondes non linéaires pour diagnostiquer que, bien que de nombreuses propriétés soient globalement linéaires, d'autres (par exemple, HBD, QED) sont encodées d'une manière qui nécessite des gradients locaux ou non linéaires pour le pilotage.
4. Validation opérationnelle : Le travail souligne qu'une direction n'est significative que si elle produit des changements contrôlés et monotones dans les molécules décodées, et non simplement de hauts scores de prédiction sur les vecteurs latents.

Résultats

Performance du modèle

• La variante Autoregressive MultiSlotting a surpassé les modèles de référence non autorégressifs tant dans la prédiction brute que résiduelle des propriétés, suggérant que l'entraînement autorégressif organise mieux l'espace latent pour le contrôle chimique.
• Le modèle a atteint une validité de reconstruction élevée (1,0) et une forte rétention de la famille lors de l'interpolation.

Résultats sur le pilotage des propriétés

Sous l'évaluation consciente des confondants, les auteurs ont identifié des directions de pilotage globales et monotones robustes pour plusieurs descripteurs clés :

• Robustement pilotables : cLogP, FractionCSP3, HeavyAtomCount, TPSA, BertzCT et HBA.
  • Note : Même les propriétés fortement corrélées à la taille (HeavyAtomCount, BertzCT) sont restées parcourables après résiduation, indiquant que l'espace latent capture plus que de simples artefacts de comptage de tokens.
• Non linéaires/Locales : Des propriétés telles que HBD, QED, NumRotatableBonds, NumSpiroAtoms et NumBridgeheadAtoms ont montré une forte prévisibilité via des MLP mais une mauvaise performance avec des sondes linéaires. Cela suggère qu'elles sont encodées dans l'espace latent mais qu'elles manquent d'une direction linéaire globale unique.
• Instables : Le SA-score (Accessibilité synthétique) a montré un comportement de traversal instable, où les molécules décodées distantes devenaient plus difficiles à synthétiser, brisant la monotonie.

Analyse des confondants

• Les espaces latents bruts encodaient fortement les statistiques SELFIES (par exemple, HeavyAtomCount corrélé à la longueur des tokens avec $\rho \approx 0,97$).
• La résiduation a réussi à supprimer le signal médié par les confondants, pourtant le modèle autorégressif a conservé un pouvoir prédictif élevé pour des propriétés comme le cLogP et le TPSA, confirmant la présence d'une véritable organisation chimique.

Importance et revendications

L'article affirme que un pilotage chimiquement significatif peut émerger dans des espaces latents moléculaires entrelacés, mais uniquement lorsqu'il est validé par un protocole conscient des confondants qui contrôle les artefacts au niveau de la représentation.

• Portée modeste : Les auteurs déclarent explicitement que leurs résultats sont limités aux descripteurs calculés par RDKit et n'établissent pas de performance sur des résultats biochimiques, pharmacocinétiques ou de toxicité expérimentaux.
• Aucune application directe : Le travail ne propose pas de pipeline de conception de molécules déployable ni ne prétend optimiser directement l'activité biologique. Il fournit plutôt un cadre de diagnostic pour déterminer si et comment les modèles non supervisés apprennent la structure chimique.
• Idée centrale : La contribution principale est méthodologique : démontrer que sans contrôle des confondants au niveau des chaînes et validation par des molécules décodées, les affirmations concernant des « espaces latents pilotables » peuvent être trompeuses. L'étude confirme que, tandis que certaines propriétés (comme la lipophilie et la polarité) admettent des directions globales stables, d'autres nécessitent des approches locales ou non linéaires, et que les architectures autorégressives sont mieux adaptées pour organiser ces directions globales que les alternatives non autorégressives.