🤖 machine learning

Autoregressive latent diffusion for 3D molecule generation

L'article présente KRONOS, un cadre de diffusion autorégressif latent qui unifie la génération de molécules 3D inconditionnelle et conditionnée par fragments au sein d'une architecture unique, atteignant des performances de pointe parmi les méthodes autorégressives tout en restant compétitif face aux modèles de diffusion.

Auteurs originaux : Federico Ottomano, Gaopeng Ren, Yingzhen Li, Kim E. Jelfs, Alex M. Ganose

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Federico Ottomano, Gaopeng Ren, Yingzhen Li, Kim E. Jelfs, Alex M. Ganose

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un maître architecte LEGO essayant de construire une nouvelle molécule complexe à partir de zéro. Pendant longtemps, la meilleure façon d'y parvenir était d'utiliser un modèle de diffusion : imaginez commencer avec un immense nuage chaotique de briques LEGO flottantes et de secouer lentement la table, de manière magique, jusqu'à ce que les briques s'assemblent pour former une forme parfaite. Cette méthode fonctionne incroyablement bien, mais elle a un inconvénient : vous devez dire à la machine exactement combien de briques vous voulez avant de commencer. Si vous vous trompez, tout s'effondre.

Puis sont venus les modèles autorégressifs, qui sont plutôt comme la construction d'une tour brique par brique. Vous en placez une, puis la suivante, puis la suivante. C'est très bien parce que vous n'avez pas besoin de connaître la taille finale à l'avance, et vous pouvez même commencer avec une pièce "graine" spécifique (comme un squelette de médicament connu) et construire une nouvelle structure autour. Cependant, ces bâtisseurs brique par brique avaient souvent du mal à égaler la haute qualité des modèles de diffusion de type "nuage-secoué", et ils se confondaient parfois lorsqu'ils essayaient de construire autour d'une graine spécifique.

Entrez en scène KRONOS, un nouveau cadre introduit par des chercheurs de l'Imperial College London. Imaginez que KRONOS n'est pas un bâtisseur travaillant avec des briques brutes et désordonnées, mais un architecte travaillant avec des plans compressés et magiques.

Le Plan Magique (Espace Latent)

Au lieu d'essayer de prédire directement les coordonnées 3D exactes et le type chimique de chaque atome (ce qui revient à essayer de décrire la couleur et la texture de chaque brique pendant que vous la placez), KRONOS traduit d'abord la molécule en un "espace latent". Imaginez cela comme un langage secret et compressé où une molécule entière est représentée par un jeton (token) unique, lisse et continu. C'est comme transformer une sculpture 3D complexe en une seule ligne de code élégante qui contient toute l'information de forme et de chimie.

KRONOS construit des molécules en prédisant ces jetons compressés un par un, tout comme on lit une phrase mot après mot. Mais voici le twist : pour prédire le jeton suivant, il utilise un processus de diffusion. C'est comme si l'architecte regardait le plan actuel, imaginait une version légèrement "bruyante" ou floue de la pièce suivante, puis "débruitait" cette pièce pour déterminer exactement ce qu'elle devrait être. Cela combine le meilleur des deux mondes : la flexibilité de la construction étape par étape et la puissance de "secouage" de haute qualité de la diffusion.

L'astuce du "Remplissage du Milieu" (Fill-in-the-Middle)

L'une des fonctionnalités les plus cool de KRONOS est la façon dont il gère les molécules "partielles". Imaginez que vous avez un puzzle et que vous voulez remplir les pièces manquantes, mais que les pièces manquantes ne sont pas toujours à la fin ; parfois elles sont au milieu, ou vous voulez construire autour d'un morceau spécifique.

Les chercheurs ont utilisé une stratégie inspirée du "Fill-in-the-Middle" (FIM). Pendant l'entraînement, ils n'ont pas seulement appris au modèle à lire de gauche à droite. Ils lui ont appris à regarder une molécule, à la découper en morceaux aléatoires (fragments), à en cacher certains et à lui demander de remplir les blancs. Parfois, le modèle doit construire l'ensemble à partir de rien (inconditionnel), et parfois il doit compléter un fragment spécifique (conditionné par un fragment).

L'article suggère qu'en faisant cela, KRONOS a appris à être un maître de ces deux tâches sans avoir besoin de deux cerveaux différents. C'est comme entraîner un chef à cuisiner un repas complet à partir de zéro et à terminer un plat commencé par quelqu'un d'autre, le tout dans la même cuisine, sans que le chef ne s'embrouille.

Les Résultats : À quel point est-ce bon ?

L'équipe a testé KRONOS sur deux ensembles de données majeurs : QM9 (une collection de 97 609 petites molécules) et GEOM-Drugs (une collection massive de plus de 1,1 million de conformères de type médicament).

Sur QM9 : KRONOS a atteint une validité 3D de 97,3 % et un score d'atome-stabilité (AtomStable) de 99,07 %. Cela signifie que presque chaque molécule générée était chimiquement correcte et stable. Parmi toutes les méthodes "brique par brique" (autorégressives) testées, KRONOS arrive en tête. Il était même compétitif avec les modèles de diffusion ("nuage-secoué") de haut vol comme JODO, qui affichait 96,3 % de validité.
Sur GEOM-Drugs : C'est le test le plus difficile. KRONOS a atteint une validité 3D de 94,7 % et un score d'atome-stabilité de 86,45 %, surpassant les autres modèles autorégressifs et restant compétitif avec les méthodes de diffusion.
Vérification de la réalité physique : Les chercheurs ne se sont pas contentés de vérifier si les molécules semblaient correctes ; ils les ont soumises à une simulation de chimie quantique appelée GFN2-xTB pour voir si elles étaient physiquement stables. Sur QM9, les molécules générées avaient une RMSD médiane (écart quadratique moyen) de seulement 0,074 Å (Angström) par rapport aux structures optimisées et parfaites. Cela suggère que les molécules que construit KRONOS sont déjà très proches de leurs formes naturelles et stables.

Ce que KRONOS N'EST PAS

Il est important de noter ce que cet article ne prétend pas. Les auteurs déclarent explicitement que KRO NOS n'est pas un modèle entièrement "invariant par permutation" comme certaines autres architectures avancées (telles que NEAT). Cela signifie que l'ordre dans lequel il voit les fragments compte un peu, alors qu'un modèle véritablement invariant par permutation n'en aurait cure. Cependant, l'article soutient que l'entraînement "Fill-in-the-Middle" a suffi pour rendre le modèle robuste sans nécessiter cette complexité supplémentaire.

De plus, la qualité de KRONOS est limitée par la qualité du "plan magique" (l'auto-encodeur pré-entraîné qu'il utilise). Si le plan n'est pas parfait, KRONOS ne peut pas construire une molécule parfaite. Les auteurs suggèrent que si quelqu'un invente un meilleur plan à l'avenir, KRONOS s'améliorera automatiquement aussi.

L'essentiel

KRONOS suggère que vous n'avez pas à choisir entre construire une molécule pièce par pièce (flexible, longueur variable) et utiliser un processus de diffusion puissant (haute qualité). En travaillant dans un espace "latent" compressé et en utilisant une astuce d'entraînement intelligente de "remplissage du milieu", il parvient à faire les deux. Il crée des molécules qui sont chimiquement valides, géométriquement précises et qui peuvent être construites autour de points de départ spécifiques, tout en laissant la porte ouverte à des molécules de n'importe quelle taille. C'est un nouvel outil prometteur pour la découverte de médicaments, montrant que parfois, la meilleure façon de construire le futur est d'apprendre à partir du milieu.

Résumé Technique : KRONOS – Diffusion Latente Autorégressive pour la Génération de Molécules 3D

Énoncé du Problème

La génération de molécules en trois dimensions (3D) est une tâche critique dans la découverte de médicaments et la conception moléculaire. Les approches de pointe actuelles reposent principalement sur les modèles de diffusion et le flow matching. Bien que ces méthodes atteignent une haute qualité de génération, elles nécessitent généralement que la taille moléculaire (nombre d'atomes) soit spécifiée a priori, ce qui limite leur flexibilité pour la génération de longueurs variables.

Inversement, les modèles autorégressifs (AR) supportent naturellement la génération de longueur variable et le conditionnement sur des structures moléculaires partielles (par exemple, l'élaboration de squelettes connus), ce qui est extrêmement précieux en chimie médicinale. Cependant, les modèles AR existants font face à deux défis majeurs :

Écart de Performance : Historiquement, les modèles AR ont accusé un retard par rapport aux modèles de diffusion en termes de qualité de génération, particulièrement concernant la fidélité géométrique et la validité chimique.
Équilibre des Objectifs : Atteindre une performance forte à la fois dans la génération inconditionnelle (conception de novo) et la génération conditionnée par fragments (complétion moléculaire) au sein d'une seule architecture reste difficile. De nombreux modèles AR peinent à généraliser entre ces paradigmes sans modifications architecturales ou compromis de performance.

De plus, les générateurs moléculaires latents existants ont presque exclusivement reposé sur la diffusion, laissant le potentiel de la génération autorégressive dans l'espace latent largement inexploré.

Méthodologie : KRONOS

Les auteurs introduisent KRONOS, un cadre de diffusion autorégressive latente qui génère des molécules 3D directement dans l'espace latent d'un Autoencodeur Unifié (UAE) pré-entraîné. La méthode combine trois composantes centrales :

1. Génération Autorégressive Latente

Au lieu d'opérer dans l'espace des données brutes (prédire simultanément des types d'atomes/liaisons discrets et des coordonnées continues), KRONOS opère dans l'espace latent continu d'un UAE pré-entraîné (Luo et al., 2025).

Représentation : Une molécule 3D est encodée en une séquence de jetons latents $Z = \{z_1, \dots, z_n\}$ , où chaque jeton encode conjointement l'identité atomique, l'environnement de liaison et la géométrie 3D.
Factorisation : Le modèle apprend une distribution autorégressive de gauche à droite :
$p_\theta(z_{1:n}) = \prod_{i=1}^n p_\theta(z_i | z_{<i})$
Longueur Variable : Puisque l'espace latent ne possède pas de jeton naturel de fin de séquence, KRONOS emploie un classificateur d'arrêt dédié (un MLP léger) entraîné parallèlement au générateur pour prédire dynamiquement la terminaison de la séquence, éliminant ainsi le besoin d'un nombre d'atomes prédéfini.

2. Prédiction de Jetons Basée sur la Diffusion

Pour modéliser la distribution conditionnelle des jetons latents continus $p_\theta(z_i | z_{<i})$ , KRONOS utilise une formulation de Perte de Diffusion (Li et al., 2024).

Un transformeur causal encode les jetons précédents en une représentation de contexte $c_i$ .
Un réseau de débruitage de diffusion $\epsilon_\theta$ prédit le bruit ajouté au jeton latent actuel $z_i$ , conditionné par $c_i$ et le pas de temps de diffusion.
Cette approche remplace la prédiction de jetons discrets par un objectif de débruitage, permettant une modélisation flexible de variables continues sans discrétisation.

3. Stratégie d'Entraînement Mixte (Génération Conditionnée par Fragments)

Pour supporter à la fois la génération inconditionnelle et la génération conditionnée par fragments au sein d'un seul modèle, les auteurs introduisent une stratégie d'entraînement inspirée du paradigme Fill-in-the-Middle (FIM).

Décomposition en Fragments : Les molécules sont décomposées en fragments chimiquement significatifs en utilisant un schéma basé sur BRICS.
Construction de Séquence : Pendant l'entraînement, chaque molécule est transformée soit en :
- Une séquence d'ordre par défaut (pour la génération inconditionnelle).
- Une séquence conditionnée par fragments où un sous-ensemble aléatoire de fragments sert de "germe" (contexte), et les fragments restants constituent la cible de génération.
Mécanisme : Le modèle est entraîné pour générer de manière autorégressive les fragments cibles conditionnés par les fragments germes. Ceci est réalisé en assignant un ordre déterministe unique aux fragments et aux atomes au sein de ceux-ci, plutôt qu'en marginalisant sur toutes les permutations (comme dans les modèles AR agnostiques à l'ordre). Cela permet au modèle d'apprendre des capacités de complétion moléculaire sans changement architectural.

Contributions Clés

Cadre KRONOS : Un nouveau cadre de diffusion autorégressive latente qui modélise conjointement la topologie du graphe moléculaire et la géométrie dans un espace latent unifié.
Stratégie d'Entraînement Unifiée : Une approche d'entraînement mixte permettant la génération inconditionnelle et la génération conditionnée par fragments au sein d'un seul modèle autorégressif de gauche à droite, inspirée par le paradigme FIM.
Génération de Longueur Variable : Un cadre unifié qui supporte naturellement la génération de longueur variable via un classificateur d'arrêt, évitant le besoin de spécification de taille a priori.
Performance : Démonstration que la génération autorégressive latente peut atteindre des performances de pointe parmi les méthodes autorégressives tout en restant compétitive face aux modèles de diffusion, sans sacrifier la qualité inconditionnelle lors de l'activation du conditionnement par fragments.

Résultats Expérimentaux

Les auteurs ont évalué KRONOS sur les jeux de données QM9 et GEOM-Drugs.

Génération Inconditionnelle

QM9 : KRONOS a atteint la Validité 3D (97,3 %) la plus élevée et la meilleure performance globale parmi les méthodes autorégressives. Il est resté compétitif avec les modèles de diffusion de pointe (ex: JODO, EDM) sur des métriques incluant la stabilité atomique 3D, la longueur de liaison et le MMD d'angle de liaison.
GEOM-Drugs : KRON cleared la meilleure performance globale parmi tous les modèles de référence évalués (tant autorégressifs que de diffusion).
Plausibilité Physique : En utilisant l'optimisation de géométrie semi-empirique (GFN2-xTB), les conformations générées par KRONOS ont montré de faibles distances RMSD et de faibles différences d'énergie ( $\Delta E$ ) par rapport aux structures optimisées, indiquant qu'elles se situent proches des régions physiquement plausibles de l'espace conformationnel.

Génération Conditionnée par Fragments

Sur un jeu de données d'environ 15k paires molécule-fragment, KRONOS a nettement surpassé la ligne de base autorégressive QUETZAL tant pour les métriques Mean@3 que Best@3 en termes de validité et de stabilité.
Crucialement, l'activation de la génération conditionnée par fragments a eu un impact négligeable sur la performance de la génération inconditionnelle, démontant que les deux paradigmes peuvent être supportés au sein d'une même architecture.

Signification et Revendications

L'article affirme que KRONOS constitue une alternative prometteuse aux approches existantes de génération autorégressive dans l'espace des données et de diffusion. Sa signification réside dans :

Réduction de l'Écart : Il réduit considérablement l'écart de performance entre les modèles autorégressifs et de diffusion, atteignant des résultats de pointe parmi les méthodes AR tout en égalant les bases de référence de diffusion.
Flexibilité : Il unifie les forces des modèles autorégressifs (longueur variable, conditionnement partiel) avec la haute qualité de génération des modèles de diffusion, le tout au sein d'une formulation d'espace latent.
Utilité Pratique : En supportant la génération conditionnée par fragments sans modification architecturale, il offre un outil pratique pour les tâches de chimie médicinale où les molécules sont souvent conçues par l'élaboration de squelettes connus.

Les auteurs notent des limites, notamment la dépendance à l'expressivité de l'espace latent pré-entraîné et l'utilisation d'un schéma de décomposition BRICS fixe, suggérant que les travaux futurs pourraient explorer l'apprentissage conjoint d'abstractions de fragments avec le modèle génératif ou l'extension du cadre à la conception guidée par les propriétés.