Résumé Technique : Apprentissage d'un Biais Implicite dans les Espaces Génératifs pour l'Accélération de l'Émulation de la Dynamique des Protéines

1. Formulation du Problème

Les émulateurs génératifs de la dynamique des protéines offrent une alternative computationnellement efficace à la dynamique moléculaire (MD) pour reproduire des trajectoires courtes. Cependant, ces modèles héritent des limitations de leurs distributions d'entraînement. Lors de l'extrapolation à long horizon, ils ont tendance à revisiter des états connus (minima locaux) plutôt qu'à explorer des conformations rares et biologiquement significatives séparées par des barrières d'énergie libre élevées.

Les méthodes classiques d'échantillonnage enrichi (ex. : métadynamique, échantillonnage par parapluie) traitent ce problème en biaisant les simulations MD vers des régions sous-explorées, mais elles imposent des coûts de simulation substantiels par système. Bien que des modèles génératifs récents (ex. : diffusion basée sur le score avec des architectures SE(3)-équivariantes) aient permis l'émulation au niveau de la trajectoire, les approches existantes pour encourager l'exploration nécessitent souvent l'injection d'un guidage via des variables collectives (CV) ou la modification de l'objectif d'entraînement, ce qui peut compromettre la fidélité du modèle ou nécessiter un réentraînement.

Le problème central abordé est la manière d'accélérer l'exploration à long horizon dans un émulateur de dynamique protéique pré-entraîné sans réentraîner l'émulateur lui-même, tout en maintenant la validité structurelle et en évitant la dérive hors de la variété (manifold) des données.

2. Méthodologie

Le cadre proposé introduit un biais dépendant de l'historique directement dans l'espace génératif d'un émulateur pré-entraîné gelé. Le système se compose de trois composants principaux :

A. Estimateur de Score Sensible à l'Historique (Biais Implicite)

Au lieu de modifier l'émulateur gelé, un estimateur de score sensible à l'historique distinct et entraînable est introduit.

• Mécanisme : L'estimateur prend en compte l'état bruité actuel $x_t$, le temps de diffusion $t$, les caractéristiques de séquence $c$, et une banque d'historique $H$ de structures précédemment générées.
• Architecture : Il emploie $H$ branches parallèles, chacune entraînée pour débruiter l'état actuel vers une structure historique spécifique $h_j \in H$.
• Calcul du Biais : L'estimateur calcule un score de biais $s_{bias}$ comme une somme pondérée des différences entre le score de l'émulateur ($s_{emu}$) et les scores spécifiques aux branches ($s_{his,j}$).
  $$s_{bias}(x_t, t, H, c) = \sum_{j=0}^{H-1} w_j \left( s_{emu}(x_t, t) - s_{his,j}(x_t, t, H, c) \right)$$
• Pondération : Les poids $w_j$ sont déterminés par un softmax sur l'RMSD des $C\alpha$ alignés par Kabsch entre la prédiction débruitée de l'émulateur et la cible de la branche, privilégiant les branches les plus proches de la trajectoire actuelle de l'émulateur.
• Effet : Le biais pointe à l'écart des directions qui débruiteraient vers des conformations déjà visitées, orientant ainsi l'échantillonnage en temps inverse vers des régions inexplorées.

B. Entraînement avec Régularisation du Support de l'Environnement

Pour garantir que le score biaisé reste valide et ne fasse pas dériver le processus d'échantillonnage hors de la variété des données de l'émulateur, l'objectif d'entraînement inclut deux termes :

1. Perte de Diffusion par Branche ($L_{diff}$) : Supervise chaque branche pour débruiter avec précision vers sa cible historique spécifique.
2. Régularisateur de Support de l'Environnement ($L_{support}$) : Minimise la divergence de Kullback-Leibler (KL) entre le noyau de transition inverse biaisé et le noyau original de l'émulateur gelé. Cela garantit que le score biaisé propose des états suivants que l'émulateur gelé considère toujours comme fiables, empêissant la dégradation hors distribution.

C. Raffinement Basé sur le Score pour les Longs Horizons

Les déploiements à long horizon avec un biais fort peuvent accumuler de la dérive, dégradant la validité structurelle. Pour contrer cela sans ajustement fin de l'émulateur, une étape de raffinement est appliquée lors de l'inférence :

• Les trames générées sont soumises à une diffusion directe vers un faible niveau de bruit ($t_{ref}$).
• Elles sont ensuite redébruitées en utilisant le score de l'émulateur gelé (sans biais) pendant un court nombre d'étapes.
• Cela reprojecte les échantillons déviés sur la variété des données, restaurant la validité structurelle tout en préservant les gains d'exploration obtenus grâce au biais.

3. Contributions Clés

1. Biais Génératif Dépendant de l'Historique : Une méthode novatrice pour injecter de l'exploration dans un modèle génératif gelé en apprenant un biais conditionné par l'historique du déploiement, analogue à la métadynamique mais opérant dans l'espace génératif.
2. Entraînement Préservant la Variété : L'introduction d'un régularisateur de support d'environnement qui maintient le biais appris à l'intérieur du support de l'émulateur pré-entraîné durant l'entraînement.
3. Raffinement au Temps d'Inférence : Une étape de raffinement basée sur le score qui corrige la dérive structurelle dans les déploiements à long horizon, permettant l'utilisation de biais plus forts sans sacrifier la validité.
4. Validation Empirique : Démonstration de l'efficacité de la méthode à travers des régimes de court et long échelles sur des benchmarks in-distribution (DynamicPDB-80) et zero-shot (Fast-Folding).

4. Résultats Expérimentaux

Court Échelle de Temps (DynamicPDB-80)

• Diversité : La méthode a augmenté la diversité de l'ensemble (mDiv-mean) de 35 % par rapport à l'émulateur gelé non biaisé.
• Validité : La validité structurelle (distances $C\alpha$ et liaisons peptidiques) a été largement préservée, avec seulement une légère baisse (environ 1,5 point de pourcentage) par rapport à la ligne de base, ce qui reste nettement supérieur aux autres bases de comparaison de génération de trajectoire comme MDGen.
• Transférabilité : Le mécanisme de biais s'est transféré avec succès à un autre squelette pré-entraîné (ConfRover), confirmant qu'il n'est pas spécifique à l'architecture de l'émulateur.

Long Échelle de Temps (Protéines à Repliement Rapide, Zero-Shot)

Évalué sur 12 protéines exclues de l'entraînement, simulant des horizons de l'ordre de la microseconde :

• Accélération : Le biais appris seul a atteint la couverture de l'émulateur non biaisé jusqu'à 15$\times$ plus vite.
• Biais + Raffinement : L'association du biais avec l'étape de raffinement a permis d'atteindre une couverture jusqu'à 37$\times$ plus rapide que la ligne de base non biaisée.
• Couverture d'État : L'approche combinée a couvert environ 3$\times$ plus d'états de basse énergie (énergie libre < 4 kcal/mol) par rapport au déploiement non biaisé.
• Récupération de Validité : Sans raffinement, des forces de biais élevées ($\eta=0,4$) ont provoqué l'effondrement de la validité. Avec le raffinement, la validité a été restaurée à >90 % même avec des forces de biais élevées, permettant l'accélération de 37$\times$.

Études d'Ablation

• Bruit de Raffinement ($t_{ref}$) : La récupération de la validité culmine à $t_{ref}=0,2$, équilibrant la réparation des géométries brisées et la préservation de la diversité.
• Régularisateur ($L_{support}$) : Le retrait du régularisateur de support d'environnement a provoqué une chute brutale de la validité structurelle à des forces de biais élevées.
• Longueur de l'Historique ($H$) : Augmenter $H$ améliore la diversité mais réduit la validité ; $H=3$ a été sélectionné comme le compromis optimal.
• Pondération : La pondération sensible à la distance (Éq. 3) a nettement surpassé l'agrégation uniforme.

5. Signification et Revendications

L'article affirme que cette approche réussit à découpler l'accélération de l'exploration du réentraînement du modèle. En opérant dans l'espace génératif d'un émulateur gelé, la méthode tire parti de la haute fidélité dynamique du modèle pré-entraîné tout en surmontant sa tendance à revisiter les états connus.

Les auteurs soulignent que :

• La méthode agit comme un accélérateur "plug-in" pour les émulateurs existants.
• Elle préserve la validité structurelle requise pour l'analyse biologique, qui est souvent perdue avec les méthodes d'exploration agressives.
• Elle permet l'exploration d'états conformationnels rares (bassins métastables) qui sont inaccessibles aux déploiements standards dans des budgets de calcul raisonnables.

Limites notées par les auteurs :

• Le biais est actuellement inconditionnel ; il ne peut pas cibler une conformation finale spécifique.
• L'espace conformationnel atteignable est borné par la distribution d'entraînement de l'émulateur gelé ; la méthode redistribue la densité au sein de ce support mais ne peut pas générer des structures totalement en dehors de celui-ci.
• L'émulateur de base ne cible pas la distribution d'équilibre, ce qui complique la reconstruction directe de l'énergie libre via des méthodes comme MBAR sans traitement post-hoc supplémentaire.

Ce travail se positionne comme une étape vers l'échantillonnage contrôlable et efficace des paysages conformationnels des protéines, avec des applications potentielles dans la découverte de médicaments (ex. : détection de poches cryptiques) et la biologie structurale.