Résumé Technique : Imitation d'Auto-amélioration avec Recherche Guidée Biologiquement pour la Conception de Protéines sous Contraintes de Budget d'Oracle

Formulation du Problème

L'ingénierie des protéines est formulée comme un problème d'optimisation de prise de décision séquentielle visant à maximiser une fonction de « fitness » (par exemple, thermostabilité, affinité de liaison) sous un budget d'évaluation strict. Le défi principal réside dans la taille combinatoire vaste de l'espace des séquences ($20^L$) et la prévalence de l'épistasie, qui crée des paysages de fitness accidentés, clairsemés et non convexes. Les approches existantes font face à trois limitations persistantes :

1. Instabilité dans l'Optimisation Basée sur la Valeur : Les méthodes d'apprentissage par renforcement (RL) reposant sur des fonctions de valeur sont sensibles aux hyperparamètres et sujettes à la propagation d'erreurs lorsqu'elles sont entraînées sur des récompenses de substitution bruitées.
2. Mutations A-Positionnelles : De nombreuses méthodes proposent des mutations sans tenir compte de la conservation des résidus, risquant ainsi de perturber des sites fonctionnellement critiques.
3. Exploration Inefficace : Sous des budgets d'oracle serrés, les méthodes échouent souvent à prioriser les régions à haute valeur ou à éviter les évaluations redondantes.

L'objectif est de concevoir des séquences avec une fitness supérieure à celle d'une séquence de départ dans un nombre limité de requêtes d'oracle ($N$ tours, $K$ requêtes par tour), en utilisant un modèle proxy pour guider la sélection tout en réservant l'oracle coûteux pour l'évaluation finale.

Méthodologie : SILO

Les auteurs présentent SILO (Imitation d'Auto-amélioration avec Recherche Guidée Biologiquement), un cadre d'apprentissage actif qui intègre un échantillonnage structuré, une sélection informée biologiquement et un apprentissage par imitation au niveau des trajectoires. Le processus fonctionne dans une boucle itérative :

1. Politique d'Édition Hiérarchique et Formulation MDP

SILO traite la génération de candidats comme un Processus de Décision Markovien (MDP) sur des trajectoires d'édition. Au lieu de générer des séquences complètes d'un coup, une politique basée sur un transformateur $\pi_\theta$ décompose chaque mutation en deux étapes hiérarchiques :

• Niveau 0 : Sélection d'une position $i \in \{1, \dots, L\}$ à modifier.
• Niveau 1 : Sélection d'un acide aminé de remplacement $a \in \mathcal{V}$ conditionné par la position choisie.
  La politique est entraînée sur des embeddings ESM Cambrian figés, qui encodent des a priori évolutifs, en utilisant un encodeur transformateur léger avec deux têtes de politique.

2. Échantillonnage Structuré (SBS Incrémental)

Pour générer des trajectoires de candidats diversifiées, SILO emploie la Recherche par Faisceau Stochastique Incrémentale (SBS). Contrairement à la recherche par faisceau standard, SBS échantillonne des trajectoires sans remplacement en perturbant les log-probabilités avec du bruit de Gumbel. Après qu'une trajectoire a été échantillonnée, sa masse de probabilité est retirée et la distribution est renormalisée. Cela garantit qu'un ensemble diversifié de trajectoires d'actions est exploré dans le cadre du budget mutationnel ($d_{max}$).

3. Sélection Informée Biologiquement

Avant l'évaluation par l'oracle, les candidats sont notés à l'aide d'un ensemble de proxy $f_\phi$ et d'une fonction objectif spécifique $S(x)$ :
$$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$$

• $\text{UCB}_{\text{proxy}}(x)$ : Une borne supérieure de confiance basée sur la prédiction moyenne du proxy et son incertitude, équilibrant exploration et exploitation.
• $\text{UCB}_{\text{AFS}}(x)$ : Un Score de Fitness de Balayage à l'Alanine. Ce terme évalue une variante du candidat substituée à l'alanine (où les positions mutées sont remplacées par de l'alanine). Si la variante à l'alanine est prédite comme ayant une fitness élevée, cela suggère que les positions mutées sont fonctionnellement pertinentes et tolérantes aux changements neutres. Cela agit comme un signal de classement pour pénaliser les candidats susceptibles de perturber la fonction protéique.

4. Imitation d'Auto-amélioration au Niveau des Trajectoires (SIL)

Contrairement aux méthodes RL qui optimisent des fonctions de valeur, SILO utilise l'Apprentissage par Imitation d'Auto-amélioration.

• Collecte de Données : Les $K$ meilleurs candidats issus de l'échantillonnage SBS sont évalués par l'oracle.
• Cible d'Imitation : Les $P$ meilleures séquences étiquetées par l'oracle (BESTFOUND) et leurs trajectoires d'actions correspondantes sont sélectionnées.
• Entraînement : La politique $\pi_\theta$ est mise à jour par minimisation de l'entropie croisée sur les paires (action suivante, historique) $(h(t), a(t))$ dérivées des trajectoires BESTFOUND. Cela permet à la politique d'apprendre directement à partir des actions des meilleurs performeurs sans dépendre d'estimations de valeur bruitées.

Contributions Clés

1. Échantillonnage Structuré et Sélection Informée Biologiquement : La combinaison de SBS incrémental pour la génération de trajectoires diversifiées et du Score de Fitness de Balayage à l'Alanine (AFS) pour la sélection est à l'origine de la majorité des gains de performance. Le terme AFS atténue spécifiquement le risque de perturber les résidus conservés.
2. Adaptation du SIL aux Contextes à Budget d'Oracle : L'article adapte le paradigme SIL (précédemment utilisé dans le routage et la conception moléculaire avec des évaluations peu coûteuses) au contexte de la conception de protéines. En s'entraînant sur des trajectoires étiquetées par l'oracle plutôt que sur des valeurs de substitution, SILO évite l'instabilité associée à l'estimation de fonctions de valeur sous des proxies bruités.
3. Robustesse Empirique : Le cadre démontre des performances constantes sur huit paysages de fitness de protéines, maintenant sa compétitivité même dans des régimes à faible quantité de données et sous des conditions de proxy bruitées où d'autres références se dégradent.

Résultats Expérimentaux

Les auteurs ont évalué SILO par rapport à cinq références solides (PEX, AdaLead, GFN-AL-$\delta$CS, MLDE, ProSpero) sur huit jeux de données de référence (AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I).

• Performance : SILO a atteint la fitness maximale et la fitness moyenne du top 100 les plus élevées sur les 8 paysages. Il a fréquemment découvert des séquences à haute fitness lors des premiers tours d'apprentissage actif, indiquant une utilisation plus efficace du budget d'oracle.
• Régime à Faible Quantité de Données : Lors de tests de stress avec des données initiales étiquetées réduites (10 %, 20 %, 50 % de $D_0$), SILO est resté stable et compétitif, tandis que des méthodes comme GFN-AL-$\delta$CS ont montré une dégradation notable.
• Proxy Bruité : Sous un bruit gaussien synthétique ajouté au modèle proxy (niveaux de rapport signal-sur-bruit de -25, -15, -5), SILO a maintenu de hautes performances, tandis que des références comme ProSpero et PEX se sont dégradées de manière significative.
• Études d'Ablation :
  • Le retrait de l'échantillonnage structuré (remplacement de SBS par une recherche par faisceau standard) a réduit les performances.
  • Le retrait du terme AFS a réduit les performances, confirmant la valeur de la sélection guidée biologiquement.
  • Une variante « politique figée » (aucune mise à jour par imitation) est restée compétitive, suggérant que l'échantillonnage et la sélection représentent une part substantielle des gains, mais que l'imitation itérative a apporté des améliorations supplémentaires, en particulier sur AAV et Pab1.

Importance et Revendications

L'article revendique que SILO représente une direction efficace pour l'optimisation de séquences protéiques sous budget d'oracle en intégrant avec succès l'apprentissage, l'échantillonnage et la sélection guidée biologiquement.

• Stabilité : En contournant l'estimation de fonctions de valeur et en s'appuyant sur l'imitation par entropie croisée de trajectoires étiquetées par l'oracle, SILO offre une alternative plus stable au RL dans des contextes de récompenses de substitution bruitées.
• Efficacité : La méthode identifie plus rapidement des candidats à haute fitness que les références, la rendant adaptée aux scénarios où les évaluations expérimentales sont coûteuses.
• Pertinence Biologique : L'intégration du Score de Fitness de Balayage à l'Alanine garantit que la recherche est guidée par des principes biologiques, réduisant la probabilité de générer des variants non fonctionnels.

Les auteurs concluent que si SILO excelle dans les benchmarks in silico, les travaux futurs devraient se concentrer sur l'évaluation de la méthode sous des budgets de mutation plus importants et sur la validation de ses performances dans des environnements de laboratoire humide (wet-lab) pour traiter les décalages potentiels entre les oracles et la réalité biologique.