Résumé Technique : Flux Flexibles pour la Conception de Séquences Biologiques (FlexFlow)

Énoncé du Problème

La conception de séquences biologiques fonctionnelles (ADN, ARN, protéines, peptides) nécessite de naviguer dans de vastes espaces combinatoires discrets sous des contraintes évolutives et biophysiques strictes. Bien que les modèles autorégressifs (par exemple, ProtGPT2, ESM-2) aient démontré leur viabilité, ils souffrent d'erreurs cumulatives, d'un échantillonnage séquentiel lent et d'une cohérence globale limitée, particulièrement pour les séquences longues ou structurellement complexes.

Des cadres génératifs alternatifs, tels que la Diffusion Discrète et le Flow Matching Discret (DFM), offrent un échantillonnage non autorégressif plus rapide. Cependant, les méthodes discrètes existantes appliquées aux applications biologiques font face à trois limitations critiques :

1. Flexibilité Limitée : Elles peinent avec la génération de séquences de longueur variable et manquent de contrôle fin sur le processus de génération.
2. Couplages Peu Informatifs : Elles reposent sur des couplages uniformes ou masqués qui ignorent les relations structurées et spécifiques au domaine entre les éléments de séquences biologiques (par exemple, les biais de substitution évolutive).
3. Guidage Incohérent : Orienter la génération vers des propriétés fonctionnelles spécifiques repose souvent sur des ajustements indépendants par jeton (token-wise), qui ne parviennent pas à capturer les dépendances globales nécessaires aux motifs réglementaires ou de liaison complexes.

Méthodologie : FlexFlow

Les auteurs proposent FlexFlow, un cadre de Flow Matching Discret conçu pour répondre à ces limitations grâce à trois innovations architecturales centrales :

1. Processus de Propagation Structuré (Couplage Structuré)

Au lieu d'utiliser une base non informative pour le processus de bruitage direct, FlexFlow impose un biais inductif structurel en « penchant » la distribution source.

• Mécanisme : La méthode remplace les couplages uniformes standards par un couplage structuré $\pi(\tilde{x}_0, x_1, K_\gamma)$. Celui-ci est défini par un noyau de transition $K_\gamma$ qui encode les préférences de substitution spécifiques au domaine (par exemple, BLOSUM62 pour les protéines, JC69/HKY85 pour l'ADN/ARN).
• Effet : La distribution source est biaisée vers des voisinages de substitution biologiquement plausibles plutôt que vers l'ensemble du simplexe. Cela oriente le chemin génératif vers des régions fonctionnelles privilégiées sans modifier l'objectif de flux ou la procédure d'entraînement. Le couplage se généralise à travers les taxonomies de séquences simplement en échangeant le noyau $K_\gamma$.

2. Paramétrage de Taux basé sur l'Édition Latente

Pour supporter la génération de longueurs variables, le modèle paramètre les taux de flux inverse via des opérations d'édition (insertion, suppression, substitution) conditionnées par une variable latente globale partagée.

• Paramétrage Hiérarchique : Étant donné une séquence bruitée $x_t$, un contexte latent global $r$ est inféré via un encodeur $\Psi(x_t)$. Ce latent $r$ conditionne la distribution catégorielle des opérations d'édition $p_\Phi(op_i | x_i^t, r)$ à chaque position.
• Tractabilité : Cette approche hiérarchique induit un couplage entre les opérations au niveau des jetons via le latent partagé $r$ tout en maintenant l'indépendance conditionnelle entre les positions, garantissant que le modèle reste traitable.
• Contrôle au Moment du Test (Priors de Dirichlet) : Les probabilités d'opération sont rescalées à l'aide de paramètres de température dépendant de la position, $\beta_i$, modélisés via un a priori de Dirichlet. Cela permet un contrôle post-hoc sur les taux relatifs d'insertion, de substitution et de suppression pendant l'inférence (agissant par exemple comme un « contrôleur de budget » pour les opérations d'édition) sans réentraînement.

3. Guidage par Classificateur Latent (Latent Classifier-Free Guidance)

Les auteurs introduisent un nouveau mécanisme de guidage qui opère entièrement dans l'espace latent continu, contrastant avec le guidage standard dans l'espace des taux.

• Mécanisme : Pendant l'entraînement, l'encodeur $\Psi$ est entraîné pour prédire à la fois un latent conditionnel $r_c$ (donné une condition $c$) et un latent inconditionnel $r_\emptyset$. Au moment du test, le latent guidé est calculé comme $r_{LG} = r_\emptyset + w(r_c - r_\emptyset)$.
• Avantages : Cette approche garantit une cohérence structurelle globale car le signal de guidage se propage à travers le latent partagé $r$ vers toutes les opérations par jeton simultanément. Elle évite l'incohérence du guidage par jeton et préserve la non-négativité des taux par construction.
• Base Théorique : Les auteurs prouvent que cette interpolation latente correspond à une étape d'ascension de gradient sur la log-vraisemblance d'un classificateur implicite dans l'espace latent.

Contributions Clés

1. Couplage Structuré : Introduction d'un a priori biologiquement informé qui oriente le chemin génératif vers des voisinages fonctionnels, remplaçant les couplages uniformes.
2. Taux Latents basés sur l'Édition : Un paramétrage permettant la génération de longueurs variables avec des opérations d'édition contrôlables via un latent global partagé et un étalement de température par a priori de Dirichlet.
3. Guidage Latent : Un schéma de guidage opérant dans l'espace latent continu pour assurer une cohérence globale, présenté comme une alternative au guidage par classe dans l'espace des taux.
4. Nouveau Benchmark : L'introduction d'un benchmark peptide-MHC II pour générer et évaluer des séquences peptidiques conditionnées par le MHC.
5. Validation Empirique : Démonstration de performances de pointe à travers l'estimation de densité, la génération d'ADN inconditionnelle/conditionnelle et la génération de peptides.

Résultats Expérimentaux

Les auteurs ont évalué FlexFlow sur diverses tâches, comparant ses performances aux bases de diffusion et de flux (par exemple, Bit Diffusion, Dirichlet FM, Fisher FM, Gumbel-Softmax FM).

• Jeux de Données de Test (Toy Datasets) : Sur des motifs discrets en 1D et 2D (onde sinusoïdale, spirale, anneaux, damier), FlexFlow a obtenu la distance de Wasserstein ($W_2$) la plus faible, reconstruisant précisément les caractéristiques topologiques.
• Conception d'ADN Inconditionnelle (Enhancers) : Évalué sur des ensembles de données d'enhancers de cerveau de mouche et de mélanome humain. FlexFlow a obtenu la distance biologique de Fréchet (FBD) la plus basse (3,4 pour le mélanome, 4,2 pour le cerveau de mouche), surpassant Dirichlet FM et Fisher FM.
• Conception d'ADN Conditionnelle (Promoteurs) : Étant donné un profil de transcription, le modèle a généré des séquences de promoteurs. FlexFlow avec le Guidage Latent a obtenu l'erreur quadratique moyenne (MSE) la plus faible de 0,022, surpassant Dirichlet FM (0,026) et DDSM (0,033).
• Génération Peptide-MHC II : Sur le nouveau benchmark peptide-MHC II, FlexFlow avec le Guidage Latent a atteint un score de discriminateur DeepMHCII de 0,66 (contre 0,21 pour Dirichlet FM) et une distance protéique de Fréchet (FPD) de 0,84. Les résultats indiquent que le Guidage Latent priorise la plausibilité de la liaison, tandis que le Guidage par Taux offre un compromis différent favorisant la couverture de la distribution.
• Efficacité : La vitesse d'inférence est comparable aux bases (environ 4,0 secondes pour des séquences d'ADN de 500 de longueur sur 100 étapes).

Signification et Revendications

L'article affirme que FlexFlow répond aux limitations clés des méthodes génératives discrètes existantes en intégrant la connaissance du domaine biologique directement dans le cadre de Flow Matching. En utilisant des couplages structurés, la méthode biaise la génération vers des régions biologiquement plausibles sans modifier l'objectif d'entraînement. Le paramétrage de taux basé sur l'édition latente et le schéma de guidage latent fournissent un mécanisme pour la génération de longueurs variables et un contrôle fin et cohérent dont les méthodes précédentes manquaient.

Les auteurs positionnent FlexFlow comme un cadre robuste pour la conception de séquences biologiques, surpassant les bases fortes de diffusion et de flow-matching tant dans les contextes inconditionnels que conditionnels. Ils notent que les travaux futurs se concentreront sur l'adaptation des objectifs d'entraînement basés sur la distillation pour permettre une génération de séquences de haute qualité en moins d'étapes d'échantillonnage. Le travail est présenté sous forme de prépublication, les auteurs reconnaissant le soutien du Conseil de la Finlande et d'autres fondations pour des projets connexes d'IA en biodesign.