Résumé Technique : Expansion de Flux Actif pour la Découverte Hors-Distribution

Énoncé du Problème

Les modèles génératifs standards, incluant les modèles de flux et de diffusion, sont typiquement pré-entraînés via l'appariement de la distribution des données. Cet objectif force le modèle à approximer la distribution des données disponibles ($p_{data}$), qui ne couvre souvent qu'une petite fraction de l'espace de conception valide ($\Omega^*$). Bien qu'efficace pour des tâches comme l'imitation comportementale ou la reproduction d'exemples observés, cette approche est fondamentalement limitée pour la découverte hors-distribution (OOD). Dans la découverte scientifique (par exemple, la conception de molécules ou de protéines nouvelles dans la nature), l'objectif est d'échantillonner des conceptions valides qui ont une probabilité négligeable sous la distribution de données observée et qui sont arbitrairement éloignées des exemples existants. Les modèles pré-entraînés standards ne parviennent pas à accéder à ces régions car leur « ensemble générable » — la région qu'ils peuvent échantillonner avec une probabilité non négligeable — est strictement contenu dans la distribution de données observée.

Méthodologie : Expansion de Flux Actif (ACTFLOW)

Les auteurs proposent l'Expansion de Flux Actif (ACTFLOW), un cadre de pré-entraînement continu conçu pour étendre l'ensemble générable d'un modèle afin de couvrir une plus grande partie de l'espace de conception valide. La méthode s'écarte de l'appariement passif de la distribution des données et traite plutôt le modèle génératif comme un approximateur de l'espace de conception valide.

Concepts Clés

1. Ensemble Générable ($\Omega^\tau_\theta$) : Défini comme la région de l'espace de conception où la densité terminale du modèle $p^\theta_1(x)$ dépasse un seuil $\tau$. Le pré-entraînement standard produit $\Omega^\tau_{\theta_{pre}} \subset \Omega^*$ avec $\text{Vol}(\Omega^\tau_{\theta_{pre}}) \ll \text{Vol}(\Omega^*)$.
2. Expansion de l'Ensemble Générable : Le nouveau principe d'apprentissage vise à apprendre des paramètres $\theta$ tels que $\Omega^\tau_\theta \approx \Omega^*$, étendant ainsi efficacement la couverture du modèle vers des régions OOD valides.

Flux Algorithmique

ACTFLOW opère via une boucle itérative d'exploration active et d'adaptation du modèle :

• Exploration Active dans la Représentation Apprise : Au lieu d'échantillonner à partir des modes dominants du modèle actuel, ACTFLOW effectue une exploration active dans la représentation de flux apprise $Z_s$ (extraite du réseau de vitesse à un niveau de bruit intermédiaire $s \in (0,1)$).
• Échantillonnage Incliné par l'Incertitude : La méthode oriente l'échantillonnage vers des régions de haute incertitude du vérificateur. Elle résout un problème d'optimisation (Éq. 9) qui maximise l'incertitude attendue du vérificateur $\sigma_t(\phi_s(x))$ tout en régularisant la recherche pour rester proche de la densité actuelle via un terme de divergence KL. Cela équilibre l'exploration de nouvelles frontières valides avec la connaissance a priori du modèle.
• Retour du Vérificateur : Un vérificateur boîte noire $\tilde{v}$ (par exemple, des contrôleurs de validité moléculaire ou des prédicteurs de repliement de protéines) évalue les échantillons générés, fournissant des étiquettes binaires (valide/invalide).
• Mise à Jour Basée sur le Rejeu Signé : Le modèle est mis à jour à l'aide d'une fonction de perte signée. Les échantillons acceptés (valides) contribuent par un gradient positif (attirant le modèle), tandis que les échantillons rejetés (invalides) contribuent par un gradient négatif (repoussant le modèle). Ceci est formulé comme un objectif de rejeu signé : $L_{signed} = L_{accepted} - \alpha_t L_{rejected}$, ce qui peut être vu comme une forme de désapprentissage de données pour les régions invalides.

Cadre Théorique

Le document établit des garanties d'apprentissage statistique pour la modélisation de flux OOD, en cadrant le processus comme un problème de accessibilité locale-à-globale :

• Modélisation du Vérificateur : Le vérificateur est modélisé comme un mécanisme de rétroaction de bandit logistique sur l'espace de représentation appris, où la validité est déterminée par un score latent inconnu $g(z)$.
• Opérateur de Reachabilité : Les auteurs définissent un opérateur de reachabilité d'une étape $R_\epsilon(S)$, représentant l'ensemble des points dont la validité peut être certifiée à partir d'un ensemble sûr connu $S$ avec une certaine marge d'erreur.
• Théorème Principal : Sous les hypothèses d'un vérificateur bien spécifié et d'un échantillonnage d'incertitude approximatif, ACTFLOW garantit qu'après $T^*$ échantillons vérifiés, l'ensemble générable du modèle couvrira l'expansion récursive $H$ de l'ensemble de semence initial valide ($R^H_\epsilon(S_0) \subseteq \Omega^\tau_{T^*}$). Cela constitue la première garantie théorique pour l'expansion des ensembles générables dans la modélisation de flux OOD.

Contributions Clés

1. Expansion de l'Ensemble Générable : Introduction d'un cadre mathématique rigoureux pour la modélisation de flux OOD basée sur l'expansion de l'ensemble générable du modèle plutôt que sur l'appariement des distributions de données.
2. Algorithme ACTFLOW : Une méthode de pré-entraînement continu pratique et agnostique aux tâches qui utilise le retour du vérificateur et l'exploration active dans les représentations de bruit intermédiaire pour découvrir de nouvelles régions valides.
3. Garanties Théoriques : Les premières garanties d'apprentissage statistique pour la modélisation de flux OOD, prouvant que ACTFLOW étend l'ensemble générable pour couvrir les régions valides atteignables via un processus local-à-global.
4. Validation Empirique : Évaluation complète à travers divers domaines (petites molécules, molécules de type médicament, peptides thérapeutiques et séquences de protéines) démontrant une performance supérieure par rapport aux bases de comparaison de l'auto-génération récursive.

Résultats Expérimentaux

Les auteurs ont évalué ACTFLOW contre deux bases de comparaison largement adoptées :

• REC-NF : Pré-entraînement continu sur des échantillons non filtrés du modèle.
• REC-F : Pré-entraînement continu sur des échantillons filtrés par le vérificateur (uniquement les échantillons valides).

Métriques de Performance : Couverture (nombre de clusters valides), Diversité (score Vendi), et Validité (pourcentage d'échantillons valides).

• Petites Molécules Organiques (QM9) : ACTFLOW a étendu la couverture valide à 88,40 clusters (contre 45,40 pour REC-F et 42,80 pour REC-NF) tout en maintenant une validité élevée (95,90 %). REC-NF a subi une chute sévère de la validité (12,26 %).
• Molécules de Type Médicament (GEOM-Drugs) : ACTFLOW a atteint 144,3 clusters valides, surpassant nettement REC-F (89,33) et REC-NF (44,67). Il a également amélioré la validité par rapport à la base de référence pré-entraînée (56,6 % vs 39,31 %).
• Peptides Thérapeutiques : ACTFLOW a augmenté la couverture de 61 à 358 clusters et a obtenu la plus haute diversité (score Vendi de 58,87). En revanche, REC-NF s'est effondré à 0 % de validité.
• Séquences Protéiques : ACTFLOW a augmenté la couverture de 66,50 à 102,75 clusters et la diversité (42,14 Vendi), tout en améliorant la validité à 83,74 %. REC-F a obtenu une validité plus élevée (88,12 %), mais s'est effondré en termes de couverture et de diversité.

Dans toutes les tâches, ACTFLOW a nettement surpassé les bases de comparaison dans l'équilibre entre couverture, diversité et validité, réussissant à s'étendre dans de nouvelles régions valides que les bases récursives n'ont pu atteindre.

Signification et Revendications

Le papier affirme fournir une approche théorique et pratique inédite pour la modélisation générative hors-distribution. En déplaçant le paradigme de l'« appariement de distribution » vers l'« expansion d'ensemble générable », ACTFLOW permet aux modèles pré-entraînés d'accéder à des espaces de conception valides qui sont inaccessibles à l'échantillonnage standard ou au simple réglage fin. Les auteurs soulignent que leur méthode comble le fossé entre la théorie de l'exploration sûre et la modélisation générative, offrant des garanties prouvables pour la découverte de conceptions nouvelles dans la nature.

La portée du travail est modeste concernant la découverte réelle : bien que le cadre permette une expansion agnostique aux tâches vers des régions valides auparavant inaccessibles, les auteurs notent que des travaux futurs seront nécessaires pour évaluer si cette exploration produit des découvertes scientifiques concrètes dans des applications réelles spécifiques. La contribution primaire est le fondement algorithmique et théorique permettant une telle découverte.