🧬 biology

AMix-1: A Pathway to Test-Time Scalable Protein Foundation Model

L'article présente AMix-1, un modèle de fondation pour les protéines de 1,7 milliard de paramètres basé sur les réseaux de flux bayésiens qui exploite des lois d'échelle d'entraînement systématiques, l'apprentissage en contexte basé sur les MSA, et une mise à l'échelle évolutive au moment du test pour parvenir à une conception de protéines robuste, démontrée par la génération d'un variant AmeR présentant une amélioration de l'activité allant jusqu'à 50 fois par rapport à son type sauvage.

Auteurs originaux : Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuy

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuyi Zhang, Xiaoqing Zheng, Deyi Xiong, Lei Bai, Wanli Ouyang, Ya-Qin Zhang, Wei-Ying Ma, Bowen Zhou, Hao Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à concevoir de nouvelles protéines. Les protéines sont les petites machines complexes à l'intérieur de nos corps qui font tout, de la digestion des aliments à la lutte contre les virus. Concevoir une nouvelle protéine, c'est comme essayer d'inventer une nouvelle clé qui s'adapte à une serrure que vous n'avez jamais vue auparavant, mais vous devez obtenir la forme de la clé parfaitement, sinon elle ne fonctionnera pas.

Le document présente AMix-1, une nouvelle IA « super-professeur » conçue spécifiquement pour maîtriser cette tâche. Les auteurs n'ont pas seulement construit un modèle plus grand ; ils ont construit une manière plus intelligente de l'entraîner. Voici comment ils ont fait, expliquée par des analogies simples :

1. Le moteur : Une radio de « débruitage »

La plupart des modèles d'IA essaient d'apprendre en lisant du texte clair. AMix-1 est construit sur ce qu'on appelle un réseau de flux bayésien (Bayesian Flow Network). Considérez cela comme une radio qui commence avec uniquement du bruit statique.

Comment ça marche : L'IA commence avec une version complètement brouillée et bruitée d'une séquence de protéine. Elle tente ensuite de « nettoyer » le bruit, étape par étape, pour révéler la protéine claire en dessous.
L'analogie : Imaginez essayer de deviner une chanson en écoutant une station de radio très parasitée. Au début, vous n'entendez que de la friture. À mesure que le signal devient plus clair (moins de bruit), vous commencez à entendre la mélodie, puis les paroles. AMix-1 apprend en pratiquant ce processus de « nettoyage » encore et encore jusqu'à ce qu'il puisse reconstruire parfaitement une protéine à partir du bruit pur.

2. La feuille de route : Les lois d'échelle (La règle du « la taille compte »)

Les chercheurs voulaient savoir : « Si nous rendons l'IA plus grande et lui donnons plus de données, sera-t-elle meilleure ? »

La découverte : Ils ont découvert une « loi de la physique » prévisible pour cette IA. Tout comme un moteur de voiture devient plus puissant avec plus de carburant, AMix-1 devient meilleur pour comprendre les structures des protéines à mesure que vous augmentez sa taille et la quantité de données qu'il voit.
La métaphore : C'est comme grimper une montagne. Les chercheurs ont cartographié le sentier si précisément qu'ils pouvaient prédire exactement jusqu'où l'IA grimperait (à quel point elle deviendrait bonne) simplement en connaissant la quantité de « carburant » (puissance de calcul) qu'ils y injectaient. Ils ont utilisé cette carte pour construire leur version la plus grande, AMix-1, qui possède 1,7 milliard de « cellules cérébrales » (paramètres).

3. Le moment « Eurêka ! » : Les capacités émergentes

Voici la partie la plus excitante. Les chercheurs ont découvert que l'IA ne devient pas seulement légèrement meilleure à mesure qu'elle grandit ; elle commence soudainement à comprendre des choses qu'elle ne connaissait pas auparavant.

L'analogie : Imaginez un étudiant apprenant les mathématiques. Au début, il se contente de mémoriser des chiffres. Puis, soudainement, après assez de pratique, il « comprend » — il comprend la logique derrière les chiffres et peut résoudre des problèmes qu'il n'a jamais vus.
Le résultat : À mesure qu'AMix-1 s'entraînait, il a soudainement commencé à comprendre les formes de protéines (structure), même s'il n'avait été entraîné que sur les lettres (séquence) de la protéine. Il n'avait pas besoin d'être explicitement enseigné la géométrie ; il a compris les formes en 3D simplement en lisant la séquence suffisamment de fois.

4. Le raccourci : L'apprentissage en contexte (L'astuce du « Montrer plutôt que dire »)

Habituellement, pour apprendre une nouvelle tâche à une IA, vous devez la réentraîner à partir de zéro. AMix-1 est différent. Il peut apprendre un nouveau travail simplement en regardant quelques exemples, sans changer son cerveau.

L'analogie : Pensez à un chef cuisinier expert. Si vous voulez qu'il cuisine un plat régional spécifique, vous n'avez pas besoin de l'envoyer à nouveau en école culinaire. Vous lui montrez juste quelques photos du plat et vous dites : « Préparez quelque chose comme ceci. » Le chef utilise ses connaissances existantes pour comprendre.
Comment AMix-1 le fait : Les chercheurs donnent à l'IA un « album de famille » de protéines similaires (appelé alignement de séquences multiples). L'IA observe les motifs dans cet album et génère une nouvelle protéine qui s'y intègre parfaitement, en conservant la bonne forme et la bonne fonction.

5. Le test en conditions réelles : La « Super-Enzyme »

L'équipe n'a pas seulement effectué des simulations ; ils ont testé cela dans un vrai laboratoire.

Le défi : Ils voulaient améliorer une protéine appelée AmeR, qui agit comme un interrupteur dans les circuits génétiques. La version sauvage (naturelle) était correcte, mais ils voulaient qu'elle soit beaucoup plus forte.
Le résultat : En utilisant la méthode « montrer plutôt que dire » d'AMix-1, ils ont conçu une nouvelle version d'AmeR. Lorsqu'elle a été testée en laboratoire, cette nouvelle version était 50 fois plus active que l'originale. C'est un bond massif, prouvant que l'IA peut concevoir de véritables outils biologiques fonctionnels.

6. La boucle évolutive : L'échelle au moment de l'exécution (Le moteur d'essais et d'erreurs)

Enfin, ils ont créé un système appelé EvoAMix-1 pour rendre l'IA encore meilleure pendant qu'elle travaille, sans la réentraîner.

L'analogie : Imaginez un sculpteur qui fabrique 100 statues d'argile. Un juge choisit les 5 meilleures. Le sculpteur utilise ensuite ces 5 gagnantes comme un nouveau « moule » pour fabriquer la prochaine série de 100. Il répète ce processus, s'améliorant de plus en plus à chaque tour, sans jamais changer les mains du sculpteur.
Comment ça marche : L'IA génère de nombreux candidats de protéines. Un « vérificateur » (un programme informatique ou un test en laboratoire) choisit les meilleurs. L'IA utilise ensuite ces gagnantes comme de nouveaux exemples pour générer des versions encore meilleures lors du tour suivant.
Le bénéfice : Plus vous donnez de « contrôles » (budget) à ce système, meilleurs sont les résultats. Il continue de s'améliorer tant que vous le laissez essayer.

Résumé

AMix-1 est un nouveau type de concepteur de protéines qui :

Apprend en nettoyant le bruit (comme accorder une radio).
Suit une carte prévisible où plus c'est grand, mieux c'est.
Comprend soudainement les formes 3D simplement en lisant des séquences.
Peut apprendre de nouvelles tâches instantanément en regardant des exemples.
A réussi à créer une protéine en laboratoire qui est 50 fois plus forte que la nature.
Peut continuer à s'améliorer grâce à une boucle évolutive d'essais et d'erreurs.

Le document affirme que cela représente une étape majeure vers un futur de « laboratoire en boucle » (lab-in-the-loop), où l'IA et les expériences du monde réel travaillent ensemble pour concevoir des protéines salvatrices plus rapidement que jamais.

Résumé Technique : AMix-1

Énoncé du Problème

Les modèles de fondation protéiques actuels (ex. AlphaFold, ESM) ont fait progresser des tâches spécifiques comme la prédiction de structures et le repliement inverse, mais manquent d'une méthodologie unifiée et évolutive comparable aux Grands Modèles de Langage (LLM). Contraques les LLM, qui démontrent des améliorations de performance constantes grâce aux lois de mise à l'échelle (scaling laws), aux capacités émergentes, à l'apprentissage en contexte (in-context learning) et à la mise à l'échelle au moment du test (test-time scaling), les modèles de protéines n'ont pas encore établi de cadre systématique capable de tirer parti de ces principes pour parvenir à une conception de protéines de haute fidélité et hautement évolutive. Le défi central consiste à concevoir un modèle de fondation protéique capable de troquer systématiquement des ressources computationnelles contre de la performance, de manifester une compréhension structurelle émergente et de s'adapter à diverses tâches de conception sans nécessiter de réglage fin (fine-tuning) spécifique à la tâche.

Méthodologie

Les auteurs proposent AMix-1, un modèle de fondation protéique basé sur les Réseaux de Flux Bayésiens (BFN - Bayesian Flow Networks) et entraîné selon un parcours systématique comprenant quatre piliers :

1. Architecture du Modèle et Entraînement

Cadre Génératif : AMix-1 utilise les BFN, qui modélisent les paramètres continus des distributions de séquences protéiques via des mises à jour bayésiennes itératives plutôt que de modéliser directement les acides aminés discrets. Le processus implique une distribution d'émetteur (perturbée par du bruit) et une distribution de récepteur (un réseau de neurones $\phi$ ) qui infère des messages pour minimiser la divergence de Kullback-Leibler (KL).
Architecture : La série de modèles est basée sur un Transformer de type encodeur uniquement avec des plongements de position rotatifs (RoPE). Les auteurs ont fait passer l'échelle du modèle de 8 millions à 1,7 milliard de paramètres.
Pré-entraînement : L'entraînement a été réalisé sur le jeu de données UniRef50 (41,5 millions de séquences) en utilisant une configuration de précision mixte (BF16). Le niveau de bruit $\alpha$ est contrôlé par un programme $\beta(t) = \beta_1 t^2$ .

2. Lois de Mise à l'Échelle et Capacité Émergente

Mise à l'Échelle Prédictive : Les auteurs ont établi une loi de mise à l'échelle prédictive reliant l'entropie croisée ( $L$ ) au coût computationnel (FLOPs), à la taille du modèle ( $N$ ) et aux jetons de données ( $D$ ). Ils ont constaté que sous des niveaux de bruit modérés ( $\alpha = 0,16, 0,32$ ), la perte suit une relation de loi de puissance $L(F) = E_0 + e^{a \cdot F^b}$ . Des niveaux de bruit extrêmes ( $\alpha = 0,08, 0,64$ ) ont entraîné un comportement non évolutif.
Compréhension Structurelle Émergente : L'étude révèle que la compréhension structurelle (mesurée par pLDDT et TM-score) émerge progressivement à mesure que la perte d'entraînement descend sous un seuil critique. Cette capacité surgit sans supervision structurelle explicite, pilotée purement par des objectifs de niveau séquence et un calcul suffisant.

3. Apprentissage en Contexte (ICL)

Mécanisme : AMix-1 unifie la conception de protéines en traitant les alignements de séquences multiples (MSA) comme des prompts. Au lieu de procéder à un réglage fin, le modèle se conditionne sur des profils de fréquence par position dérivés des MSA.
Processus : Le MSA est compressé en un profil $P$ (une distribution catégorielle sur les acides aminés à chaque position). AMix-1 génère ensuite des séquences $x$ conditionnées par $P$ , préservant ainsi les contraintes évolutives, l'intégrité structurelle et la pertinence fonctionnelle.

4. Mise à l'Échelle au Moment du Test (TTS)

EvoAMix-1 : Pour améliorer davantage les performances, les auteurs ont introduit un algorithme de mise à l'échelle évolutive au moment du test. Ce cadre fonctionne comme une boucle proposeur-vérificateur :
1. Proposer : AMix-1 génère un lot de séquences candidates basées sur un profil MSA initial.
2. Vérifier : Un vérificateur externe (métrique in silico ou essai en laboratoire humide) évalue les candidats.
3. Mettre à jour : Les variantes les plus performantes (top- $k$ ) sont utilisées pour construire un profil raffiné (pseudo-MSA), qui sert de prompt pour l'itération suivante.
Distinction : Contrairement aux méthodes traditionnelles qui mettent à jour les paramètres du modèle (pilotées par le gradient), EvoAMix-1 met à jour la condition (le prompt) tout en maintenant les poids du modèle gelés (piloté par la condition), permettant une intégration "plug-and-play" de diverses métriques de vérification.

Résultats Clés

Mise à l'Échelle et Émergence

Échelle du Modèle : Un modèle de 1,7 milliard de paramètres (AMix-1-1.7B) a été entraîné avec succès, démontrant des lois de mise à l'échelle prévisibles.
Émergence : Les métriques structurelles (TM-score, pLDDT) ont montré une augmentation brusque (émergence) une fois que l'entropie croisée est descendue sous un seuil spécifique, particulièrement à des niveaux de bruit modérés ( $\alpha=0,16$ ). Les niveaux de bruit extrêmes ont supprimé cette émergence.

Performance de l'Apprentissage en Contexte

In Silico : AMix-1 a généré avec succès des protéines présentant une haute cohérence structurelle (TM-score > 0,9) et une spécificité fonctionnelle (haute confiance dans le numéro EC via CLEAN, activité catalytique préservée via CLIPZyme) à travers divers scénarios, incluant des protéines orphelines et des homologues aléatoires, sans réglage fin.
Validation en Laboratoire Humide : Le modèle a été utilisé pour concevoir des variants du répresseur transcriptionnel AmeR. Le meilleur variant conçu par AMix-1 a atteint une augmentation de l'activité de 50 fois (repliement de la répression) par rapport au type sauvage, surpassant à la fois les bibliothèques de mutants simples et la méthode de pointe de l'évolution dirigée, EvoAI.

Mise à l'Échelle au Moment du Test (EvoAMix-1)

Évolutivité : À travers six benchmarks d'évolution dirigée in silico (tâches structurelles, biophysiques et fonctionnelles), EvoAMix-1 a démontré des gains de performance monotones à mesure que le budget de vérification (nombre d'appels au vérificateur) augmentait.
Comparaison : EvoAMix-1 a surpassé ou égalé les bases de référence de l'état de l'art (ALDE, EVOLVEpro, MLDE) dans 5 des 6 tâches. Il a évité les plateaux de performance observés dans les méthodes avec des schémas de mutation restreints, permettant une exploration plus large de l'espace séquentiel.

Signification et Revendications

L'article affirme établir un paradigme systématique pour les modèles de fondation protéiques qui reflète le succès des LLM. Ses principales contributions sont :

Unification Méthodologique : Il introduit une feuille de route pour la conception de protéines évolutive ancrée dans les lois de mise à l'échelle, l'analyse des capacités émergentes, l'apprentissage en contexte et la mise à l'échelle au moment du test.
Caractérisation des BFN : C'est le premier à caractériser les lois de mise à l'échelle et les capacités émergentes spécifiquement pour les Réseaux de Flux Bayésiens dans le contexte de la modélisation des protéines, identifiant le rôle critique de la programmation du bruit.
Cadre de Conception Unifié : En exploitant l'apprentissage en contexte basé sur les MSA, AMix-1 unifie la conception guidée par la structure et la fonction en un seul cadre sans nécessiter de réglage fin spécifique à la tâche.
Impact Réel : L'ingénierie réussie d'un variant d'AmeR à haute activité (amélioration de 50x) démontre le potentiel du modèle pour l'ingénierie fonctionnelle des protéines en conditions réelles.
Potentiel de "Lab-in-the-Loop" : L'algorithme EvoAMix-1 pose les jalons d'une conception de protéines "laboratoire-dans-la-boucle", où les modèles computationnels peuvent améliorer de manière itérative les conceptions basées sur les retours expérimentaux sans réentraînement.

Les auteurs reconnaissent des limites, notant qu'AMix-1 est actuellement basé sur les séquences (ignorant les données structurelles explicites pendant l'entraînement) et que la mise à l'échelle au moment du test n'a été validée que sur des tâches simulées, bien qu'ils considèrent ces points comme des cibles immédiates pour des travaux futurs.