Unlocking Multimodal Protein Language Models at Inference Time
Cet article établit un cadre en trois étapes pour démontrer empiriquement que l'optimisation des stratégies d'échantillonnage au moment de l'inférence pour les modèles de langage protéiques multimodaux — spécifiquement par le biais d'un guidage sans classe spécifique à la tâche et d'une recherche en faisceau guidée par récompense — améliore considérablement les performances sur de multiples tâches sans nécessiter de réentraînement du modèle, tout en remettant en question le consensus préalable sur les comportements des modèles de base.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les protéines sont les machines moléculaires qui font fonctionner la vie, se repliant en des formes tridimensionnelles complexes pour accomplir le travail essentiel à l'intérieur de chaque cellule. Les instructions pour construire ces machines sont écrites dans une chaîne simple de vingt acides aminés différents, mais la relation entre ce code linéaire et la forme finale fonctionnelle est l'un des puzzles les plus profonds de la biologie. Pendant des décennies, les scientifiques se sont appuyés sur des modèles informatiques complexes pour prédire comment une chaîne d'acides aminés va se replier ou pour concevoir des protéines entièrement nouvelles à partir de zéro. Récemment, une nouvelle génération de modèles d'intelligence artificielle est apparue, traitant à la fois la séquence de lettres et la structure 3D comme un langage unique et unifié. Ces modèles peuvent générer de nouvelles protéines, mais jusqu'à présent, les chercheurs se sont largement concentrés sur la manière de les entraîner, supposant que la façon dont l'ordinateur « lit » ses propres réponses lors de l'étape finale de génération était une question réglée.
Une équipe de chercheurs de Hong Kong a découvert que cette supposition est incorrecte. Ils ont découvert que la méthode utilisée pour extraire une conception de protéine finale de ces modèles puissants est tout aussi critique que l'entraînement lui-même. En testant systématiquement différentes manières de guider le processus de prise de décision de l'ordinateur pendant la phase de génération, l'équipe a montré qu'elle pouvait améliorer considérablement la qualité des protéines produites sans modifier le code sous-jacent des modèles. Leur travail révèle que les paramètres par défaut utilisés par ces modèles mènent souvent à des résultats sous-optimaux, mais qu'en ajustant la façon dont l'ordinateur explore les possibilités par rapport à la façon dont il s'engage sur un chemin spécifique, ils pouvaient débloquer une performance qui rivalise ou surpasse même les outils spécialisés conçus pour des tâches uniques.
Les chercheurs ont commencé par examiner le fonctionnement actuel de ces modèles. Imaginez un modèle essayant de construire une protéine comme un processus de remplissage progressif d'une toile vierge, où il commence avec une image complètement masquée et révèle lentement les acides aminés et leurs positions étape par étape. L'équipe a testé trois modèles différents à travers quatre tâches fondamentales : créer des protéines entièrement nouvelles, concevoir des protéines qui s'adaptent autour de parties fonctionnelles spécifiques, prédire la forme d'une protéine à partir de sa séquence, et concevoir une séquence qui se repliera en une forme donnée. Ils ont d'abord examiné les paramètres « vanilla » de base, qui sont les instructions standard prêtes à l'emploi que les modèles utilisent pour prendre ces décisions. Ils ont constaté que les paramètres par défaut étaient souvent mal adaptés à la tâche spécifique en question. Par exemple, lorsqu'on demandait de concevoir une protéine entièrement nouvelle, le modèle avait besoin d'explorer un large éventail de possibilités avec un haut degré de hasard pour trouver une structure stable. Cependant, lorsqu'on demandait de prédire la forme d'une protéine connue, le modèle devait être beaucoup plus précis et déterministe, en restant étroitement lié aux contraintes connues.
En exécutant des milliers de variations de ces paramètres de base, l'équipe a identifié la « recette » optimale pour chaque tâche. Ils ont découvert qu'en passant simplement d'une approche rigide, étape par étape, à une approche plus flexible et simultanée, ils permettaient aux modèles de générer des protéines bien plus viables. Dans un cas spécifique impliquant la création de nouvelles protéines, un modèle précédemment considéré comme faible sous ses paramètres par défaut produisait soudainement près de trois fois plus de conceptions fonctionnelles lorsque la stratégie d'échantillonnage était ajustée. Cette découverte a remis en question la vue prédominante selon laquelle certains modèles seraient intrinsèquement inférieurs, suggérant plutôt qu'ils étaient simplement utilisés avec les mauvais outils pour la tâche.
Les chercheurs ont ensuite abordé une seconde couche de contrôle, introduisant une technique qui agit comme une légère poussée pour orienter le modèle vers de meilleurs résultats. Dans le contexte de la conception de protéines, cela signifie comparer la supposition du modèle pour une protéine avec un objectif spécifique par rapport à une supposition faite sans cet objectif, puis amplifier la différence pour pousser le résultat plus près du résultat souhaité. Cette méthode, connue sous le nom de guidage sans classificateur (classifier-free guidance), s'est avérée être un levier puissant. Pour la tâche de conception de nouvelles protéines à partir de zéro, ce guidage a aidé le modèle à éviter les motifs répétitifs et non naturels et a produit des structures nettement plus stables et diverses. L'amélioration fut si prononcée qu'un modèle précédemment considéré comme un performeur de base a soudainement surpassé ses concurrents sous les paramètres par défaut, bien qu'il soit resté en retrait par rapport aux systèmes spécialisés jusqu'à une optimisation supplémentaire.
Enfin, l'équipe a exploré une troisième stratégie qui s'intéresse à la vue d'ensemble plutôt qu'au simple pas suivant. Au lieu de suivre un seul chemin vers une solution, elle a ordonné à l'ordinateur de générer plusieurs versions différentes de la protéine simultanément, comme si l'on gardait plusieurs itinéraires potentiels ouverts sur une carte. À intervalles réguliers, le système évaluait quel chemin semblait le plus prometteur en fonction de la qualité globale de la structure, puis élisait les options les plus faibles, ne poursuivant que les meilleurs candidats. Cette approche de « recherche par faisceau » (beam search) a permis aux modèles d'échapper aux pièges locaux où ils auraient pu se contenter d'une solution médiocre. Appliquée au modèle le plus capable, cette stratégie a porté les performances à de nouveaux sommets, atteignant des taux de réussite et des qualités de conception qui surpassaient même les systèmes spécialisés précédemment considérés comme supérieurs, le tout sans entraînement supplémentaire ni données externes.
L'étude conclut que la manière dont ces modèles sont utilisés au moment de la génération est une variable cachée qui a été largement négligée. Les chercheurs ont démontré qu'en ajustant soigneusement l'équilibre entre l'exploration de nouvelles possibilités et l'exploitation de solutions connues et bonnes, ils pouvaient augmenter systématiquement les performances de ces modèles de manière globale. Ce travail suggère que le potentiel des modèles de langage protéique actuels a été sous-estimé, non pas parce que les modèles eux-mêmes sont défectueux, mais parce que les méthodes utilisées pour extraire leurs réponses n'étaient pas optimisées. En affinant ces stratégies d'inférence, les scientifiques peuvent désormais tirer beaucoup plus de profit des outils qu'ils possèdent déjà, accélérant potentiellement la découverte de nouveaux médicaments et de matériaux biologiques sans avoir besoin de construire des modèles entièrement nouveaux à partir de zéro.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.