Task- and dataset-specific information in protein language models
Cette étude révèle que les plongements les plus informatifs pour les tâches de l'aval des modèles de langage de protéines se trouvent souvent dans les couches intermédiaires plutôt que dans la couche finale, la couche optimale dépendant de la question de savoir si la tâche concerne des résidus individuels, des protéines entières ou des séquences artificielles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une bibliothèque magique et immense où chaque livre est une recette pour construire une machine vivante appelée protéine. Pendant des années, les scientifiques ont tenté d'apprendre aux ordinateurs à lire ces recettes et à comprendre ce que font ces machines. Pour ce faire, ils ont construit des « Modèles de Langage de Protéines » (PLM). Considérez ces modèles comme des étudiants super intelligents qui ont lu des milliards de ces recettes de protéines. Ils ne se contentent pas de mémoriser les mots ; ils apprennent la grammaire et le style cachés du langage. Une fois leurs études terminées, ces étudiants peuvent transformer la recette d'une protéine en un code secret (un « embedding ») que d'autres ordinateurs peuvent utiliser pour prédire des choses comme : Cette protéine va-t-elle briller ? Va-t-elle s'accrocher à un virus ? Va-t-elle se dissoudre dans l'eau ?
Pendant longtemps, tout le monde a supposé que la partie la plus « intelligente » de ces étudiants modèles se trouvait tout à la fin de leur cerveau — la toute dernière couche. C'était comme supposer qu'après avoir lu un livre entier, la dernière phrase lue détient la signification la plus importante. Mais et si les indices les plus utiles se cachaient en réalité au milieu du livre, ou même dans les premières pages ? Cette étude pose une question simple mais délicate : où se produit la véritable magie dans ces cerveaux géants de l'IA ? Avons-nous vraiment besoin de regarder la toute dernière couche pour obtenir les meilleures réponses, ou passons-nous à côté de quelque chose d'important en ignorant les couches intermédiaires ?
Les chercheurs derrière cette étude ont décidé de jouer les détectives. Ils ont pris 13 modèles différents d'apprentissage de protéines et les ont testés sur 15 tâches différentes, allant de la prédiction de la stabilité d'une protéine à la détermination de son lieu de résidence à l'intérieur d'une cellule. Ils ne se sont pas contentés de regarder la réponse finale ; ils ont scruté l'intérieur de ces modèles à chaque étape de leur processus de réflexion, de la première couche jusqu'à la dernière.
Voici ce qu'ils ont découvert, et il s'avère que l'ancienne règle selon laquelle « la dernière couche est la meilleure » est en grande partie fausse.
Le milieu est souvent le point idéal
Lorsque les scientifiques ont testé ces modèles sur des tâches impliquant des protéines entières (comme prédire si une protéine est soluble ou où elle vit dans une cellule), ils ont découvert que la toute dernière couche était rarement la gagnante. Au contraire, la « meilleure » couche se trouvait généralement quelque part au milieu — souvent entre le 10e et le 90e percentile de la profondeur du modèle. C'est comme si l'étudiant lisait le livre, comprenait l'intrigue principale dans les chapitres du milieu, puis commençait à se perdre ou à trop analyser les choses lorsqu'il atteignait la dernière page. En fait, pour de nombreuses tâches, la performance a réellement chuté dans les couches les plus profondes.
Cela dépend de ce que vous demandez
L'étude a révélé que la « meilleure » couche n'est pas la même pour chaque tâche. Cela dépend fortement du type de données que vous utilisez :
- Les ensembles de données « Mutants » : Lorsque les données provenaient du « Deep Mutational Scanning » (où les scientifiques prennent une protéine spécifique et créent des milliers de versions légèrement différentes), les modèles fonctionnaient mieux en utilisant les couches superficielles et précoces. Il semble que les couches précoces soient excellentes pour repérer les détails locaux et précis, comme la façon dont le changement d'une seule lettre dans un mot modifie son sens.
- Les ensembles de données « Diversifiés » : Lorsque les données provenaient d'un mélange énorme de nombreuses protéines différentes et non apparentées (comme une bibliothèque de milliers de livres différents), les modèles fonctionnaient mieux avec les couches profondes. Ici, le modèle doit comprendre des règles générales et vastes qui s'appliquent à de nombreuses protéines différentes, ce qui nécessite plus de « réflexion » et des couches plus profondes pour être compris.
Le problème « Artificiel »
L'une des découvertes les plus surprenantes concerne les protéines « artificielles ». Les chercheurs ont testé les modèles sur des protéines conçues par des ordinateurs plutôt que trouvées dans la nature. Les modèles ont eu beaucoup de mal avec celles-ci. Même si les protéines artificielles étaient fonctionnelles, les modèles ne parvenaient pas à prédire correctement leurs propriétés. Cela suggère que ces modèles d'IA ont appris à comprendre le « langage » de l'évolution naturelle, mais qu'ils n'ont pas encore tout à fait saisi le « langage » des protéines conçues par ordinateur. Ils sont fluents dans l'ancien dialecte, mais trébuchent sur l'argot moderne.
Pourquoi la dernière couche n'est pas toujours reine
L'article explique que cela se produit en raison de la manière dont ces modèles sont entraînés. Ils sont d'abord entraînés pour deviner les mots manquants dans une phrase (une tâche axée sur les détails locaux et restreints). Lorsque vous leur demandez une tâche de vision globale (comme prédire la stabilité d'une protéine entière), la toute dernière couche est encore occupée par cette tâche de devinette de petits mots, ce qui entrave la performance. Cependant, si vous « affinez » (fine-tune) le modèle spécifiquement pour une tâche de vision globale, alors les couches commencent à mieux fonctionner dans l'ordre, et la dernière couche redevient la plus utile. Mais dans l'état standard de pré-entraînement, les couches intermédiaires détiennent souvent l'or.
Ce qu'il faut retenir
Cette étude suggère que les scientifiques ne devraient pas simplement saisir aveuglément la dernière couche d'un modèle d'IA de protéine pour leur travail. Au lieu de cela, ils devraient regarder plus profondément dans le « cerveau » du modèle pour trouver la couche spécifique qui correspond à leur tâche. S'ils s'intéressent à de petites mutations, ils doivent regarder les couches précoces. S'ils s'intéressent à un mélange diversifié de protéines, ils doivent regarder plus profondément. Et s'ils travaillent avec des protéines conçues par ordinateur, ils doivent être particulièrement prudents, car les modèles pourraient ne pas les comprendre aussi bien qu'ils comprennent les créations de la nature.
En résumé, cet article révèle que ces modèles d'IA sont des penseurs complexes et stratifiés, et que la partie la plus « intelligente » de leur cerveau change selon la question que vous posez. La dernière page du livre n'est pas toujours la plus importante ; parfois, la meilleure réponse se trouve juste au milieu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.