Pseudoperplexity Probes Memorization in Protein Language Models

Imaginez les Modèles de Langage Protéiques (pLMs) comme ProtT5 comme des étudiants super intelligents qui auraient lu presque tous les manuels de biologie existants. Ces modèles sont incroyables pour prédire ce qui vient après dans une séquence de protéines, tout comme un modèle de langage prédit le mot suivant dans une phrase.

Mais il y a une grande inquiétude : ces étudiants ont-ils réellement appris les règles de la grammaire (la façon dont les protéines sont construites), ou ont-ils simplement mémorisé les phrases spécifiques qu'ils ont lues dans leurs manuels ? S'ils se sont contentés de mémoriser les livres, ils pourraient échouer lorsqu'on leur demande d'écrire sur un sujet qu'ils n'ont jamais vu auparavant.

L'Expérience : Le Test du « Faux » vs le « Vrai »

Pour découvrir si ProtT5 se contentait de réciter ses devoirs ou s'il comprenait vraiment la matière, les chercheurs ont mis en place un test utilisant un concept appelé pseudoperplexité. Considérez cela comme un « compteur de surprise ».

• Si le modèle est surpris par une séquence, cela signifie qu'il ne l'a pas vue auparavant (faible mémorisation).
• S'il n'est pas du tout surpris, cela peut signifier qu'il a déjà vu cette séquence exacte auparavant (haute mémorisation).

La Configuration
Les chercheurs ont donné à ProtT5 deux types de séquences protéiques :

1. La Liste « Vue » : Des séquences qui faisaient partie des données d'entraînement originales du modèle (comme les anciens devoirs d'un étudiant).
2. La Liste « Non Vue » : Des séquences brandes nouvelles, véritablement inédites, que le modèle n'avait jamais rencontrées (comme une question d'examen totalement nouvelle).

Pour s'assurer que le test était équitable, ils ont parfaitement apparié ces listes. Ils se sont assurés que les protéines de la liste « vue » et de la liste « non vue » avaient la même longueur, provenaient de familles d'organismes similaires et avaient des niveaux de complexité comparables. C'était comme s'assurer que l'étudiant était testé sur deux essais de même longueur et de même difficulté, mais écrits par des personnes différentes.

La Vérification de Base
Avant de faire confiance aux résultats, les chercheurs ont vérifié si la liste « Non Vue » était réellement nouvelle. Ils ont utilisé des outils statistiques classiques (modèles n-grammes) pour analyser les motifs. Ils ont confirmé que les séquences « Non Vues » étaient effectivement assez différentes des données d'entraînement pour être considérées comme nouvelles, et non pas simplement des versions légèrement modifiées de versions anciennes.

Les Résultats
Lorsqu'ils ont fait tourner le « compteur de surprise » (pseudoperplexité) sur ProtT5 :

• Le modèle a réagi différemment aux séquences « Vues » par rapport aux séquences « Non Vues ». Il était moins surpris par celles qu'il avait étudiées auparavant.
• Cela a prouvé que ProtT5 possède une certaine mémoire de ses données d'entraînement.

La Conclusion
Cependant, la différence n'était pas énorme. Ce n'était pas comme si le modèle récitait le manuel mot pour mot. Au lieu de cela, le « signal de mémorisation » était modeste.

En termes simples : ProtT5 n'est pas un simple perroquet répétant ses données d'entraînement, mais il n'est pas non plus un génie parfait qui n'aurait jamais vu une phrase spécifique auparavant. Il possède une mémoire détectable mais limitée de ce qu'il a étudié, tout en s'appuyant principalement sur les règles générales de la grammaire des protéines pour traiter les nouvelles informations.