🤖 machine learning

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

Cet article démontre que les signaux de contact protéique, précédemment extraits via le Jacobien Catégoriel coûteux en calcul nécessitant environ 19 passes avant, sont déjà concentrés dans un petit sous-ensemble de têtes d'attention qui peuvent être identifiées avec un minimum de données étiquetées pour atteindre une performance supérieure ou comparable en une seule passe avant sur des benchmarks exempts de fuite de données.

Auteurs originaux : Rome Thorstenson

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rome Thorstenson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Trouver un raccourci dans le « cerveau » des protéines

Imaginez un modèle de langage protéique (PLM) comme un étudiant super intelligent qui a lu des millions de séquences de protéines. Grâce à cela, l'étudiant a appris comment les protéines se replient en formes 3D, même s'il n'a jamais été explicitement instruit en géométrie.

Les scientifiques ont essayé de « lire dans l'esprit » de cet étudiant pour voir quelles parties de la protéine s'attachent entre elles (les contacts) pour former cette forme 3D.

L'ancienne méthode (le « Jacobien catégoriel ») :
Auparavant, la meilleure méthode était celle d'un détective très minutieux mais épuisant. Pour déterminer si deux parties d'une protéine sont amies, le détective procédait ainsi :

Il prend la protéine.
Il change la première lettre de la séquence pour chaque autre lettre possible (19 fois).
Il observe comment la réponse de l'étudiant change.
Il répète l'opération pour chaque lettre de la protéine.

Si une protéine possède 300 lettres, ce détective doit faire passer l'étudiant au test 5 700 fois (300 lettres × 19 changements) juste pour obtenir une seule réponse. C'est précis, mais incroyablement lent et coûteux en calculs.

La nouvelle méthode (la « Fusion d'attention ») :
Ce papier soutient que l'étudiant a déjà écrit la réponse dans ses notes pendant qu'il lisait la protéine la première fois. Ces notes sont appelées « cartes d'attention ».

Les auteurs ont découvert que si vous regardez les notes de l'étudiant, l'information sur les parties de la protéine qui s'attachent est déjà là, concentrée dans seulement quelques « têtes » spécifiques (considérez cela comme des cahiers ou des pages spécifiques dans le cerveau de l'étudiant).

Au lieu de passer le test 5 700 fois, la nouvelle méthode se contente de :

Faire passer la protéine à l'étudiant une seule fois.
Regarder les pages spécifiques (têtes d'attention) où l'étudiant a écrit les notes sur le « collage ».
Faire la moyenne de ces pages pour obtenir la réponse.

Le résultat : La nouvelle méthode est tout aussi précise (et souvent meilleure) que l'ancienne méthode du détective, mais elle ne nécessite qu'un seul passage au lieu de milliers. C'est comme trouver une fiche de révision à la fin du manuel plutôt que de redériver toute la formule à partir de zéro.

Explication des découvertes clés

1. Le problème de la « fuite » (Le test de triche)

Les auteurs ont remarqué que les études précédentes pourraient avoir « triché ». Les protéines utilisées pour évaluer ces modèles étaient parfois similaires aux protéines que l'étudiant avait déjà mémorisées pendant son entraînement. C'est comme donner à un étudiant un examen final qui utilise des questions qu'il a déjà vues dans ses devoirs.

Pour corriger cela, les auteurs ont créé un test « sans fuite ». Ils ont utilisé uniquement des protéines découvertes après que l'étudiant a fini d'étudier.

Qu'est-il arrivé ? Lorsque les auteurs ont supprimé l'avantage de la « triche », l'ancienne méthode du détective (Jacobien catégoriel) s'est beaucoup dégradée. La nouvelle méthode de la « fiche de révision » (Fusion d'attention) est restée solide.
La conclusion : L'ancienne méthode reposait en partie sur la mémoire de l'étudiant concernant les questions spécifiques du test. La nouvelle méthode comprend réellement la structure.

2. Les cahiers « diffus » vs « concentrés »

Les auteurs ont découvert que différents modèles écrivent leurs notes différemment :

Modèles concentrés : Certains modèles écrivent la réponse dans un seul cahier spécifique. Si vous regardez ce cahier, vous obtenez la réponse.
Modèles diffus : D'autres modèles répartissent la réponse dans de nombreux cahiers. Aucun cahier n'a l'image complète, mais si vous faites la moyenne de tous, la réponse apparaît.

Le papier montre que vous pouvez déterminer quel type de modèle vous possédez en observant quelques exemples, et vous saurez alors s'il faut regarder un seul cahier ou en faire la moyenne de dix.

3. L'impasse « Causale »

Les auteurs ont testé un autre type de modèle (un modèle « causal ») qui lit les protéines comme une phrase, de gauche à droite, sans regarder en arrière.

Le résultat : L'ancienne méthode du détective comme la nouvelle méthode de la fiche de révision ont toutes deux complètement échoué sur ces modèles.
La conclusion : Cela suggère que pour comprendre comment les protéines s'assemblent en 3D, le modèle doit être capable de regarder la protéine entière en même temps (bidirectionnel), et non pas seulement de la lire mot par mot.

4. Vitesse et Coût

La différence de vitesse est massive.

Ancienne méthode : Si vous voulez analyser 1 000 protéines, l'ancienne méthode pourrait vous coûter des centaines de dollars en temps de calcul car elle doit lancer la simulation des milliers de fois par protéine.
Nouvelle méthode : Elle ne coûte qu'une fraction de cela car elle ne s'exécute qu'une seule fois par protéine. C'est comme la différence entre compter manuellement chaque grain de sable sur une plage et prendre une photo satellite pour estimer le total grâce à un algorithme simple.

Résumé

Le papier affirme que les modèles de protéines savent déjà comment les protéines se replient ; ils cachent simplement cette connaissance dans leurs mécanismes d'« attention » internes. En apprenant à lire directement ces notes spécifiques, nous pouvons prédire les structures des protéines beaucoup plus rapidement et plus précisément qu'auparavant, sans avoir besoin de lancer des milliers de simulations coûteuses. Cela fonctionne mieux sur les modèles capables de regarder la protéine entière en même temps (bidirectionnels), et cela reste efficace même lorsque nous testons les modèles sur des données totalement nouvelles qu'ils n'ont jamais vues.

Résumé technique : Les contacts protéiques sont déjà présents dans l'attention

Énoncé du problème

Les modèles de langage protéiques (PLM) entraînés sur de vastes corpus de séquences non étiquetées apprennent des représentations riches de la structure des protéines. Une question centrale est de savoir si cette connaissance structurelle peut être extraite sans entraînement supervisé sur des étiquettes de structure. Zhang et al. [2024] ont proposé le Jacobien Catégoriel Standard (CJ) comme solution : en perturbant chaque résidu avec chaque acide aminé alternatif et en mesurant la réponse dans les logits du modèle de type modèle de langage masqué (MLM), on peut reconstruire une carte de contacts. Bien que le CJ atteigne une précision élevée (P@L ≈ 0,80 sur certains benchmarks), il est extrêmement coûteux en termes de calcul, nécessitant environ $19L$ passes avant pour une protéine de longueur $L$ . De plus, le CJ est structurellement lié aux architectures dotées d'une tête catégorielle par position (MLM bidirectionnels), ce qui limite son applicabilité aux modèles encodeur-décodeur ou causaux.

Des évaluations récentes ont également soulevé des préoccupations concernant la fuite de données (data leakage), où les corpus de pré-entraînement peuvent chevaucher les ensembles d'évaluation, gonflant ainsi les mesures de performance. Il existe un besoin pour une méthode qui soit efficace sur le plan computationnel, applicable à diverses architectures et robuste à la fuite de pré-entraînement.

Méthodologie

Les auteurs proposent que le signal de contact reconstruit par le Jacobien Catégoriel est déjà explicitement présent dans les cartes d'attention du modèle, concentré dans un sous-ensemble identifiable et restreint de têtes d'attention.

1. Fusion Top-K de l'Attention

Au lieu de perturber les entrées, la méthode proposée extrait directement les signaux de contact à partir des mécanismes d'attention du PLM :

Extraction : Pour chaque tête d'attention, la carte d'attention est symétrisée, la diagonale est mise à zéro, et une correction par la méthode de l'Average Product Correction (APC) est appliquée.
Sélection : Les têtes sont classées selon leur capacité à prédire les contacts (mesurée par la précision à longue portée top-L sur un petit ensemble de sélection étiqueté disjoint, d'aussi peu que 10 protéines).
Fusion : Les $K$ meilleures têtes sélectionnées sont combinées via une simple moyenne arithmétique non pondérée. Cela ne nécessite qu'une seule passe avant par protéine lors de l'inférence.
Efficacité des étiquettes : La sélection des $K$ meilleures têtes est la seule étape supervisée, nécessitant un budget minimal de protéines étiquetées (10 pour la sélection, 50 pour un contrôle de budget équivalent contre la régression supervisée).

2. Repr-CJ (Jacobien de Représentation)

Pour comparer avec le CJ sur des architectures dépourvues de tête MLM (par exemple, les modèles encodeur-décodeur ou causaux), les auteurs introduisent le Repr-CJ. Ce dernier généralise la construction du Jacobien en remplaçant la réponse des logits par la réponse de l'état caché :
$J_{repr}[i, a', j] = \| h_{i \to a'}[\ell, j] - h_{unpert}[\ell, j] \|_2$
où $h$ représente l'état caché à la position $j$ et à la couche $\ell$ lorsque le résidu $i$ est perturbé en l'acide aminé $a'$ . Cela maintient le même coût de calcul ( $19L + 1$ passes avant) que le logit-CJ, tout en s'appliquant à n'importe quelle architecture exposant les états cachés.

3. Protocole d'Évaluation

L'étude utilise une stratégie d'évaluation "leakage-clean" (exempte de fuite) pour garantir que les résultats ne sont pas des artefacts du chevauchement de pré-entraînement :

CAMEO-PTA25 : Un ensemble d'évaluation primaire composé de chaînes protéiques déposées après la date de coupure du pré-entraînement des modèles (post-2022-09), filtrées contre l'UniRef50 actuel à 50 % d'identité.
Sélection Disjointe : La sélection des têtes et l'évaluation sont effectuées sur des sous-ensembles de données disjoints pour éviter toute fuite d'information.
Lignes de base (Baselines) : La méthode est comparée au Jacobien Catégoriel Standard (logit-CJ), à la meilleure tête d'attention individuelle, et à des lignes de base de régression logistique L1 supervisée.

Principales Contributions

Efficacité et Performance : La méthode de fusion de l'attention Top-K récupère les signaux de contact en une seule passe avant, surpassant le Jacobien Catégoriel sur les données "leakage-clean" pour chaque modèle bidirectionnel testé (famille ESM-2, ESM-1b, ProtT5-XL).
Validation "Leakage-Clean" : Sur un split CAMEO "leakage-clean", la méthode de fusion surpasse significativement le CJ (par exemple, +9 points de pourcentage sur ESM-2-650M). Crucialement, sur ces données propres, le Jacobien Catégoriel ne surpasse plus la meilleure tête d'attention individuelle, suggérant que sa supériorité précédente en distribution était en partie due à la mémorisation.
Généralisation Architecturale : Les auteurs démontrent que le signal de contact existe dans les modèles encodeur-décodeur (ProtT5-XL) via la fusion de l'attention et introduisent le Repr-CJ pour étendre l'analyse par Jacobien à ces architectures.
Aperçu Mécaniste (Diffusité) : Le nombre optimal de têtes ( $K$ $K$ ) à fusionner dépend de la "diffusité" du signal de contact au sein du modèle.
- Clusters Concentrés : Certains modèles (ex: ESM-2-8M, AMPLIFY-350M) concentrent le signal dans une seule tête dominante ; moyenner davantage de têtes dilue le signal.
- Clusters Diffus : Les modèles plus larges (ex: ESM-2-650M, ProtT5-XL) dispersent le signal sur de nombreuses têtes ; le moyenage est nécessaire pour récupérer le consensus.
Limitation des Modèles Causaux : Les méthodes de fusion et de CJ s'effondrent sur les modèles de langage causaux (ProGen2-large et -xlarge), suggérant que le pré-entraînement bidirectionnel est nécessaire pour que les mécanismes d'attention encodent des structures de paires symétriques.

Résultats

Écart de Performance : Sur les données "leakage-clean", la fusion bat le CJ d'environ 9 points de pourcentage sur ESM-2-650M. Les deux méthodes chutent de 30 à 36 points de pourcentage en précision absolue lorsqu'on passe de l'évaluation en distribution (Zhang eval-200) au benchmark "leakage-clean" (CAMEO-PTA25), indiquant que les résultats antérieurs de prédiction de contact non supervisée étaient significativement gonflés par le chevauchement de pré-entraînement.
Supervisé vs Non-supervisé : À un budget d'étiquettes égal (50 protéines), une moyenne non pondérée des meilleures $K$ têtes est statistiquement indiscernable d'un ajustement de régression logistique L1 supervisée sur ces mêmes têtes. Cela implique que la sélection des têtes est le principal moteur de la performance, et non la forme paramétrique de la lecture (readout).
Économie de Calcul : La fusion nécessite une seule passe avant par protéine, tandis que le CJ en nécessite $\sim 19L$ . Le point de rupture en termes de coût de calcul est inférieur à 20 protéines de test, rendant la fusion nettement plus efficace pour les applications à grande échelle.
Validation du Repr-CJ : Le Repr-CJ est étroitement corrélé au logit-CJ (Pearson $r > 0,90$ ) sur les architectures où les deux sont définis, validant sa fonction de généralisation fidèle pour les modèles non-MLM.

Signification et Revendications

L'article affirme que le Jacobien Catégoriel n'extrait pas de nouvelles informations de contact mais reconstruit l'information de paire structurelle que le modèle représente déjà dans ses schémas d'attention. La principale conclusion est que ce signal est accessible via un moyenage simple et sans paramètres d'un petit sous-ensemble de têtes d'attention, offrant une alternative bien plus performante sur le plan computationnel aux méthodes basées sur la perturbation.

Les auteurs soulignent que l'évaluation "leakage-clean" révèle un écart substantiel entre la performance en distribution et la véritable capacité de généralisation, suggérant que les futurs benchmarks pour la prédiction de contact non supervisée doivent adopter par défaut des partitions tenant compte du pré-entraînement. Ce travail met également en évidence que l'allocation de l'information structurelle entre les têtes d'attention est une propriété apprise du processus de pré-entraînement plutôt qu'une fatalité architecturale, variant même au sein d'une même famille de modèles (ex: l'échelle d'ESM-2).

Enfin, l'effondrement des deux méthodes sur les modèles de langage causaux est présenté comme une preuve que le pré-entraînement bidirectionnel est un facteur critique pour apprendre des structures de paires symétriques dans l'attention, bien que les auteurs notent qu'il s'agit d'un constat associatif étant donné le champ limité des modèles causaux testés.