Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes

Résumé technique : Les attributions au niveau des résidus dans les modèles de langage protéiques ne récupèrent pas les épitopes allergènes

Énoncé du problème
Les modèles d'apprentissage profond, en particulier les modèles de langage protéiques (PLM), ont considérablement amélioré la précision de la prédiction de l'allergénicité au niveau de la protéine, facilitant ainsi le criblage de sécurité des nouveaux aliments. Cependant, une lacune critique subsiste : comprendre si les explications générées par ces modèles (attributions au niveau des résidus) capturent des informations biologiquement significatives. Plus précisément, il n'est pas clair si les scores d'attribution élevés correspondent aux sites de reconnaissance immunitaire expérimentalement validés (épitopes). Bien que les modèles produisent souvent des cartes thermiques qui semblent qualitativement s'aligner sur des motifs connus, leur alignement quantitatif avec les épitopes de référence est inconnu. L'article distingue la fidélité au modèle (si une explication met en évidence les résidus qui influencent causalement la sortie du modèle) de la fidélité immunologique (si ces résidus s'alignent avec les sites de reconnaissance immunitaire observés expérimentalement).

Méthodologie
Les auteurs ont construit un benchmark fondé sur les épitopes pour évaluer quantitativement les signaux d'attribution au niveau des résidus des classificateurs d'allergénicité.

• Curation des données : Un ensemble de données a été constitué à partir de l'Immune Epitope Database (IEDD), se concentrant sur les épitopes du CMH de classe II associés à l'allergie et validés expérimentalement (tant pour les cellules B que pour les cellules T). Les séquences positives ont été cartographiées sur les protéines parentes de pleine longueur issues d'UniProt et de NCBI. Les séquences négatives ont été tirées d'entrées UniProtKB/Swiss-Prot révisées, en excluant les protéines virales/humaines et les allergènes. L'ensemble de données a été divisé en ensembles d'entraînement et d'évaluation en utilisant un regroupement sensible à l'homologie pour éviter la fuite de données.
• Modèles évalués : Trois classificateurs ont été testés :
  1. ESM-2 gelé : Un PLM standard avec une structure (backbone) gelée et une tête de classification entraînée.
  2. MTL ESM-2 : Une variante d'apprentissage multi-tâche partageant la structure gelée d'ESM-2, mais ajoutant une tête de prédiction d'épitope auxiliaire au niveau des résidus pour tester si une supervision explicite des épitopes améliore l'alignement.
  3. DeepPlantAllergy : Une architecture publiée, réentraînée sur le jeu de données curé pour une comparaison contrôlée.
• Méthodes d'attribution : L'étude a évalué les gradients intégrés (IG), l'occlusion, les poids d'attention, le produit Gradient×Input, ainsi que la tête de résidu auxiliaire MTL.
• Métriques d'évaluation : La performance au niveau des résidus a été évaluée à l'aide de l'AUROC, de l'AUPRC et de la Précision@k, en comparant les scores d'attribution à des masques binaires d'épitopes annotés. Des bases aléatoires ont été générées pour établir la signification statistique.
• Validation fonctionnelle :
  • Masquage : Pour tester la fidélité du modèle, les résidus classés par IG ont été masqués pour mesurer la diminution de l'allergénicité prédite.
  • Mutagenèse par saturation : Des substitutions systématiques de résidus uniques ont été effectuées pour déterminer si la sensibilité du modèle était pilotée par des identités d'épitopes spécifiques ou par des propriétés physico-chimiques plus larges.

Résultats clés

1. Classification forte, attribution faible : Les trois modèles ont obtenu des performances de classification au niveau de la protéine très élevées (AUROC > 0,96). Cependant, aucun des signaux d'attribution au niveau des résidus (IG, occlusion, etc.) n'a significativement dépassé les bases aléatoires pour l'alignement avec les épitopes annotés en termes d'AUROC, d'AUPRC ou de Précision@k. Plusieurs signaux ont été nettement moins performants que le hasard.
2. Échec de l'apprentissage multi-tâche : Le modèle MTL ESM-2, qui incluait une tête auxiliaire entraînée directement sur les masques d'épitopes, n'a pas réussi à améliorer l'alignement des attributions de la tête de classification primaire avec les épitopes. Cela suggère que la classification de l'allergénicité au niveau de la protéine peut être réalisée sans dépendre de caractéristiques localisées des épitopes.
3. Dissociation de la fidélité :
   • Fidélité au modèle : Il a été constaté que les gradients intégrés (IG) sont fidèles au modèle. Le masquage des résidus identifiés par IG a significativement réduit l'allergénicité prédite du modèle par rapport à un masquage aléatoire, confirmant que l'IG identifie les résidus causalement importants pour la décision du modèle.
   • Désalignement immunologique : Malgré cette fidélité au modèle, ces résidus ne se superposaient pas aux épitopes annotés.
4. Spécificité physico-chimique vs Épitope : La mutagenèse par saturation a révélé que les modèles étaient sensibles aux caractéristiques physico-chimiques et compositionnelles globales (ex: charge, hydrophobicité, aromaticité) plutôt qu'aux séquences d'épitopes spécifiques. Les effets de la mutagenèse étaient souvent plus importants en dehors des régions d'épitopes annotées qu'à l'intérieur de celles-ci.

Contributions

1. Benchmark fondé sur les épitopes : Les auteurs fournissent un benchmark quantitatif utilisant l'AUROC, l'AUPRC et la Précision@k pour évaluer la fidélité immunologique des explications des modèles d'allergénicité.
2. Preuve de désalignement : L'étude démontre que les classificateurs d'allergénicité performants échouent systématiquement à produire des signaux d'attribution au niveau des résidus qui s'alignent avec les épitopes expérimentaux mieux que le hasard.
3. Dissociation des critères de fidélité : Ce travail établit une distinction claire entre la fidélité au modèle (l'IG identifie les résidus causaux) et la fidélité immunologique (ces résidus ne sont pas des épitopes), suggérant que les modèles s'appuient sur des caractéristiques physico-chimiques globales plutôt que sur des mécanismes spécifiques aux épitopes.

Signification et affirmations
L'article conclut que les signaux d'importance au niveau des résidus provenant des modèles de langage protéiques actuels ne devraient pas être interprétés comme des explications immunologiques pour le criblage de sécurité ou la conception d'hypoallergènes sans validation quantitative. Les conclusions impliquent que :

• Modifier les résidus mis en évidence par les méthodes d'attribution peut ne pas réduire l'allergénicité si ces signaux ne sont pas alignés avec les épitopes.
• Les visualisations d'attribution peuvent servir à l'audit des modèles mais ne constituent pas une preuve de compréhension au niveau de l'épitope.
• Les travaux futurs devraient se concentrer sur des prédicteurs biologiquement contraints qui incorporent des priors structurels et immunologiques, et la communauté nécessite des benchmarks standardisés, fondés sur les épitopes, pour évaluer si les explications des modèles capturent des mécanismes biologiquement significatifs.

Les auteurs reconnaissent des limites, notamment l'incomplétude et le biais des annotations de l'IEDD, la restriction aux masques de résidus linéaires du CMH-II, et l'utilisation de perturbations in silico comme substituts de la reconnaissance immunitaire expérimentale.