Résumé technique : Les apprenants tabulaires en contexte peuvent-ils généraliser à la prédiction de propriétés biomoléculaires ?

Énoncé du problème

La prédiction des propriétés biomoléculaires à partir de données étiquetées limitées est un goulot d'étranglement critique dans l'ingénierie des protéines et la conception de petites molécules. Alors que les grands modèles de fondation biologique (par exemple, les modèles de langage protéiques) ont réussi à générer des représentations de séquences riches de longueur fixe, le défi s'est déplacé vers la conception de prédicteurs économes en données capables d'exploiter ces plongements (embeddings) dans des régimes de few-shot (souvent avec seulement $O(10)$ exemples étiquetés).

L'article examine si les Modèles de Fondation Tabulaires — spécifiquement TabPFN3 et TabICL — peuvent servir de prédicteurs efficaces pour les tâches biomoléculaires. Ces modèles sont des apprenants en contexte (in-context learners) pré-entraînés sur des tables synthétiques dérivées de graphes causaux aléatoires. L'hypothèse centrale est contre-intuitive : malgré l'absence de connaissance préalable intrinsèque des séquences protéiques ou des graphes moléculaires, ces modèles tabulaires pourraient généraliser efficacement s'ils sont couplés à des représentations de caractéristiques spécifiques au domaine appropriées.

Méthodologie

Les auteurs évaluent l'apprentissage en contexte (ICL) tabulaire à travers deux domaines distincts : la régression de la fitness protéique et la classification de propriétés de petites molécules. Le design expérimental traite le système comme une paire prédicteur-représentation, maintenant les pipelines de caractéristiques fixes pour isoler la performance du prédicteur.

1. Régression de la fitness protéique

• Représentation : Les séquences sont encodées à l'aide d'ESMC (un modèle de langage protéique de 300 millions de paramètres), produisant des plongements de longueur fixe de 960 dimensions.
• Prédicteurs : TabICL et TabPFN3 sont comparés à des bases de référence supervisées (Régression Ridge, RBF Sampler, HistGradientBoostingRegressor, et ESMC affiné avec une tête MLP).
• Jeux de données :
  • ProteinGym : 217 essais de Deep Mutational Scanning (DMS). Les évaluations incluent des découpages aléatoires à 5 plis (5-fold) et des schémas de réserve officiels plus difficiles (« modulo » et « contigu »).
  • PpEST : Un jeu de données diversifié de la famille des estérases mesurant les taux catalytiques et la thermostabilité.
• Métriques : Erreur quadratique moyenne (MSE) et corrélation de rang de Spearman. La performance en few-shot est évaluée sur des tailles de support de 8, 16, 32 et 64.

2. Classification de propriétés de petites molécules

• Représentations : Descripteurs moléculaires fixes incluant les ECFP (empreintes de Morgan), les descripteurs physico-chimiques RDKit, et leur concaténation.
• Prédicteurs : TabICL, TabPFN3 et XGBoost (tous utilisant des descripteurs fixes) sont comparés à des bases de référence basées sur les graphes : ChemProp (entraîné de zéro) et ChemProp+CheMeleon (initialisé par un modèle de fondation).
• Jeaux de données :
  • TDC ADMET : 13 points de terminaison concernant l'absorption, la distribution, le métabolisme, l'excrétion et la toxicité.
  • MoleculeNet : 806 points de terminaison enregistrés (excluant PCBA pour TabPFN3 en raison de contraintes de ressources).
  • FS-Mol : 157 tâches de propriétés moléculaires en few-shot.
  • DrugOOD : 3 tâches spécifiquement conçues pour tester la généralisation hors distribution (OOD) à travers des changements d'essai, de squelette (scaffold) et de taille moléculaire.
• Métriques : ROC-AUC. Pour les tâches OOD, l'écart entre la performance en distribution (ID) et hors distribution (OOD) est analysé.

Résultats clés

Prédiction de protéines

• Performance : TabPFN3 et TabICL sont systématiquement compétitifs, surpassant souvent les bases de référence classiques et l'ESMC affiné.
  • Sur ProteinGym (5-fold aléatoire), TabPFN3 a obtenu la corrélation de rang de Spearman moyenne la plus élevée (0,767) et la MSE la plus faible (0,351), suivi de près par TabICL (0,753).
  • Sur PpEST, les deux modèles tabulaires ont fourni les meilleurs résultats globaux, TabICL montrant la MSE la plus faible sur trois des cinq points de terminaison et TabPFN3 sur les deux autres.
• Capacité Few-Shot : Les deux modèles ont démontré une forte préservation du rang et une réduction de l'erreur à mesure que les tailles de l'ensemble de support augmentaient de 8 à 64, exploitant efficacement la structure locale dans l'espace d'embedding d'ESMC sans mise à jour de gradient.
• Généralisation : La performance a chuté de manière significative sur les schémas de réserve plus difficiles (modulo et contigu) par rapport aux découpages aléatoires, indiquant que le choix du découpage affecte matériellement les estimations de généralisation.

Prédiction de petites molécules

• Pas de dominance unique : Contrairement au domaine des protéines, aucun couple apprenant-représentation n'a dominé l'ensemble des benchmarks moléculaires.
  • TDC ADMET : TabPFN3 avec les descripteurs RDKit était le plus performant.
  • FS-Mol : TabPFN3 avec ECFP+RDKit était le plus performant.
  • MoleculeNet : TabPFN3 avec RDKit a mené (sur le sous-ensemble disponible).
  • DrugOOD (OOD) : ChemProp+CheMeleon (un modèle de fondation basé sur les graphes) a surpassé tous les couples tabulaires sur l'AUC-ROC OOD.
• Sensibilité à la représentation : Le choix du descripteur moléculaire (ECFP vs RDKit) était souvent aussi critique que le choix du prédicteur. TabPFN3 et TabICL ne dominaient pas uniformément l'un l'autre ; leur performance relative basculait selon le benchmark et la représentation.
• Généralisation OOD : Les modèles tabulaires ont montré des écarts ID/OOD positifs sur DrugOOD, indiquant que la performance en distribution ne garantit pas la robustesse face aux changements de squelettes ou d'essais.

Contributions clés

1. Benchmark empirique : L'article fournit le premier audit systématique des modèles de fondation tabulaires (TabPFN3, TabICL) sur des tâches de prédiction biomoléculaire, couvrant à la fois la régression de protéines et la classification de petites molécules.
2. Appariement Apprenant-Représentation : Il établit que ces modèles doivent être évalués non pas comme des architectures autonomes, mais comme faisant partie d'un appariement spécifique avec des représentations de domaine (ex: ESMC pour les protéines, RDKit/ECFP pour les molécules).
3. Validation Few-Shot : L'étude démontre que les apprenurs en contexte tabulaires peuvent exploiter efficacement les plongements biologiques pré-entraînés dans des régimes de faibles données, offrant une alternative pratique au fine-tuning spécifique à une tâche.
4. Protocoles d'évaluation rigoureux : Les auteurs séparent les conclusions de few-shot de celles de l'entraînement complet, testent explicitement la généralisation OOD et analysent la sensibilité de l'ensemble de support pour éviter des affirmations trop optimistes.

Signification et affirmations

L'article conclut que les modèles de fondation tabulaires sont des performeurs viables et solides pour la prédiction de propriétés biomoléculaires, mais que leur succès est dépendant de la qualité de la représentation d'entrée.

• Pour les protéines : Lorsqu'ils sont couplés à des plongements de haute qualité comme ESMC, les modèles d'ICL tabulaires sont très compétitifs, surpassant souvent les bases de référence supervisées traditionnelles et les modèles affinés dans des contextes de few-shot.
• Pour les petites molécules : Les résultats sont plus nuancés. Bien que les modèles tabulaires soient compétitifs, ils ne dominent pas universellement les modèles de fondation basés sur les graphes, particulièrement dans les scénarios hors distribution (OOD). Le choix du descripteur moléculaire est un déterminant primaire du succès.

Les auteurs soulignent que ces modèles ne sont pas des "boîtes noires sans représentation". Leur utilité réside dans leur capacité à agir comme des prédicteurs efficaces en situation de rareté de données, lorsque les caractéristiques d'entrée encodent déjà les contraintes structurelles et fonctionnelles nécessaires des biomolécules. L'article préconise une interprétation prudente des résultats, notant que la performance sur des découpages aléatoires ne garantit pas la robustesse sur des tests de réserve plus difficiles et structurellement distincts.