Sintesi Tecnica: Possono i Modelli Tabulari In-Context Generalizzare alla Predizione di Proprietà Biomolecolari?

Definizione del Problema

Predire le proprietà biomolecolari da dati etichettati limitati è un collo di bottiglia critico nell'ingegneria proteica e nel design di piccole molecole. Mentre i grandi modelli di fondazione biologica (ad esempio, i modelli linguistici proteici) hanno con successo generato rappresentazioni di sequenza ricche e a lunghezza fissa, la sfida si è spostata sulla progettazione di predittori efficienti dal punto di vista dei dati, capaci di sfruttare questi embedding in regimi few-shot (spesso con solo $O(10)$ esempi etichettati).

Il paper investiga se i Modelli di Fondazione Tabulari—specificamente TabPFN3 e TabICL—possono fungere da predittori efficaci per compiti biomolecolari. Questi modelli sono in-context learners pre-addestrati su tabelle sintetiche derivate da grafi causali casuali. L'ipotesi centrale è controintuitiva: nonostante non abbiano una conoscenza intrinseca delle sequenze proteiche o dei grafi molecolari, questi modelli tabulari potrebbero generalizzare efficacemente se accoppiati con appropriate rappresentazioni di feature specifiche del dominio.

Metodologia

Gli autori valutano l'apprendimento in-context (ICL) tabulare attraverso due domini distinti: regressione della fitness proteica e classificazione delle proprietà di piccole molecole. Il design sperimentale tratta il sistema come una coppia predittore–rappresentazione, mantenendo fisse le pipeline delle feature per isolare le prestazioni del predittore.

1. Regressione della Fitness Proteica

• Rappresentazione: Le sequenze sono codificate utilizzando ESMC (un modello linguistico proteico da 300 milioni di parametri), che produce embedding a lunghezza fissa di 960 dimensioni.
• Predittori: TabICL e TabPFN3 vengono confrontati con baseline supervisionate (Ridge Regression, RBF Sampler, HistGradientBoostingRegressor e ESMC con testa MLP finetunata).
• Dataset:
  • ProteinGym: 217 saggi di Deep Mutational Scanning (DMS). Le valutazioni includono split casuali a 5 pieghe e schemi di holdout ufficiali più "difficili" (modulo e contiguo).
  • PpEST: Un dataset diversificato di una famiglia di esterasi con misurazioni di velocità catalitica e termostabilità.
• Metriche: Errore Quadratico Medio (MSE) e correlazione di rango di Spearman. La performance few-shot è valutata su dimensioni di supporto di 8, 16, 32 e 64.

2. Classificazione delle Proprietà di Piccole Molecole

• Rappresentazioni: Descrittori molecolari fissi inclusi ECFP (fingerprint di Morgan), descrittori fisico-chimici RDKit e la loro concatenazione.
• Predittori: TabICL, TabPFN3 e XGBoost (tutti con descrittori fissi) sono confrontati con baseline basate su grafi: ChemProp (addestrato da zero) e ChemProp+CheMeleon (inizializzato con un modello di fondazione).
• Dataset:
  • TDC ADMET: 13 endpoint per assorbimento, distribuzione, metabolismo, escrezione e tossicità.
  • MoleculeNet: 806 endpoint registrati (escludendo PCBA per TabPFN3 a causa di vincoli di risorse).
  • FS-Mol: 157 compiti di proprietà molecolare few-shot.
  • DrugOOD: 3 compiti progettati specificamente per testare la generalizzazione Out-of-Distribution (OOD) attraverso shift di saggio, scaffold e dimensione molecolare.
• Metriche: ROC-AUC. Per i compiti OOD, viene analizzato il divario tra la performance In-Distribution (ID) e quella OOD.

Risultati Chiave

Predizione Proteica

• Performance: TabPFN3 e TabICL sono costantemente competitivi, spesso superando le baseline classiche e l'ESMC finetunata.
  • Su ProteinGym (random 5-fold), TabPFN3 ha ottenuto la più alta correlazione media di Spearman (0.767) e il MSE più basso (0.351), seguito da vicino da TabICL (0.753).
  • Su PpEST, entrambi i modelli tabulari hanno fornito i risultati complessivi più forti, con TabICL che mostrava il MSE più basso su tre endpoint su cinque e TabPFN3 sugli altri due.
• Capacità Few-Shot: Entrambi i modelli hanno dimostrato una forte preservazione del rango e una riduzione dell'errore all'aumentare delle dimensioni del set di supporto da 8 a 64, sfruttando efficacemente la struttura locale nello spazio degli embedding ESMC senza aggiornamenti del gradiente.
• Generalizzazione: La performance è diminuita significativamente sugli schemi di holdout "più difficili" modulo e contiguo rispetto agli split casuali, indicando che la scelta dello split influenza materialmente le stime di generalizzazione.

Predizione di Piccole Molecole

• Nessuna Dominanza Singola: A differenza del dominio proteico, nessun singolo accoppiamento learner–rappresentazione ha dominato tutti i benchmark molecolari.
  • TDC ADMET: TabPFN3 con descrittori RDKit è stato il più forte.
  • FS-Mol: TabPFN3 con ECFP+RDKit è stato il più forte.
  • MoleculeNet: TabPFN3 con RDKit ha guidato (sul subset disponibile).
  • DrugOOD (OOD): ChemProp+CheMeleon (un modello di fondazione basato su grafi) ha superato tutte le coppie tabulari nella ROC-AUC OOD.
• Sensibilità alla Rappresentazione: La scelta del descrittore molecolare (ECFP vs RDKit) è stata spesso critica quanto la scelta del predittore. TabPFN3 e TabICL non hanno dominato uniformemente l'uno sull'altro; la loro performance relativa è variata a seconda del benchmark e della rappresentazione.
• Generalizzazione OOD: I modelli tabulari hanno mostrato gap ID/OOD positivi su DrugOOD, indicando che la performance in-distribution non garantisce robustezza sotto shift di scaffold o di saggio.

Contributi Chiave

1. Benchmark Empirico: Il paper fornisce il primo audit sistematico dei modelli di fondazione tabulari (TabPFN3, TabICL) sui compiti di predizione biomolecolare, coprendo sia la regressione proteica che la classificazione di piccole molecole.
2. Accoppiamento Learner–Rappresentazione: Stabilisce che questi modelli non devono essere valutati come architetture indipendenti, ma come parte di una specifica coppia con rappresentazioni di dominio (ad esempio, ESMC per le proteine, RDKit/ECFP per le molecole).
3. Validazione Few-Shot: Lo studio dimostra che i modelli in-context learner tabulari possono sfruttare efficacemente gli embedding biologici pre-addestrati in regimi di dati scarsi, offrendo un'alternativa pratica al fine-tuning specifico per il compito.
4. Protocolli di Valutazione Rigorosi: Gli autori separano le conclusioni few-shot da quelle di training completo, testano esplicitamente la generalizzazione OOD e analizzano la sensibilità del set di supporto per evitare affermazioni eccessivamente ottimistiche.

Significato e Rivendicazioni

Il paper conclude che i modelli di fondazione tabulari sono strumenti validi e performanti per la predizione di proprietà biomolecolari, ma il loro successo è contingente sulla qualità della rappresentazione di input.

• Per le Proteine: Quando accoppiati con embedding di alta qualità come ESMC, i modelli ICL tabulari sono altamente competitivi, spesso superando le tradizionali baseline supervisionate e i modelli finetunati in contesti few-shot.
• Per le Piccole Molecole: I risultati sono più sfumati. Sebbene i modelli tabulari siano competitivi, non dominano universalmente i modelli di fondazione basati su grafi, in particolare negli scenari Out-of-Distribution. La scelta del descrittore molecolare è un determinante primario del successo.

Gli autori sottolineano che questi modelli non sono "black box prive di rappresentazione". La loro utilità risiede nella capacità di agire come predittori efficienti in presenza di scarsità di dati, quando le feature di input codificano già i vincoli strutturali e funzionali necessari delle biomolecole. Il paper raccomanda un'interpretazione cauta dei risultati, notando che la performance sugli split casuali non garantisce la robustezza su holdout strutturalmente distinti.