Technische Samenvatting: Kunnen Tabulaire In-Context Learners Generaliseren naar Biomoleculaire Eigenschapsvoorspelling?

Probleemstelling

Het voorspellen van biomoleculaire eigenschappen vanuit beperkte gelabelde data is een kritieke flessenhals in de eiwitengineering en het ontwerp van kleine moleculen. Hoewel grote biologische fundamentele modellen (bijv. eiwittaalmodellen) succesvol rijke, vaste-lengte sequentie-representaties hebben gegenereerd, is de uitdaging verschoven naar het ontwerpen van data-efficiënte voorspellers die in staat zijn om deze embeddings te exploiter than in few-shot regimes (vaak met slechts $O(10)$ gelabelde voorbeelden).

Dit artikel onderzoekt of Tabulaire Fundamentele Modellen—specifiek TabPFN3 en TabICL—effectieve voorspellers kunnen dienen voor biomoleculaire taken. Deze tabulaire modellen zijn in-context learners die zijn voorgetraind op synthetische tabellen afgeleid van willekeurige causale grafen. De centrale hypothese is contra-intuïtief: ondanks dat ze geen inherente voorkennis hebben van eiwitsequenties of moleculaire grafen, kunnen deze tabulaire modellen effectief generaliseren als ze worden gekoppeld aan geschikte domeinspecifieke feature-representaties.

Methodologie

De auteurs evalueren tabulair in-context leren (ICL) over twee verschillende domeinen: eiwitfitness regressie en kleine-molecuul eigenschapsclassificatie. Het experimentele ontwerp behandelt het systeem als een voorspeller–representatie paar, waarbij de feature-pipelines vastgehouden worden om de prestaties van de voorspeller te isoleren.

1. Eiwitfitness Regressie

• Representatie: Sequenties worden gecodeerd met behulp van ESMC (een eiwittaalmodel met 300 miljoen parameters), wat vaste-lengte 960-dimensionale embeddings produceert.
• Voorspellers: TabICL en TabPFN3 worden vergeleken met gesuperviseerde baselines (Ridge Regressie, RBF Sampler, HistGradientBoostingRegressor, en een gefinetuned ESMC met een MLP-head).
• Datasets:
  • ProteinGym: 217 Deep Mutational Scanning (DMS) assays. Evaluaties omvatten willekeurige 5-voudige splitsingen en officiële "hardere" holdout-schema's (modulo en contiguus).
  • PpEST: Een diverse esterase-familiedataset met katalytische snelheden en thermostabiliteitsmetingen.
• Metrieken: Gemiddelde Kwadratische Fout (MSE) en Spearman rangcorrelatie. Few-shot prestaties worden geëvalueerd over support-groottes van 8, 16, 32 en 64.

2. Kleine-Molecuul Eigenschapsclassificatie

• Representaties: Vaste moleculaire descriptoren inclusief ECFP (Morgan fingerprints), RDKit fysisch-chemische descriptoren, en hun concatenatie.
• Voorspellers: TabICL, TabPFN3 en XGBoost (allemaal gebruikmakend van vaste descriptoren) worden vergeleken met graafgebaseerde baselines: ChemProp (getraind vanaf nul) en ChemProp+CheMeleon (geïnitialiseerd met een fundamenteel model).
• Datasets:
  • TDC ADMET: 13 eindpunten voor absorptie, distributie, metabolisme, excretie en toxiciteit.
  • MoleculeNet: 806 geregistreerde eindpunten (exclusief PCBA voor TabPFN3 vanwege beperkingen in middelen).
  • FS-Mol: 157 few-shot moleculaire eigenschapstaken.
  • DrugOOD: 3 taken specifiek ontworpen om Out-of-Distribution (OOD) generalisatie te testen over assay-, scaffold- en moleculaire grootte-verschuivingen.
• Metrieken: ROC-AUC. Voor OOD-taken wordt het gat tussen In-Distribution (ID) en OOD prestaties geanalyseerd.

Belangrijkste Resultaten

Eiwitvoorspelling

• Prestaties: TabPFN3 en TabICL zijn consistent competitief en presteren vaak beter dan klassieke baselines en gefinetuned ESMC.
  • Op ProteinGym (willekeurige 5-voudige split) behaalde TabPFN3 de hoogste gemiddelde Spearman correlatie (0.767) en de laagste MSE (0.351), nauw gevolgd door TabICL (0.753).
  • Op PpEST boden beide tabulaire modellen de sterkste algemene resultaten, waarbij TabICL de laagste MSE vertoonde op drie van de vijf eindpunten en TabPFN3 op de andere twee.
• Few-Shot Bekwaamheid: Beide modellen vertoonden een sterke rangbehoud en foutenreductie naarmate de support-set groottes toenamen van 8 naar 64, waarbij ze de lokale structuur in de ESMC embedding-ruimte effectief exploiteerden zonder gradiënt-updates.
• Generalisatie: De prestaties daalden aanzienlijk op de "hardere" modulo en contiguus holdout-schema's vergeleken met willekeurige splitsingen, wat aangeeft dat de keuze van de split de schattingen van de generalisatie materieel beïnvloedt.

Kleine-Molecuul Voorspelling

• Geen Enkele Dominante Combinatie: In tegen tegenstelling tot het eiwitdomein domineerde geen enkele leerder–representatie combinatie alle moleculaire benchmarks.
  • TDC ADMET: TabPFN3 met RDKit descriptoren was het sterkst.
  • FS-Mol: TabPFN3 met ECFP+RDKit was het sterkst.
  • MoleculeNet: TabPFN3 met RDKit leidde (op de beschikbare subset).
  • DrugOOD (OOD): ChemProp+CheMeleon (een graafgebaseerd fundamenteel model) presteerde beter dan alle tabulaire paren op OOD ROC-AUC.
• Representatie Gevoeligheid: De keuze van de moleculaire descriptor (ECFP vs. RDKit) was vaak even cruciaal als de keuze van de voorspeller. TabPFN3 en TabICL domineerden elkaar niet uniform; hun relatieve prestaties draaiden om per benchmark en representatie.
• OOD Generalisatie: Tabulaire modellen vertoonden positieve ID/OOD-gaten op DrugOOD, wat aangeeft dat prestaties binnen de distributie (In-Distribution) geen robuustheid garanderen onder verschuivingen in scaffold of assay.

Belangrijkste Bijdragen

1. Empirische Benchmark: Het artikel biedt de eerste systematische audit van tabulaire fundamentele modellen (TabPFN3, TabICL) op biomoleculaire voorspellingstaken, zowel voor eiwitregressie als kleine-molecuul classificatie.
2. Learner–Representatie Koppeling: Het stelt dat deze modellen niet moeten worden geëvalueerd als op zichzelf staande architecturen, maar als onderdeel van een specifieke koppeling met domein-representaties (bijv. ESMC voor eiwitten, RDKit/ECFP voor moleculen).
3. Few-Shot Validatie: De studie demonstreert dat tabulaire in-context learners effectief gebruik kunnen maken van voorgetrainde biologische embeddings in situaties met weinig data, wat een praktisch alternatief biedt voor taakspecifieke fine-tuning.
4. Strikte Evaluatieprotocollen: De auteurs scheiden conclusies over few-shot versus volledige training, testen expliciet de OOD-generalisatie en analyseren de gevoeligheid voor de support-set om overoptimistische claims te vermijden.

Betekenis en Claims

Het artikel concludeert dat tabulaire fundamentele modellen levensvatbare en sterke presteerders zijn voor biomoleculaire eigenschapsvoorspelling, maar dat hun succes afhankelijk is van de kwaliteit van de input-representatie.

• Voor Eiwitten: Wanneer gekoppeld aan hoogwaardige embeddings zoals ESMC, zijn tabulaire ICL-modellen zeer competitief en presteren ze vaak beter dan traditionele gesuperviseerde baselines en gefinetuned modellen in few-shot settings.
• Voor Kleine Moleculen: De resultaten zijn genuanceerder. Hoewel tabulaire modellen competitief zijn, domineren zij graafgebaseerde fundamentele modellen niet universeel, vooral niet in Out-of-Distribution scenario's. De keuze van de moleculaire descriptor is een primaire determinant voor succes.

De auteurs benadrukken dat deze modellen geen "representatievrije black boxes" zijn. Hun nut ligt in hun vermogen om te fungeren als efficiënte, data-arme voorspellers wanneer de input-features al de noodzakelijke structurele en functionele beperkingen van de biomoleculen coderen. Het artikel pleit voor een voorzichtige interpretatie van de resultaten, waarbij wordt opgemerkt dat prestaties op willekeurige splitsingen geen robuustheid garanderen bij structureel verschillende holdout-sets.