Technische Samenvatting: Een Systematische Evaluatie van Co-vouwmodelrepresentaties voor Kleine-Molecuul Learning

Probleemstelling

Kleine-molecuul fundamentele modellen worden doorgaans vooraf getraind op zelfstandige moleculaire data, waarbij representaties worden geleerd op basis van geïsoleerde moleculen die gekoppeld zijn aan supervisie op molecuulniveau (bijvoorbeeld bioassay-labels, kwantumchemische eigenschappen). Dit staat in contrast met de domeinen van visie en taal, waar sterke representaties vaak voortkomen uit cross-modale of relationele supervisie. Hoewel eiwit-ligand co-vouwstructuren een moleculair equivalent bieden aan dergelijke relationele supervisie door modellen bloot te stellen aan interacties op atoomniveau (bijvoorbeeld waterstofbruggen, electrostatica) binnen een gebonden context, is het onduidelijk of co-vouwmodellen sterke, overdraagbare representaties kunnen opleveren voor zelfstandige taken op het gebied van kleine moleculen. Bovendien wordt de bredere bruikbaarheid van moderne co-vouwmodellen (zoals AlphaFold3 en Boltz) betwist, waarbij sommigen suggereren dat deze sterk afhankelijk zijn van evolutionaire patronen in plaats van een echt begrip op atoomniveau. Dit artikel streeft ernaar om systematisch te evalueren of het hergebruiken van een modern co-vouwmodel voor representatieleren van kleine moleculen haalbaar en effectief is.

Methodologie

De auteurs onderzoeken Boltz2, een modern co-vouwmodel met 1 miljard parameters dat is ontworpen voor eiwit-ligand structuurvoorspelling, als bron van representaties op atoomniveau voor kleine moleculen. De kernmethodologie omvat het extraheren van ligandrepresentaties uit Boltz2 (waarbij eiwitinvoer wordt weggelaten voor zelfstandige taken) en het evalueren van hun overdraagbaarheid over drie verschillende downstream-domeinen:

1. Voorspellende Overdracht (ADMET): De auteurs passen "probing" toe om de representaties op atoomniveau van Boltz2 te evalueren op de Therapeutics Data Commons (TDC) ADMET-benchmark. Ze extraheren paarrepresentaties uit specifieke lagen ({16, 32, 48, 64}) van de 64-laagse Pairformer-stam, passen een hybride poolingstrategie toe (het samenvoegen van diagonale, gebonden en alle ingangen) en voeren het gepoolde vector in een Multi-Layer Perceptron (MLP) voor eigenschapsvoorspelling. Ze vergelijken deze resultaten met gespecialiseerde fundamentele modellen (MolE, MiniMol, KPGT, QIP, UniMol2, MolGPS, UniQSAR).
2. Generatieve Overdracht: De auteurs maken gebruik van distillatie op basis van representatie-uitlijning om de representaties van Boltz2 over te dragen naar state-of-the-art moleculaire generatieve modellen (specifiek GruM). Ze trainen het generatieve model om de cosinus-similariteit te maximaliseren tussen zijn verborgen representaties van ruisachtige moleculen en de overeenkomstige schone representaties van Boltz2. Dit wordt geëvalueerd op de ZINC250k-dataset met behulp van metrieken zoals validiteit, Fréchet ChemNet Distance (FCD) en originaliteit.
3. Optimalisatie-overdracht (Structuurgeleide Ontdekking): De auteurs breiden representatie-uitlijning uit naar online versterkende learning voor ligandontdekking. Met behulp van de SynFlowNet-Boltz-pijplijn behandelen ze Boltz2 niet alleen als een black-box scalair beloningsorakel (bindingsaffiniteit), maar als een "white-box" leraar. Naast scalair beloningen wordt het beleidsnetwerk geleid door dichte supervisie op representatieniveau (uitlijning met de intermediaire ligandrepresentaties van Boltz2) om credit assignment en steekproefficiëntie te verbeteren bij het ontdekken van liganden met hoge affiniteit.

Belangrijkste Bijdragen

Het artikel presenteert vier primaire bevindingen die moderne co-vouwmodellen positioneren als sterke baselines voor fundamentele modellen voor kleine moleculen:

• Voorspellende Prestaties: Boltz2-representaties komen overeen met of overtreffen gespecialiseerde fundamentele modellen voor kleine moleculen op de uitgebreide TDC ADMET-benchmark. Opvallend is dat Boltz2 de beste prestaties behaalt op 9 van de 22 taken zonder enige zelfstandige vooraftraining op kleine moleculen, wat suggereert dat co-vouwsupervisie signalen biedt die niet worden gevangen door schaling van architectuur of datavolume alleen.
• Generatieve Versnelling: Representatie-uitlijning met Boltz2 versnelt de training van moleculaire generatieve modellen aanzienlijk (2× sneller) en levert kwalitatief betere moleculen op over meerdere metrieken (validiteit, FCD, NSPDK) in vergelijking met uitlijning met andere fundamentele modellen. Dit geeft aan dat co-vouwmodellen superieure structurele supervisie bieden voor generatie.
• Steekproefficiëntie in Optimalisatie: Bij online structuurgeleide ligandontdekking verbetert het opnemen van dichte supervisie op representatieniveau van Boltz2 de steekproefficiëntie bij het vinden van moleculen met hoge beloning in vergelijking met het gebruik van alleen scalair beloningen. Dit markeert de eerste toepassing van representatie-uitlijning om online versterkende learning in moleculaire ontdekking te verbeteren.
• Complementariteit van Representaties: Boltz2 levert een representatieruimte op die onderscheidend en complementair is aan bestaande fundamentele moleculaire modellen. De auteurs tonen aan dat het ensemble van Boltz2 met een minder uitgelijnd model (MolE) grotere prestatiewinst oplevert op bepaalde benchmarks dan het ensemble met een sterker uitgelijnd model (MiniMol), wat wijst op een praktische strategie voor representatiefusie.

Resultaten

• ADMET-benchmark: Boltz2 behaalde de beste gemiddelde prestaties op 9 van de 22 taken onder niet-ensemble methoden. Wanneer gecombineerd met MiniMol (Boltz2Mini.), leidde het ook op 9 taken. Boltz2 presteerde aanzienlijk beter dan UniMol2 (dat dezelfde 1B Pairformer-architectuur gebruikt maar is vooraf getraind op zelfstandige 3D-structuren), wat de waarde van co-vouwsupervisie onderstreept.
• Moleculaire Generatie: Modellen die zijn gedistilleerd met Boltz2-representaties behaalden gelijktijdig de beste scores op validiteit, FCD en NSPDK, terwijl baseline-diffusiemodellen doorgaans alleen uitblonken op een subset van deze metrieken.
• Ligandontdekking: Bij structuurgeleide ontdekkingstaken over zeven doel-eiwitten ontdekte het op representatie-uitlijning gebaseerde beleid meer moleculen met hoge beloning en onderzocht het meer diverse modi (onderscheidende hoogscorende moleculen) dan het standaardbeleid onder hetzelfde budget voor beloningsevaluatie.
• Complementariteitsanalyse: CKNNA (Centered Kernel Nearest-Neighbor Alignment)-scores toonden aan dat Boltz2 een relatief zwakke uitlijning heeft met bestaande modellen. Het ensemble van Boltz2 met MolE (lage uitlijning) presteerde echter beter dan het ensemble met MiniMol (hogere uitlijning) op specifieke metabole taken, wat de complementaire aard van de representaties bevestigt.

Betekenis en Claims

Het artikel positioneert eiwit-ligand co-vouwen als een veelbelovend vooraftrainingsparadigma voor representatieleren van kleine moleculen. Het betoogt dat co-vouwmodellen zoals Boltz2 interactiepatronen op atoomniveau (bijvoorbeeld bindingsconformaties) leren die effectief overdragen naar zelfstandige taken, en zo een sterke, kant-en-klare fundamenteel model bieden voor geneesmiddelenontwikkeling.

De auteurs claimen als eersten te hebben aangetoond dat:

1. Informatieve moleculaire representaties van co-vouwmodellen moleculaire generatie en optimalisatie kunnen verbeteren.
2. Distillatie op basis van representatie-uitlijning effectief is voor online versterkende learning, waarbij dichte signalen worden geboden die scalair beloningen aanvullen.
3. Het combineren van zwak uitgelijnde representaties (bijvoorbeeld Boltz2 + MolE) een effectievere strategie kan zijn voor representatiefusie dan het combineren van sterk uitgelijnde representaties.

Erkende Beperkingen:
De auteurs merken bescheiden op dat co-vouwmodellen mogelijk geen volledig begrip op atoomniveau hebben van lokale mechanismen, wat blijkt uit hun mindere prestaties bij taken voor het voorspellen van metabole substraten (een zwak punt dat ook bij UniMol2 wordt gedeeld, wat wijst op een bredere beperking van leren op basis van 3D-structuren). Ze merken ook op dat hun experimenten een setting met een bevroren ruggegraat gebruiken via probing en distillatie, waardoor het fijnafstemmen van de ruggegraat voor toekomstig werk wordt bewaard.