Technische Samenvatting: ShallowBench

Probleemstelling

Generatieve AI-modellen hebben aanzienlijk succes bereikt in structuurgebaseerd medicijnontwerp (SBDD), met name in het genereren van chemisch valide, hoog-affiene liganden voor targets met diepe, structureel gedefinieerde bindingszakken. Deze diepe holtes bieden duidelijke geometrische beperkingen en een uitgebreid oppervlak voor Van der Waals-interacties, wat de gegenereerde coördinaten effectief verankert. Echter, een kritieke kwetsbaarheid blijft bestaan: deze modellen hebben moeite met het genereren van effectieve liganden voor ondiepe of intrinsiek ongeordende eiwitoppervlakken.

Veel hoog-prioritaire therapeutische targets, zoals de oncologische targets KRAS en MYC, missen traditionele zakken met een hoge concaviteit. Liganden die proberen te binden aan deze vlakke interfaces worden geconfronteerd met verhoogde competitie van het bulk-oplosmiddel, missen goed gedefinieerde structurele omsluitingen en lijden onder schaarse contactoppervlakken. Bovendien zijn standaard benchmark-datasets (bijv. CrossDocked2020, PDBbind) gedomineerd door targets met diepe zakken, wat leidt tot een trainings- en evaluatiebias waarbij modellen scheve distributies aanleren. Bijgevolg blijft de prestatievermindering van state-of-the-art SBDD-modellen op vlakke oppervlakken ongekwantificeerd, wat de ontwikkeling van architecturen die in staat zijn deze "onbehandelbare" (undruggable) targets aan te pakken, belemmert.

Methodologie

Dataset Curatie: ShallowBench

Om het gebrek aan een toegewijde benchmark voor ondiepe targets aan te pakken, hebben de auteurs ShallowBench gecureerd, een dataset van 5.780 ondiepe-pocket targets geëxtraheerd uit de CrossDocked2020-dataset. Het curatieproces omvatte een rigoureuze tweestaps volumetrische benadering om interfaces met een lage concaviteit te isoleren, terwijl voldoende oppervlakte voor binding behouden bleef:

1. Volumeberekening: Voor elk eiwit-ligandcomplex werd de lokale bindingsomgeving gedefinieerd door eiwitatomen te extraheren binnen een straal van 8,0 Å rond het zwaartepunt (COM) van de natuurlijke ligand.
2. Concaviteitsmetriek: De auteurs definieerden concaviteit als het verschil tussen twee volumes:
   • $V_{atom}$: Het volume dat strikt wordt ingenomen door eiwitatomen, gemapt naar een 3D-voxelgrid (1,0 Å voxelgrootte).
   • $V_{lid}$: Een begrenzend volume gegenereerd door een Alpha Shape mesh (gebruikmakend van $\alpha = 0,15$) die fungeert als een gesimuleerd "deksel" over de interface.
   • Formule: $\text{Concaviteit} = V_{lid} - V_{atom}$.
3. Filtercriteria: Targets werden geselecteerd indien zij voldeden aan een strikte bovengrens van Concaviteit < 500,0 ų** en een ondergrens van **Oppervlakte > 50,0 Ų (berekend met een 2,0 Å voxelgrid). Dit proces reduceerde de initiële 166.500 targets naar 5.780.

Data Splitting en Controle

• Train/Test Split: Om datalekken te voorkomen, werd de dataset gesplitst op basis van 30% sequentie-identiteit clustering. Dit resulteerde in 4.995 trainings-targets en 785 test-targets, waarbij gegarandeerd is dat geen enkele test-target significante homologie deelt met de trainingsset.
• Controle-dataset: Een structureel diverse controle-set van 5.780 targets werd gecreëerd uit CrossDocked2020 middels round-robin gestratificeerde steekproeftrekking. Deze set weerspiegelt de grootte van ShallowBench, maar vertegenwoordigt de standaardverdeling van diepe-pocket targets, wat een één-op-één vergelijkbare evaluatie mogelijk maakt.

Evaluatiekader

De auteurs evalueerden drie state-of-the-art generatieve SBDD-modellen—DiffSBDD, SimpleSBDD en TargetDiff—op zowel de ShallowBench als de controle-datasets zonder fine-tuning. De evaluatie maakte gebruik van de volgende metrieken:

• Chemische Validiteit: Proportie moleculen die voldoen aan valentie-, aromaticiteit- en sanitization-checks (RDKit).
• Gemiddelde QED: Kwantitatieve schatting van de druglikheid (druglikness).
• Vina Affinity: Voorspelde bindingsenergie (kcal/mol) via AutoDock Vina.
• Shape Complementarity (Sc): Geometrische pasvorm tussen ligand en eiwit (SCASA-algoritme), dienend als een negatieve controle om het succes van de filtering op ondiepe oppervlakken te bevestigen.

Belangrijkste Resultaten

De evaluatie onthulde een systematische daling in de prestaties van de modellen bij de overgang van diepe-pocket controles naar ondiepe-pocket targets:

• Systematische daling in bindingsaffiniteit: Alle modellen vertoonden zwakkere voorspelde bindingsaffiniteiten op ShallowBench. Zo daalde de gemiddelde Vina-affiniteit van TargetDiff van -7,33 kcal/mol (controle) naar -5,26 kcal/mol (ShallowBench). SimpleSBDD daalde eveneens van -7,52 naar -6,47 kcal/mol.
• Trade-offs in SimpleSBDD: SimpleSBDD behaalde de sterkste Vina-affiniteiten over beide datasets, maar ten koste van een lagere Shape Complementarity (Sc) en chemische validiteit (~85%). De prestatie suggereert dat het meer functioneert als een scoring-filter voor drug-like bibliotheken dan als een pure de novo 3D-generator.
• Zwakke conditionele signaal van DiffSBDD: Hoewel DiffSBDD een hoge chemische validiteit handhaafde (98%), produceerde het moleculen met een bijna nul Shape Complementarity en lage QED-scores (0,25). Dit wijst op een zwak conditioneel signaal, waarbij het model valide moleculen genereert die er niet effectief in staat slagen zich te verankeren aan de ondiepe pocket-geometrie.
• Degradatie van TargetDiff's validiteit: TargetDiff vertoonde een scherpe daling in chemische validiteit, van 87,51% op de controle-dataset naar 79,71% op ShallowBench. Dit suggereert dat het diffusieproces moeite heeft met het afdwingen van fundamentele moleculaire assemblage wanneer de 3D-eiwitbeperkingen schaars zijn.
• Shape Complementarity Anomalie: Terwijl DiffSBDD en SimpleSBDD daalden naar bijna nul Sc op ondiepe oppervlakken, behield TargetDiff een relatief hoge Sc (0,6088). Dit impliceert dat TargetDiff probeert agressiever te conformeren aan de oppervlaktetopologie, zelfs als dit de chemische validiteit in gevaar brengt.

Betekenis en Bijdragen

Het artikel positioneert ShallowBench als een noodzakelijk instrument om de beperkingen van huidige generatieve biologie-modellen bloot te leggen. De auteurs claimen de volgende bijdragen:

1. Benchmark Creatie: De introductie van een strikt gecureerde benchmark van 5.780 ondiepe-pocket targets, waarmee een kritiek gat in het veld wordt opgevuld waar voorheen geen grote, toegewijde dataset voor lage-concaviteit targets bestond.
2. Methodologische Innovatie: De ontwikkeling van een tweestaps volumetrische benadering met behulp van Alpha Shape "lid"-berekeningen om ondiepe interfaces effectief te isoleren terwijl de bindingsrelevante oppervlakte behouden blijft.
3. Resource Facilitatie: De publicatie van een rigoureus gesplitste trainings- en testdataset (via Hugging Face) ontworpen om homologie-lekken te voorkomen, wat onderzoekers in staat stelt modellen specif