A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?

Technische Samenvatting: InteractBind – Een Groot Dataset en Benchmark voor Lokalisatie van Bindingsplaatsen van Proteïne–Ligand

Probleemstelling
Proteïne–ligand-modellering is centraal in computationele geneesmiddelenontdekking, maar bestaande benchmarks evalueren modellen voornamelijk op binaire bindingsvoorspelling (treedt interactie op?) of regressie van bindingsaffiniteit (hoe sterk is de interactie?). Deze taken meten of een model de voorkomen of sterkte van binding voorspelt, maar bieden beperkt bewijs of modellen specifieke bindingsplaatsen kunnen lokaliseren of de onderliggende niet-covalente interacties kunnen identificeren die moleculaire herkenning aandrijven. Huidige op sequentie gebaseerde datasets bieden zelden annotaties van interacties op residuniveau op grote schaal, waardoor het moeilijk is om te bepalen of geleerde interactiekarten werkelijk fysisch-chemische contactpatronen vangen of slechts correleren met binaire bindingslabels. Bijgevolg ontbreekt het aan een systematische evaluatie van het vermogen van modellen om bindingsresiduen te lokaliseren en onderscheid te maken tussen verschillende typen niet-covalente interacties.

Methodologie
Om deze kloof te dichten, introduceren de auteurs InteractBind, een groot dataset en benchmark voor proteïne–ligand afgeleid van experimenteel opgeloste complexen in de Protein Data Bank (PDB).

• Datasetconstructie: De dataset omvat ongeveer 100.000 proteïne–ligandparen die ~11.000 unieke proteïnen en ~9.000 unieke liganden bestrijken. Voor elk paar genereren de auteurs:

  • Sequentierepresentaties: Canonieke FASTA- en structuurbewuste (SA) sequenties voor proteïnen; SMILES en SELFIES voor liganden.
  • Interactieannotaties: Met behulp van tools zoals PLIP en GetContacts detecteren de auteurs zes belangrijke typen niet-covalente interacties: waterstofbruggen, zoutbruggen, $\pi$–$\pi$-stapeling, kation–$\pi$-interacties, hydrofobe contacten en van der Waals-krachten.
  • Interactiekarten: Deze interacties worden geprojecteerd op sequentieniveau-karten, waardoor $m \times n$-matrices worden gecreëerd (ligandatomen $\times$ proteïnresiduen) met gewogen interactiescores. Een geaggregeerde kaart definieert de proteïnebindingsplaats (residuen die deelnemen aan ten minste één interactie).
  • Labels: Binaire bindingslabels (afgeleid van docking-gebaseerde affiniteitsscores: $\le -7$ kcal/mol als positief, $> -5$ kcal/mol als negatief) en affiniteitwaarden.

• Benchmarkontwerp:

  • Kerntaak: Lokalisatie van bindingsplaatsen. De primaire evaluatiemetric is Binding Residue Hit Rate at Top-K (BRHR@K), die meet of de top-$K$ voorspelde proteïnresiduen overlappen met de ground-truth bindingsresiduen.
  • Splits: Om een realistische beoordeling van generalisatie te waarborgen, bevat de dataset:
    • In-Distribution (ID): Een affiniteitsbewuste split met 5-voudige cross-validatie.
    • Out-of-Distribution (OOD): Vier splits met gecontroleerde proteïnesimilariteit (maximale train-test-similariteit van 25%, 28%, 31%, 33%) om de prestaties te evalueren op minder bekende proteïndoelen.
  • Baselines: Acht representatieve op sequentie gebaseerde, interactiebewuste modellen (bijv. MolTrans, TransformerCPI, DrugBAN, FusionDTI) werden geëvalueerd.

Belangrijkste Bijdragen

1. InteractBind Dataset: Een nieuwe grote resource die niet alleen binaire labels en affiniteitsscores biedt, maar ook annotaties van bindingsplaatsen op residuniveau en zes distincte karten van niet-covalente interacties.
2. Fin-granulaire Evaluatieparadigma: De formulering van lokalisatie van bindingsplaatsen als kerntaak, ondersteund door BRHR-metrics en analyse specifiek voor interactietypen, verder dan uitkomsten op paarniveau.
3. Systematische Benchmarking: De evaluatie van acht state-of-the-art modellen onthult dat hoewel interactiebewuste architecturen meetbare signalen voor lokalisatie van bindingsplaatsen vertonen, er aanzienlijke ruimte voor verbetering is, met name bij het identificeren van specifieke fysisch-chemische contactpatronen.

Resultaten

• Binaire versus Lokalisatieprestaties: Er bestaat een significante discrepantie tussen binaire bindingsvoorspelling en lokalisatie van bindingsplaatsen. Het best presterende model, FusionDTI, behaalde 98,3% AUROC voor binaire voorspelling maar slechts 21,6% BRHR@1 voor lokalisatie van bindingsplaatsen. Dit geeft aan dat sterke binaire voorspelling geen garantie biedt voor betrouwbare identificatie van de specifieke residuen die betrokken zijn bij binding.
• Variabiliteit per Interactietype: Prestaties variëren sterk per type niet-covalente interactie. Modellen lokaliseren veelvoorkomende, ruimelijk brede contacten (van der Waals, hydrofoob, waterstofbruggen) effectiever (bijv. FusionDTI bereikte 33% BRHR@5 voor van der Waals) dan specifieke geometrische arrangementen zoals $\pi$–$\pi$-stapeling (18,2%) en kation–$\pi$-interacties (~16,1%).
• Generalisatie: Onder OOD-splits met gecontroleerde proteïnesimilariteit nemen de prestaties voor zowel binaire voorspelling als lokalisatie van bindingsplaatsen af naarmate de similariteit tussen trainings- en testproteïnen daalt, wat de moeilijkheid benadrukt om bindingsplaatsen te lokaliseren voor nieuwe proteïndoelen. Ligandsimilariteit had een relatief kleiner effect op de prestaties.

Betekenis en Beweringen
Het artikel beweert dat InteractBind een nieuw benchmarkparadigma vestigt dat de ontwikkeling van meer interpreteerbare en fysisch onderbouwde proteïne–ligand-modellen stimuleert. De auteurs betogen dat huidige modellen vaak vertrouwen op dataset-specifieke correlaties om het optreden van binding te voorspellen zonder echt de mechanistische determinanten van moleculaire herkenning te leren. Door expliciete supervisie op residuniveau en annotaties specifiek voor interactietypen te bieden, maakt InteractBind een systematische beoordeling mogelijk van of modellen bindingsplaatsen lokaliseren en de niet-covalente interacties identificeren die deze stabiliseren. De resultaten suggereren dat hoewel huidige interactiebewuste modellen enkele signalen van bindingsplaatsen vangen, ze nog niet betrouwbaar zijn voor fijn-granulaire lokalisatie, met name voor specifieke interactietypen of nieuwe proteïndoelen. De auteurs positioneren dit werk als een stap in de richting van het verschuiven van evaluatie van alleen uitkomstmetrieken naar fijn-granulaire beoordeling, wat cruciaal is voor het verbeteren van de betrouwbaarheid van pipelines voor computationele geneesmiddelenontdekking en het vermijden van misleidende biologische conclusies.

Beperkingen
De auteurs merken expliciet op dat de huidige benchmark zich richt op evaluatie op sequentieniveau en nog geen benchmark op structuurniveau omvat. Zij erkennen dat het uitbreiden van de evaluatie naar 3D-structuren uitdagend is vanwege ambiguïteit in pose en conformationele flexibiliteit, wat ruis kan introduceren en de interpreteerbaarheid kan verminderen in vergelijking met sequentiegebaseerde beoordeling op residuniveau.