🧬 biology

Decomposing the Generalization Gap in PROTAC Activity Prediction: Variance Attribution and the Inter-Laboratory Ceiling

Dit artikel ontleedt de generalisatiekloof bij de voorspelling van PROTAC-activiteit, waarbij inter-laboratorium meetvariatie wordt geïdentificeerd als de dominante beperkende factor die een prestatieplafond rond 0,67 AUROC creëert, en introduceert tegelijkertijd de PROTAC-Bench-dataset en kalibratieprotocollen om deze evaluatie-uitdagingen aan te pakken.

Oorspronkelijke auteurs: Thor Klamt, Wolfgang Nejdl, Ming Tang

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thor Klamt, Wolfgang Nejdl, Ming Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Plaatje: Het "Nieuwe Leerling"-Probleem

Stel je voor dat je een leraar bent die probeert te testen hoe goed een leerling een onderwerp begrijpt.

De Oude Manier (Willekeurige Verdeling): Je geeft de leerling een toets waarbij 80% van de vragen gaat over onderwerpen die ze al in de klas hebben bestudeerd, alleen met iets andere getallen. Ze halen 90%. Je denkt: "Geweldig, ze zijn een genie!"
De Nieuwe Manier (Leave-One-Target-Out): Je geeft de leerling een toets over een volkomen nieuw onderwerp dat ze nog nooit hebben gezien. Plotseling halen ze slechts 67%.

Dit artikel onderzoekt PROTAC's (een type medicijn dat werkt als een "moleculaire vuilnisbak" om slechte eiwitten te vernietigen). Onderzoekers hadden AI-modellen gebouwd die 85–91% haalden op de "Oude Manier"-toetsen, maar daalden tot ongeveer 67% op de "Nieuwe Manier"-toetsen.

De grote vraag was: Is de AI gewoon slecht in het leren van nieuwe dingen? Of is de toets zelf gebrekkig omdat de data rommelig is?

Het Onderzoek: Het Is Niet de AI, Het Is het Ruis

De auteurs deden zich voor als detectives om uit te zoeken waarom de score zo sterk daalde. Ze gaven de AI niet zomaar de schuld; ze keken naar de data zelf.

De Analogie: Het "Ruizige Kamer"-Experiment
Stel je voor dat je probeert een vriend te horen fluisteren in een stille kamer. Je hoort het perfect (Score: 90%). Stel je nu voor dat je probeert diezelfde fluistering te horen in een kamer waar drie verschillende mensen verschillende versies van het verhaal schreeuwen en de microfoon kapot is. Je kunt niet meer duidelijk horen (Score: 67%).

Het artikel concludeert dat de daling in score niet komt omdat de AI "dom" is. Het komt omdat de "kamer" (de wetenschappelijke data) ontzettend ruizig is.

De Hoofdverdachte: Verschillende laboratoria meten hetzelfde medicijn tegen hetzelfde eiwit en krijgen verschillende resultaten. Het is alsof drie verschillende weersstations in dezelfde stad drie verschillende temperaturen rapporteren voor hetzelfde uur.
De Bevinding: De auteurs berekenden dat deze "lab-tot-lab ruis" ongeveer 80% verantwoordelijk is voor de reden dat de AI-scores dalen. De AI kan niet voorspellen wat niet consistent gemeten kan worden.

Het "Plafond"-Effect

De onderzoekers testten vele verschillende soorten AI-modellen, van eenvoudige tot enorme, complexe modellen (zoals de enorme ESM-2 eiwit-taalmodellen).

Het Resultaat: Hoe slim of complex de AI ook was, ze stuitten allemaal op hetzelfde "plafond" van ongeveer 67%.
De Analogie: Stel je voor dat je probeert een bergtop te zien door een dikke mist. Je kunt een betere telescoop gebruiken (een slimmere AI), maar als de mist (de ruizige data) te dik is, kun je de top nog steeds niet scherper zien. De mist is de limiet, niet de telescoop.

Ze probeerden ook de AI te "tweaken" door duizenden keren zijn instellingen te veranderen (Hyperparameter Optimalisatie).

De Valstrik: Toen ze de "beste" instellingen kozen op basis van slechts één toetsrun, zag de AI er geweldig uit. Maar toen ze het opnieuw testten met verschillende willekeurige zaden (alsof je de toets op een andere dag doet), stortte de score in. Dit is een klassiek geval van "overfitting" of gewoon geluk hebben met een specifieke toetsopstelling.

De Oplossing: De "Tutor"-Aanpak

Als de AI niet van de hele klas kan leren omdat de klas te ruizig is, wat kan het dan doen? De auteurs vonden een slimme omweg genaamd Few-Shot Calibration.

De Analogie: In plaats van te proberen de regels van een nieuw spel te leren door een dik handboek te lezen (het hele dataset), vraagt de AI een lokale expert om slechts 5 voorbeelden van hoe het spel wordt gespeeld in deze specifieke stad.
Het Resultaat: Door de AI slechts 5 specifieke voorbeelden te geven voor elk nieuw doel-eiwit (een "few-shot" aanpak) en wat extra veiligheidsdata toe te voegen (ADMET-kenmerken), steeg de score van 66,8% naar 70,5%.
Waarom het werkt: Het is alsof de AI beseft: "Oh, in deze specifieke lab meten ze dingen iets anders. Laat me mijn gok aanpassen op basis van deze 5 lokale voorbeelden."

De Toolkit: PROTAC-Bench

De auteurs losten het probleem niet alleen op; ze bouwden een nieuwe speelplaats voor iedereen om te gebruiken.

Ze creëerden PROTAC-Bench, een samengestelde collectie van 10.748 medicijnmetingen.
In tegenstelling tot andere databases die groot maar rommelig zijn, is deze kleiner maar diepgaand. Het richt zich op het hebben van veel metingen voor dezelfde doelen, zodat wetenschappers daadwerkelijk de "ruis" en de "variantie" kunnen bestuderen.
Ze hebben ook de code en het "variance decomposition"-kader vrijgegeven, wat een methode is voor andere wetenschappers om uit te zoeken of hun eigen AI-problemen worden veroorzaakt door slechte modellen of gewoon slechte data.

Samenvatting van Beweringen (Wat het artikel echt zegt)

De Kloof is Echt: Er is een enorm verschil tussen hoe goed AI medicijnen voorspelt op bekende doelen versus nieuwe doelen.
De Oorzaak is Data, Niet AI: De belangrijkste reden voor de daling in prestaties is inter-laboratorium meetvariantie (verschillende laboratoria die verschillende resultaten krijgen voor hetzelfde ding), niet een falen van de AI om te leren.
Het Plafond is Hard: Zelfs de grootste, meest complexe AI-modellen kunnen niet door een score van ~67% op nieuwe doelen heen omdat de data zelf inconsistent is.
Hyperparameter Tuning is Lastig: Proberen de "perfecte" instellingen te vinden op één toetsrun leidt tot valse zekerheid. De AI moet meerdere keren worden getest om betrouwbaar te zijn.
Kleine Aanpassingen Helpen: Het gebruik van een "few-shot" aanpak (leren van slechts 5 voorbeelden per nieuw doel) kan een beetje extra prestatie uit het systeem persen, waardoor de score naar ongeveer 70,5% wordt geduwd.
Calibratie Maakt Uit: De rauwe zekerheidsscores van de AI zijn vaak verkeerd (te zelfverzekerd). Het gebruik van een simpele wiskundige truc (Platt scaling) lost dit op, waardoor de waarschijnlijkheden betrouwbaarder worden.

Kortom: De AI is niet kapot; de data is gewoon rommelig. Totdat wetenschappers medicijnactiviteit consistenter kunnen meten in verschillende laboratoria, zal de AI tegen een muur lopen. De beste strategie op dit moment is het gebruik van eenvoudige, robuuste modellen en hen een paar lokale voorbeelden te geven om hen te helpen zich aan te passen aan de specifieke "ruis" van het nieuwe doel.

Technische Samenvatting: Ontleden van het Generalisatiekloof in PROTAC-Activiteitsvoorspelling

Probleemstelling

Machine learning-predictoren voor biochemische activiteit, specifiek voor PROTACs (proteolyse-richtende chimera's), vertonen een aanzienlijke "generalisatiekloof". Hoewel modellen hoge AUROC-waarden rapporteren (0,85–0,91) onder cross-validatie met willekeurige splitsing, daalt de prestatie onder leave-one-target-out (LOTO)-protocollen scherp tot ongeveer 0,67. Deze kloof is goed gedocumenteerd maar eerder niet ontbonden. De centrale vraag is of deze prestatiedaling een fundamenteel onvermogen van modellen weerspiegelt om te extrapoleren naar nieuwe targets (leringsfalen) of of deze wordt gedreven door irreducibele ruis in de data, specifiek variatie in metingen tussen laboratoria en heterogeniteit in labels.

Methodologie

De auteurs introduceren PROTAC-Bench, een samengesteld benchmark van 10.748 afbraakmetingen over 173 targets, waarbij prioriteit wordt gegeven aan de dichtheid van metingen binnen targets en structuren met replicaten uit meerdere publicaties boven de ruime corpusgrootte. De studie hanteert een raamwerk voor variantieontleding om de generalisatiekloof toe te schrijven aan specifieke componenten:

Evaluatieprotocollen: De studie vergelijkt cross-validatie met willekeurige splitsing, scaffold-split en het canonieke LOTO-protocol. Daarnaast wordt een "within-target cross-lab"-evaluatie geïntroduceerd, waarbij de data van één publicatie wordt terughouden voor targets met meerdere publicaties om de variatie tussen laboratoria te isoleren.
Architectuur en Schaal-invariantie: De auteurs evalueren acht verschillende architecturen (waaronder DeepPROTACs, DegradeMaster, PROTAC-STAN en standaard baselines zoals Random Forest met Morgan-vingerafdrukken) en schalen eiwit-talenmodellen (PLMs) van 8M tot 3B parameters (ESM-2).
Hyperparameter-optimalisatie (HPO): Er wordt een HPO-zoektocht in 21 dimensies uitgevoerd over 2.000 trials om te testen of agressieve optimalisatie het prestatiedak kan doorbreken. De resultaten worden geanalyseerd tegenover de Bailey-López de Prado gesloten-vormvoorspelling voor selectiebias.
Variantieontleding: De kloof wordt getrianguleerd met vier onafhankelijke grenzen:
- Variatie in metingen tussen laboratoria (via cross-lab cascade).
- Keuze van binaire drempelwaarde over vier labelschema's.
- Verwijdering van conflicten tussen DOI's.
- Residuele distributieverandering.
Few-Shot Kalibratie: De studie test of hertraining per target met few-shot data ( $k=5$ ), gecombineerd met ADMET-kenmerken, de door meetruis verloren prestaties kan herstellen.

Belangrijkste Resultaten

1. Het Universele Prestatiedak

Over alle acht geëvalueerde architecturen en ESM-2 PLM-schalen heen, plateaut de LOTO-prestatie binnen een smalle band van 0,668 tot 0,678 AUROC.

PLM-schaling: Grotere PLMs (tot 3B parameters) verbeteren de LOTO-prestatie niet; de prestatie is zelfs niet-monotoon, met een piek bij 150M parameters (0,691) en een achteruitgang bij grotere schalen. Dit suggereert dat grotere modellen fungeren als "toevallige taxonomen", die target-families identificeren die ze letterlijk hebben gezien tijdens pretraining in plaats van generaliseerbare afbraakmechanismen te leren.
HPO-regressie: De best gerangschikte configuratie van 2.000 HPO-trials (single-seed doelwit 0,764) regresseerde naar 0,603 onder multi-seed validatie, een daling van 0,161 AUROC. Dit komt overeen met de theoretische voorspelling voor selectiebias (Bailey-López de Prado), wat aangeeft dat single-seed HPO overpast op ruis.

2. Toeschrijving van Variantie

De studie ontbindt de kloof van willekeurige splitsing naar LOTO (ongeveer 0,18–0,20 AUROC) en identificeert variantie in metingen tussen laboratoria als de dominante component:

Grens tussen laboratoria: Een within-target cross-lab cascade (Random-CV 0,802 $\to$ Cross-Lab 0,678 $\to$ LOTO 0,653) verankert de bijdrage tussen laboratoria op 0,124 AUROC.
Empirische anker: Identieke verbindingen gemeten in verschillende publicaties tonen een mediaan DC50-variatie van 3,7-voud, wat neerkomt op een equivalente label-flip-ratio van ~23% onder synthetische ruis-kalibratie.
Andere factoren: De keuze van binaire drempelwaarde draagt ongeveer 0,05 AUROC bij, terwijl andere factoren (conflictverwijdering, residuele verschuiving) verwaarloosbaar zijn. De kloof is primair een probleem van meetvariantie, niet van leringsfalen.

3. Herstel via Few-Shot Kalibratie

Hoewel het "dak" vastligt voor zero-shot voorspelling, toont de studie aan dat few-shot hertraining per target een deel van de verloren prestatie kan herstellen:

Het combineren van Morgan-vingerafdrukken, ADMET-kenmerken en gestratificeerde $k=5$ hertraining tilt de 65-target LOTO AUROC van 0,668 naar 0,7050.
Deze aanpak presteert beter dan meta-learning baselines (MAML, ProtoNet) en suggereert dat de component van variantie tussen laboratoria herstelbaar is als een klein aantal targetspecifieke metingen beschikbaar is.
Kalibratie: Post-hoc Platt-schaling herstelt de ruwe output Expected Calibration Error (ECE) van 0,150 naar 0,031, waardoor deze onder de drempel van 0,05 voor goed gekalibreerde modellen komt.

4. Structurele en Geometrische Benaderingen

Evaluatie van 3D-structurele kenmerken (EGNN, Boltz-2, AlphaFold-voorspelde pockets) toont aan dat deze maximaal 0,013 AUROC bijdragen boven 2D Morgan-vingerafdrukken. Pocket-shuffle-controles (willekeurig permuteren van pocket-residuen) degraderen de prestatie met minder dan 0,013 AUROC, wat aangeeft dat huidige structurele voorspellingsinstrumenten geen signaal leveren dat sterk genoeg is om de ruisvloer tussen laboratoria te overwinnen.

Betekenis en Claims

De paper beweert dat de schijnbare generalisatiekloof in PROTAC-activiteitsvoorspelling geen falen is van modelarchitectuur of capaciteit, maar een weerspiegeling is van de reproduceerbaarheidsvloer tussen laboratoria van de onderliggende experimentele data.

Methodologische bijdrage: Het werk biedt een raamwerk voor variantieontleding en een benchmark (PROTAC-Bench) die de focus verschuift van "betere modellen" naar "betere evaluatie van meetruis". Het betoogt dat het operationele plafond voor voorspelling op terughouden targets momenteel wordt begrensd door datakwaliteit (0,668–0,678 AUROC) en niet door algoritmische beperkingen.
Praktische implicatie: Voor implementatie beveelt de paper een drie-trapsprotocol aan: een Morgan-baseline (0,668), aangevuld met ADMET-kenmerken (0,687), en verder verbeterd door few-shot hertraining per target (0,705). Er wordt benadrukt dat predictoren moeten worden gebruikt voor "verrijking van actief versus inactief" in plaats van fijnmazige potentieranking, aangezien de dataruis nauwkeurige ranking uitsluit.
Generaliseerbaarheid: De auteurs stellen dat deze ontledingsmethodologie – het toeschrijven van generalisatiekloven aan meetvariantie in plaats van leringsfalen – dient als sjabloon voor andere therapeutische settings met weinig data waar variantie tussen laboratoria of tussen locaties een dominante bron van ruis is.

De auteurs stellen expliciet dat geen enkel model in dit werk de voorspellende nauwkeurigheid overtreft die haalbaar is door domeinexperts met standaard cheminformatica-instrumenten onder de huidige data-beperkingen, en dat de primaire bijdrage methodologische transparantie is met betrekking tot evaluatieprotocollen en variantietoeschrijving.