Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

Deze studie toont aan dat de meeste topmodellen in de TDC ADMET-leaderboards niet reproduceerbaar zijn of last hebben van datalekken en overfitting, en pleit daarom voor strengere benchmarkprocedures met verborgen testsets en gestandaardiseerde inferentieomgevingen.

De kern

Stel je voor dat de wereld van medicijnontwikkeling een enorme sportcompetitie is. Wetenschappers bouwen allemaal verschillende "robots" (computerprogramma's) die moeten voorspellen of een nieuw chemisch stofje veilig is voor mensen en of het goed werkt in het lichaam.

Om te zien wie de beste robot is, is er een groot online scorebord: de TDC Leaderboard. Dit is als een ranglijst in een e-sporttoernooi. De robots die bovenaan staan, krijgen de meeste aandacht, funding en roem.

De auteurs van dit artikel (een team van Receptor.AI) hebben echter besloten om niet alleen naar de cijfers te kijken, maar om echt te controleren of deze robots wel eerlijk spelen en of ze wel werken zoals beloofd. Ze hebben de top-3 robots van elk van de 22 verschillende sportonderdelen (zoals "opname in het bloed" of "giftigheid") onder de loep genomen.

Hier is wat ze hebben ontdekt, vertaald in begrijpelijke taal:

1. De "Spookrobots" (Niet reproduceerbaar)

Veel robots die bovenaan de lijst staan, blijken in het echt niet te bestaan of niet te werken.

• De analogie: Het is alsof iemand zegt: "Ik heb de snelste auto ter wereld gebouwd!" en hij toont je een foto van een strakke Ferrari. Maar als je vraagt om de sleutel om hem te starten, zegt hij: "Oh, de sleutel is zoekgeraakt" of "De motor past niet in deze garage".
• Het probleem: Voor veel topmodellen kon de code niet worden gevonden, of de instructies om ze te installeren waren zo slecht dat niemand ze kon laten draaien. Ze waren als een spook: je zag ze op de ranglijst, maar je kon ze niet aanraken.

2. De "Cheaters" (Datalekken)

Sommige robots hebben de antwoorden al gezien voordat ze de toets mochten maken.

• De analogie: Stel je voor dat je een examen doet. De meeste studenten studeren alleen de theorie. Maar een slimme student heeft per ongeluk (of expres) de antwoorden op het examenblad in zijn studiemateriaal gevonden. Hij scoort perfect, maar hij heeft de stof niet echt geleerd.
• Het probleem: De auteurs vonden dat sommige modellen (zoals MiniMol, GradientBoost en XGBoost) "lekkages" hadden. Dit betekent dat de computer tijdens het leren ook de antwoorden van de test had gezien. Ze waren niet slim, ze waren gewoon "geleerd" om de specifieke test te hacken. Als je ze een nieuwe, onbekende test gaf, faalden ze.

3. De "Klokkende Klokken" (Overfitting)

De auteurs hebben zelf een eerlijke robot gebouwd en hem vervolgens "gek" gemaakt om te zien wat er gebeurt als je expres op de test leert.

• De analogie: Stel je voor dat je een student traint voor een wiskundetoets. Als je hem alleen maar de exacte vragen van het oude examen laat oefenen, kan hij die vragen uit zijn hoofd leren. Hij krijgt dan een 10, maar als je hem een nieuwe vraag stelt, weet hij het antwoord niet meer.
• Het probleem: Ze lieten zien dat als je een model expres laat "leren" op de openbare testset, het plotseling van een middelmatige score naar een top-3 plek kan springen. Dit betekent dat de huidige ranglijst heel gevoelig is voor "cheating" of per ongeluk te veel aanpassen aan de test.

4. De "Eerlijke Kampioenen"

Niet alles was slecht. Er waren drie modellen die door de strenge controle kwamen: CaliciBoost, MapLight en MapLight+GNN.

• De analogie: Dit zijn de atleten die daadwerkelijk hebben getraind, hun spullen hebben meegenomen en de wedstrijd eerlijk hebben gewonnen. Ze konden hun code laten zien, hun instructies waren helder, en hun resultaten waren eerlijk.
• Het resultaat: Deze modellen presteerden goed, maar zelfs zij hadden last van een klein probleem: de "testvragen" (de dataset) werden door de organisators (TDC) soms stiekem aangepast zonder dat er een nieuwe versie werd gemarkeerd. Het is alsof de wedstrijdcommissie halverwege de regels verandert, waardoor het moeilijk is om te zeggen wie er écht de beste is.

Wat is de les voor de toekomst?

De auteurs concluderen dat we de huidige ranglijst niet blindelings moeten vertrouwen. Het is als een sportwedstrijd waar de scheidsrechter de regels niet goed controleert en waar sommige teams de antwoorden op het bord hebben geknipt.

Hun advies voor een eerlijkere toekomst:

1. Verborgen antwoorden: De testset moet geheim zijn (niet openbaar), zodat niemand de antwoorden kan zien voordat ze hun model bouwen.
2. Versiebeheer: Elke dataset moet een "serienummer" hebben, zodat we precies weten welke versie van de test er gebruikt is.
3. De robot zelf, niet alleen het resultaat: Wetenschappers moeten hun volledige programma (inclusief de omgeving waarin het draait) indienen, zodat iedereen het kan testen, in plaats van alleen een getal op een lijstje.

Kortom: De huidige ranglijst is een nuttige indicatie, maar geen garantie voor de beste medicijnen. Veel "topmodellen" zijn in feite slecht gebouwd, kunnen niet worden nagebootst, of hebben vals gespeeld. We hebben een nieuwe, strengere manier nodig om te kijken wie echt slim is en wie alleen maar goed heeft gememoriseerd.

Technische samenvatting

Probleemstelling

De ontwikkeling van nieuwe geneesmiddelen is duur en risicovol, waarbij falen vaak wordt veroorzaakt door ongunstige ADMET-eigenschappen (absorptie, distributie, metabolisme, uitscheiding en toxiciteit). Machine Learning (ML) modellen worden steeds belangrijker voor het voorspellen van deze eigenschappen. De Therapeutics Data Commons (TDC) wordt beschouwd als de "gouden standaard" voor het benchmarken van deze modellen via openbare leaderboards.

Het artikel identificeert echter ernstige tekortkomingen in de huidige benchmarkpraktijken:

1. Reproduceerbaarheid: Veel top-modellen zijn niet reproduceerbaar vanwege ontbrekende code, gebrekkige installatie-instructies of incompatibele software-omgevingen.
2. Datalekken (Data Leakage): Er is een risico dat modellen onbedoeld of opzettelijk geoptimaliseerd zijn op de publieke testset, wat leidt tot kunstmatig hoge prestaties die niet generaliseren naar nieuwe data.
3. Overfitting: De openbaarheid van de testset gedurende jaren maakt het mogelijk dat onderzoekers hyperparameters of architecturen afstemmen op specifieke ruis in de dataset in plaats van op fundamentele chemische principes.

Methodologie

De auteurs voerden een kritische evaluatie uit van de top-3 modellen voor elk van de 22 ADMET-eindpunten op de TDC-leaderboard. De evaluatie volgde een gestructureerd protocol:

1. Selectie: Uit de top-3 per eindpunt werd een definitieve lijst van 10 unieke architecturen samengesteld (waaronder MiniMol, MapLight, XGBoost, GradientBoost, CaliciBoost, etc.).
2. Reproduceerheidscheck: De auteurs probeerden de modellen lokaal uit te voeren. Ze controleerden op beschikbaarheid van broncode, de functionaliteit van installatie-instructies en de compatibiliteit van de runtime-omgeving.
3. Datalek-analyse: Er werd gekeken naar overlap tussen trainings- en testsets. Hiervoor werden Tanimoto-similariteitscores berekend met Morgan-fingerprints. Specifiek voor het MiniMol-model (gebaseerd op pre-training) werd gecontroleerd of moleculen uit de TDC-testset daadwerkelijk uit de pre-training dataset waren verwijderd, rekening houdend met stereochemie en tautomeren.
4. Validatie van optimalisatie: De auteurs onderzochten of hyperparameter-optimalisatie correct werd uitgevoerd zonder dat de testset werd gebruikt voor tuning.
5. Herschikking en Vergelijking: Voor modellen die alle checks doorstonden, werden de resultaten opnieuw berekend en vergeleken met de originele leaderboard-rangschikking.
6. Interne Validatie & Overfitting-experiment: De auteurs ontwikkelden hun eigen "eerlijke" modellen (gebaseerd op LightGBM en Mol2Vec embeddings) en vergeleken deze met opzettelijk overgefitte varianten (waarbij de testset werd gebruikt voor feature-selectie en hyperparameter-tuning) om de gevoeligheid van de leaderboard voor overfitting te kwantificeren.

Belangrijkste Resultaten

• Faalende Reproduceerbaarheid: Van de onderzochte top-modellen konden slechts 3 modellen (CaliciBoost, MapLight, en MapLight+GNN) volledig worden gereproduceerd.
  • Andere modellen faalden vanwege gebroken links (CFA), onoplosbare afhankelijkheden (ADMETrix, SimGCN) of runtime-fouten (ZairaChem).
• Gedetecteerde Datalekken:
  • MiniMol: Hoewel de auteurs beweerden dat testset-moleculen waren verwijderd, vonden de onderzoekers dat filtering op basis van canonieke SMILES onvoldoende was. Door gebrek aan stereochemische annotaties en tautomerisme bleven chemisch identieke moleculen (zoals danazol) in de trainingsdata achter, wat leidt tot datalekken.
  • GradientBoost & XGBoost: Deze modellen gebruikten een foutieve dataset-splitsing waarbij de validatieset tijdens de tuning gedeeltelijk overlapte met de publieke testset (door een hard-coded random seed). Dit leidde tot directe datalekken en kunstmatig opgeblazen metrics. Na correctie daalden hun rangschikkingen aanzienlijk (van 1e naar 3e en van 2e naar 8e).
• Reproduceerbaarheid van Top-Modellen: De drie modellen die alle checks doorstonden (CaliciBoost, MapLight, MapLight+GNN) toonden over het algemeen hoge reproduceerbaarheid. De verschillen tussen gerapporteerde en gereproduceerde metrics waren minimaal (< 0,01), hoewel kleine afwijkingen werden toegeschreven aan dataset-verschillen (TDC heeft geen strikte versiebeheer).
• Impact van Overfitting:
  • De "eerlijke" interne modellen bereikten slechts 2 keer een top-3 positie over de 22 eindpunten.
  • De opzettelijk overgefitte varianten bereikten echter 10 keer een top-3 positie (inclusief 1e plaatsen voor eindpunten zoals bbb_martins en clearance_microsome_az).
  • Dit bewijst dat publieke leaderboards extreem gevoelig zijn voor tuning op de testset, waardoor modellen met een lagere werkelijke generalisatievermogen hoog kunnen scoren.
• Dominantie van Bestaande Modellen: Ondanks de gevoeligheid voor overfitting, domineren modellen zoals MapLight en MiniMol de leaderboards consistent. De auteurs concluderen dat dit waarschijnlijk komt door superieure architectuur en descriptor-selectie, en niet puur door overfitting, aangezien hun eigen overgefitte modellen niet dezelfde brede dominantie konden behalen.

Bijdragen en Conclusies

De studie levert een kritische bijdrage aan het veld van chemoinformatica door aan te tonen dat hoge leaderboard-rangschikkingen niet automatisch gelijkstaan aan state-of-the-art prestaties of robuuste voorspellende kracht.

Kernconclusies:

1. Kwaliteitscontrole ontbreekt: De huidige TDC-leaderboard accepteert modellen zonder systematische verificatie van code-beschikbaarheid of methodologische correctheid.
2. Risico van Open Testsets: Open testsets leiden onvermijdelijk tot overfitting, zowel per ongeluk als opzettelijk, wat de wetenschappelijke waarde van de benchmarks ondermijnt.
3. Noodzaak voor Versiebeheer: Het ontbreken van strikte dataset-versiebeheer (checksums, changelogs) maakt exacte reproduceerbaarheid onmogelijk, zelfs voor goed gedocumenteerde modellen.

Aanbevelingen voor de toekomst:

• Gebruik van verborgen testsets (niet publiek beschikbaar) om overfitting te voorkomen.
• Implementatie van strikt dataset-versiebeheer met unieke checksums voor elke release.
• Inleveren van modellen in gestandaardiseerde inference-omgevingen (bijv. containers) in plaats van alleen resultaten, om automatische kwaliteitscontrole en reproduceerbaarheid te garanderen.

Het artikel pleit voor een verschuiving van het simpelweg bijhouden van ranglijsten naar het ontwikkelen van robuuste evaluatiemethodologieën die rekening houden met data-onzekerheid en integriteit.