Empty scaffold allocation bias in molecular distribution shift evaluation
Dit artikel onthult dat standaard op scaffolds gebaseerde evaluatiemethoden een verborgen allocatiebias introduceren door chemisch heterogene "geen-scaffold" moleculen onjuist als een enkele eenheid te behandelen, wat generalisatiemetrieken over veelvoorkomende benchmarks vertekent, en stelt een "Empty-Scaffold-Aware" reparatie voor om een gebalanceerde representatie en nauwkeurige prestatiebeoordeling te herstellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef bent die een robot probeert te leren koken. Je wilt weten of de robot daadwerkelijk de principes van het koken kan leren, of dat hij alleen specifieke recepten uit zijn hoofd leert. Om dit te testen, geef je de robot een reeks oefengerechten (de trainingsset) en test je hem vervolgens op volledig nieuwe gerechten die hij nog nooit heeft gezien (de testset).
In de wereld van de AI-chemie gebruiken wetenschappers een methode genaamd Scaffold Splitting om dit te doen. Ze groeperen moleculen op basis van hun "skelet"—de kernstructuur van ringen en verbindingen die ze bij elkaar houdt. Het idee is simpel: als je de robot leert over één type skelet, moet je hem testen op een ander type skelet om te zien of hij de chemie echt begrijpt. Als de robot faalt op het nieuwe skelet, betekent dit dat hij alleen het oude skelet uit zijn hoofd heeft geleerd.
Maar hier komt de twist: sommige moleculen hebben helemaal geen skelet.
De "Ghost" Moleculen
In de chemie is er een standaardmethode om het skelet van een molecuul te vinden. Maar voor sommige vreemde, slappe of kleine moleculen geeft dit proces een lege emmer terug. Dit zijn de "no-scaffold" moleculen. Ze delen geen gemeenschappelijke ringstructuur; het is een chaotische mix van restjes.
De paper van Tao Song, Yong Wang en hun team aan de China University of Petroleum (East China) en Tiangong University ontdekte een grote fout in hoe we deze AI-chefs testen.
De Fout:
Standaard testregels zeggen: "Zet alle moleculen met hetzelfde skelet in dezelfde groep." Maar omdat "no-scaffold" moleculen allemaal een leeg skelet hebben, behandelt de computer ze allemaal als één enkele, gigantische groep. Het zet ze allemaal in dezelfde emmer.
Het Probleem:
Omdat ze worden behandeld als één ondeelbare groep, gooit de computer vaak alle deze "ghost" moleculen in de testset en laat er geen enkele in de trainingsset.
- De Analogie: Stel je voor dat je een student leert om fruit te herkennen. Je laat hem appels, bananen en sinaasappels zien. Maar voor het eindexamen geef je hem een kom met "mysterieus prut" (de no-scaffold moleculen). Je hebt hem niet geleerd hoe "prut" eruitziet, maar je verwacht dat hij de smaak raadt.
- Het Resultaat: De student (de AI) faalt hopeloos. Maar komt dat omdat de student slecht is in chemie? Of komt het omdat je vals hebt gespeeld door de hele "prut"-categorie tijdens de oefening te verbergen?
Hoe algemeen is dit?
De auteurs gokten het niet alleen; ze bekeken de data. Ze ontdekten dat dit "ghost"-probleem overal voorkomt:
- In 8 van de 16 populaire datasets (MoleculeNet) had meer dan 10% van de moleculen geen skelet.
- In sommige specifieke datasets zoals FreeSolv en QM7 waren bijna 50% van de moleculen "ghosts".
- In een enorme collectie drug-testing taken (Deep-PK/ADMET), hadden 40 van de 73 taken meer dan 10% no-scaffold moleculen.
De "Lege Emmer" is een puinhoop
De auteurs controleerden of deze "ghost" moleculen daadwerkelijk op elkaar leken. Ze kwamen tot de conclusie dat ze dat niet waren.
- Echte skeletgroepen zijn als een familie van neven; ze lijken op elkaar.
- De "no-scaffold" groep is als een stapel willekeurige troep. De gemiddelde gelijkenis tussen hen is slechts 0,110, wat nauwelijks hoger is dan willekeurige ruis.
- Ze liggen ook heel ver weg van de moleculen waar de AI wel van heeft geleerd. De dichtstbijzijnde "buur" van een ghost-molecuul in de trainingsset is slechts 0,300 gelijkaardig, terwijl echte families buren hebben die 0,477 tot 0,573 gelijkaardig zijn.
Omdat ze zo verschillend zijn van de trainingsdata, heeft de AI geen kans om ze te leren.
De Gevolgen: De Scores Liegen
Wanneer de AI op deze "ghost" moleculen wordt getest zonder ze eerder in de training te hebben gezien, zijn de resultaten rampzalig, maar niet op een manier die zegt dat de AI "slim maar ongelukkig" is.
1. Voor Classificatie (Ja/Nee vragen):
De AI stopt met het correct rangschikken van zaken. De scores worden platgeslagen naar de "prior baseline".
- De Analogie: Als je een student vraagt om 100 mysterieuze items te rangschikken van "beste" naar "slechtste", en de student heeft geen idee wat ze zijn, dan zal hij misschien voor alles "gemiddeld" kiezen.
- De Data: De auteurs vonden dat de prestaties in rangschikking aanzienlijk daalden. In de MoleculeNet datasets daalde de mediane score van 0,259 (normaal) naar 0,035 (ghosts). In ADMET daalde het van 0,409 naar 0,119.
- De Schok: In de Tox21 dataset stortte de score naar 0,018 voor ghosts, vergeleken met 0,303 voor normale moleculen. De AI faalde niet alleen; hij gaf het op en gokte willekeurig.
2. Voor Regressie (Getallen voorspellen):
De fouten explodeerden.
- De Data: De relatieve fout (relMAE) nam gemiddeld 1,35-voudig toe.
- De Extremen: In sommige gevallen was de fout 2-voudig (dubbel) of zelfs 3-voudig (driedubbel) hoger dan normaal. In MoleculeNet had 44,8% van de testpunten ten minste een dubbele fout. Dit is enorm vergeleken met normale variaties, die meestal klein zijn.
Hielpen andere methoden?
De auteurs controleerden of andere populaire manieren om data te splitsen, zoals UMAP clustering, DataSAIL en LoHi, het probleem zouden oplossen. Ze hoopten dat deze slimmere methoden het zouden repareren.
- Het Oordeel: Dat deden ze niet. Hoewel ze niet alle ghosts in de testset plaatsten zoals de standaardmethode deed, lieten ze de trainingsset nog steeds met zeer weinig ghosts achter.
- De Data: Met de standaard splitsing had de trainingsset in het slechtste geval 0% ghosts. Met DataSAIL had de trainingsset nog steeds slechts 14,7% van de ghosts, terwijl de testset 81,6% had.
- De Conclusie: Geen van de huidige methoden garandeert dat de AI de kans krijgt om met deze "ghost" moleculen te oefenen voordat de test begint.
De Oplossing: "Empty-Scaffold-Aware" Repair (ESA)
De auteurs wezen niet alleen op het probleem; ze bouwden een patch genaamd ESA.
- Hoe het werkt: Ze hielden de standaard split aan voor de "echte" moleculen (die met skeletten), maar namen de "ghost" moleculen en verdeelden deze zorgvuldig opnieuw. Ze zorgden ervoor dat de trainingsset een eerlijk deel van de ghosts kreeg, terwijl er nog steeds enkele in de testset werden gelaten om te zien of de AI ze kan afhandelen.
- Het Resultaat: Dit herstelde de onbalans. De trainingsset ging van 14,7% ghosts naar 26,0%. De testset ging van 81,6% naar beneden naar 11,5%.
- Veiligheidscontrole: Ze zorgden ervoor dat dit niet zou betekenen dat de AI "stiekem naar de antwoorden keek". De gelijkenis tussen de trainings-ghosts en de test-ghosts bleef laag, zodat de AI ze nog steeds moest leren en ze niet alleen kon memoriseren.
De Belangrijkste Les
Het artikel betoogt dat we niet simpelweg naar een hoge score kunnen kijken en zeggen: "Geweldig, de AI is klaar!" Als de testset vol zit met "ghost" moleculen die de AI nooit in de training heeft gezien, is die score misleidend. Het is geen test van generalisatie; het is een test van hoe goed de AI het afvindt als hij zonder reddingsvest in het diepe water wordt gegooid.
De auteurs stellen dat toekomstige tests drie dingen duidelijk moeten rapporteren:
- Hoeveel "ghost" moleculen zijn er?
- Hoeveel heeft de AI ermee kunnen oefenen?
- Hoeveel zijn er over voor de test?
Totdat we dit oplossen, overschatten we misschien hoe slim onze moleculaire AI werkelijk is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.