Constructed negatives determine the population a benchmark can rank over
Dit artikel betoogt dat benchmark-rangschikkingen fundamenteel worden beperkt door de uitsluiting van slecht geannoteerde entiteiten bij het construeren van negatieven, waarbij wordt aangetoond dat hoge weglatingspercentages (W > 0,5) een strikte modelordening verhinderen en de gemeenschap aansporen om doeldefinities, steun voor bemonstering en bewijsvoering voor vergelijkingen transparant te rapporteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In het uitgestrekte landschap van biologische ontdekkingen vertrouwen wetenschappers vaak op computermodellen om te voorspellen hoe eiwitten interageren of waar chemische labels aan gehecht worden. Om deze modellen te onderwijzen, moeten onderzoekers hen voorbeelden laten zien van dingen die wel gebeuren (positieven) en voorbeelden van dingen die niet gebeuren (negatieven). De uitdaging is dat we wel een goede lijst hebben van dingen die wel gebeuren, maar zelden een volledige lijst van alles wat niet gebeurt. In plaats daarvan creëren wetenschappers vaak een lijst van "negatieven" door ervan uit te gaan dat elke interactie of modificatie die ze nog niet hebben gezien, waarschijnlijk een niet-gebeurtenis is. Deze aanname vormt de basis van veel benchmarks, of standaardtests, die worden gebruikt om te beoordelen hoe goed een nieuw model presteert. Als de test gebrekkig is, wordt de rangschikking van de beste modellen onbetrouwbaar, wat onderzoekers potentieel het verkeerde pad op stuurt in hun zoektocht naar nieuwe medicijnen of biologische inzichten.
Een onderzoeker aan de Tulane University, Justin Li, heeft een fundamentele fout blootgelegd in de manier waarop deze tests vaak worden geconstrueerd. Hij ontdekte dat de manier waarop wetenschappers hun "negatieve" voorbeelden kiezen, vaak enorme delen van de biologische wereld weglaat, waardoor de test effectief blind is voor een meerderheid van de kandidaten die hij beweert te evalueren. Li's werk laat zien dat wanneer een test meer dan de helft van de mogelijke kandidaten uitsluit, er geen strikte ordening van twee modellen kan worden vastgesteld zonder aanvullende aannames, zelfs als één model hoger scoort op de test. De studie wijst niet alleen op een kleine fout; het demonstreert dat de populatie waarover een benchmark beweert te rangschikken, vaak een piepkleine, niet-representatieve doorsnede van de werkelijkheid is, en dat verbeteringen die op deze tests worden gezien, soms kunnen verdwijnen of zelfs omkeren wanneer ze worden toegepast op het volledige plaatje.
De kern van het probleem ligt in een regel die veel onderzoekers gebruiken om hun gegevens "schoon" te houden. Om te voorkomen dat ze per ongeluk een echte biologische gebeurtenis als "negatief" labelen omdat deze nog niet ontdekt is, hanteren wetenschappers vaak een hoge drempel voor inclusie. Ze kunnen zeggen: "We zullen alleen eiwitten als negatieve voorbeelden gebruiken als we er al veel over weten." Hoewel dit een veilige manier lijkt om de nauwkeurigheid te waarborgen, liet Li zien dat deze regel werkt als een zeef die bijna alles wegfiltert. In acht verschillende taken met betrekking tot chemische modificaties op eiwitten, sloot deze regel tussen de 60% en 97% van de kandidaateiwitten uit. In de ergste gevallen keek de test slechts naar een fractie van de eiwitten die hij zou moeten dekken.
Li ontwikkelde een manier om precies te meten hoeveel van de doelpopulatie ontbreekt. Hij vond dat zodra het ontbrekende deel groter is dan de helft van het totaal, de test zijn vermogen verliest om een strikte rangschikking tussen modellen te garanderen zonder aannames over het uitgesloten gebied. Stel je voor dat je de kwaliteit van een bibliotheek probeert te beoordelen door alleen de boeken op de bovenste plank te lezen; als de onderste planken de beste boeken bevatten, zal je oordeel onjuist zijn. In deze biologische tests is de "bovenste plank" de kleine groep goed gedocumenteerde eiwitten, terwijl de "onderste planken" de enorme meerderheid van de eiwitten zijn die de test negeert. Wanneer het genegeerde deel zo groot is, kan een model op de test als het beste verschijnen simpelweg omdat het toevallig goed werkt op die kleine, gemakkelijke groep, terwijl het hopeloos faalt voor de rest van de biologische wereld.
Om dit te bewijzen, voerde Li een specifiek experiment uit waarbij hij een standaardmodel vergeleken met een versie die extra informatie over het hele eiwit bevat. Op de standaardtest, die alleen naar de goed gedocumenteerde eiwitten keek, leek de extra informatie te helpen. Echter, toen Li de test herbouwde om de eerder uitgesloten eiwitten in te sluiten, was de extra informatie in zeven van de acht taken zelfs nadelig voor de prestaties van het model. De functie die in de smalle test een nuttige upgrade leek, werd een last toen het model werd gedwgen de volledige reeks kandidaten aan te gaan. Deze omkering laat zien dat de initiële test niet het werkelijke vermogen van het model om te generaliseren mat; het mat enkel hoe goed het model paste bij een specifieke, smalle set regels.
De studie onderzocht ook een populaire benchmark voor eiwitinteracties, die wordt gebruikt om te testen hoe goed computers kunnen voorspellen welke eiwitten aan elkaar blijven plakken. Deze benchmark gebruikt een tweestapsfilter om negatieve voorbeelden te creëren. Eerst verwijdert het hele eiwitten die te veel verbindingen hebben, en daarna verwijdert het paren eiwitten die te dicht bij elkaar staan in een netwerkstructuur. Li ontdekte dat de eerste stap alleen al hele eiwitten uitsluit, wat betekent dat er voor sommige eiwitten helemaal geen negatieve voorbeelden zijn. De tweede stap verwijdert bijna alle paren voor veel andere eiwitten. Het resultaat is een test waarbij de "negatieve" voorbeelden zo schaars en bevooroordeeld zijn dat ze de echte wereld van eiwitinteracties niet vertegenwoordigen. Sterker nog, de test sluit 73% van de eiwitten uit in zijn eigen gestelde universum, waardoor er een enorme kloof ontstaat tussen wat de test claimt te meten en wat hij daadwerkelijk ziet.
Li's werk suggereert niet dat deze modellen nutteloos zijn, maar wel dat we eerlijk moeten zijn over wat ze eigenlijk testen. Een benchmark moet duidelijk vermelden welk deel van de biologische wereld het dekt en toegeven wat het achterlaat. Als een test meer dan de helft van de kandidaten uitsluit, kan het niet certificeren dat het ene model beter is dan het andere voor de gehele populatie zonder verdere aannames. De onderzoeker raadt aan dat wetenschappers exact rapporteren hoeveel kandidaten worden opgenomen en uitgesloten, en dat zij voorzichtig moeten zijn met het claimen van de superioriteit van een model, tenzij de test een groot genoeg deel van het doelwit dekt om een eerlijke vergelijking te maken.
De bevindingen dienen als een noodzakelijke correctie op het gebied van biologische voorspelling. Door het onderscheid te maken tussen de prestaties van een model op de data die het ziet en de prestaties op de data die het mist, biedt Li een duidelijkere weg voorwaarts. De studie suggereert dat de huidige praktijk van het gebruik van strikte filters om "schone" negatieven te creëren, meer kwaad dan goed kan doen door een illusie van vooruitgang te creëren die verdwijnt wanneer de modellen geconfronteerd worden met de rommelige, incomplete realiteit van biologische data. De oplossing is niet om deze tests op te geven, maar om ze te ontwerpen met een volledig begrip van hun grenzen, zodat de rangschikkingen die ze produceren de ware potentie van de modellen reflecteren in plaats van de eigenaardigheden van de test zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.