Three properties of a decoy pool decide a protein–protein rescoring comparison: the candidate-set size, its composition, and the relaxation of its near-native poses
Deze studie toont aan dat de validiteit van vergelijkingen voor het herwaarderen van eiwit-eiwitinteracties kritisch afhangt van de grootte en samenstelling van de kandidaatset en de relaxatie van nabij-natieve poses, aangezien kennisgebaseerde potentialen alleen beter presteren dan proxies gebaseerd op vormcomplementariteit wanneer ze worden toegepast op gebonden, botsingsvrije decoy-pools in plaats van op ongebonden of zoekgegenereerde sets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je twee eiwitten voor die elkaar proberen te vinden in de drukke, chaotische omgeving van een cel. Ze zijn als twee puzzelstukjes die in een donkere kamer rondzweven, waarbij elk een specifieke vorm heeft die perfect moet passen om een biologische functie te ontgrendelen. Wetenschappers hebben computerprogramma's ontwikkeld om te voorspellen hoe deze stukjes in elkaar klikken, een proces dat moleculaire docking wordt genoemd. De computer genereert duizenden mogelijke manieren waarop de twee eiwitten naast elkaar kunnen liggen, wat een enorme lijst met gokjes creëert. De meeste van deze gokjes zijn fout, maar een paar zijn zeer dicht bij de ware, natuurlijke rangschikking. De uitdaging voor onderzoekers is het schrijven van een scorensysteem dat uit deze lange lijst kan kijken en de ene beste gok kan uitkiezen, de gok die de werkelijkheid evenaart.
Jarenlang hebben wetenschappers deze scorensystemen getest met een specifieke methode. Ze nemen een bekende, correcte rangschikking, schudden deze lichtjes om een reeks "decoys" of nepposes te creëren, en kijken dan of hun nieuwe scorensysteem de oorspronkelijke correcte positie kan vinden tussen de neppen. Deze aanpak heeft geleid tot de overtuiging dat bepaalde soorten scorensystemen, die vertrouwen op statistische patronen van hoe atomen gewoonlijk met elkaar interageren, superieur zijn aan simpelere systemen die alleen kijken naar hoe goed de vormen in elkaar passen. Echter, een nieuwe studie suggereert dat deze langdurige conclusie mogelijk een illusie is, gecreëerd door de manier waarop de tests zijn ontworpen. De onderzoekers ontdekten dat het succes van een scorensysteem volledig afhangt van de specifieke omstandigheden van de test, met name of de startstructuren perfect of licht imperfect zijn, en hoeveel gokjes er tegelijkertijd worden geëvalueerd.
De onderzoekers, werkzaam aan de Guangxi University of Science and Technology, besloten te onderzoeken waarom deze tests soms zulke verschillende antwoorden geven. Ze bouwden drie verschillende sets testgegevens om een statistisch scorensysteem te vergelijken met een eenvoudig systeem voor vormherkenning. De eerste set werd gemaakt door de perfecte, bekende structuren van de eiwitten te nemen en deze voorzichtig te laten trillen om een pool van gokjes te creëren. In dit scenario was het juiste antwoord altijd vlakbij, slechts een klein beetje verschoven. De tweede set gebruikte dezelfde trilmethode, maar begon met de imperfecte, niet-gebonden structuren van de eiwitten, die zijn hoe ze in de cel bestaan voordat ze elkaar ontmoeten. De derde set was een echte, gepubliceerde output van een belangrijk dockingprogramma, wat vertegenwoordigt wat een computer daadwerkelijk produceert wanneer deze op zoek gaat naar een match zonder enige hulp.
Toen de onderzoekers hun statistische scorensysteem testten op de eerste set, waar de startstructuren perfect waren, presteerde het briljant. Het plaatste de correcte pose consequent helemaal bovenaan de lijst, waarmee het de eenvoudige vormherkenningsmethode ruim overtrof. Dit resultaat bevestigde de traditionele visie dat statistische methoden beter zijn. Maar op het moment dat ze overschakelden naar de tweede set, met de imperfecte, niet-gebonden structuren, verdween het voordeel. Het statistische systeem vond de correcte pose niet beter dan door toeval. Toen ze de derde set testten, de echte wereldoutput van het dockingprogramma, vertoonde het statistische systeem geen enkel voordeel ten opzichte van het systeem voor vormherkenning. Het kon de correcte pose niet onderscheiden van de duizenden foute, en in sommige gevallen waren de resultaten niet significant verschillend van willekeurige kans.
De studie onthulde de reden voor deze dramatische verschuiving. Het statistische scorensysteem werkt door te tellen hoeveel atomen te dicht bij elkaar zitten, een situatie die bekend staat als een botsing (clash). In de perfecte, geschudde modellen had de correcte pose geen botsingen, waardoor het systeem een hoge score gaf. Maar in de imperfecte modellen en de echte wereldzoekresultaten bevatte de correcte pose van nature enkele onvermijdelijke botsingen omdat de startstructuren licht ontstemd waren. Het statistische systeem zag deze botsingen en strafte de correcte pose, waardoor het de juiste positie effectief bestrafde voor het zijn van het juiste antwoord in een rommelige realiteit. Het eenvoudige vormherkenningssysteem had dit probleem niet; het was minder gevoelig voor deze kleine imperfecties en presteerde daarom consistenter over de verschillende soorten tests heen.
De onderzoekers ontdekten ook dat de omvang van de lijst die wordt geëvalueerd de uitspraak verandert. Wanneer de lijst met gokjes klein was, bestaande uit slechts de top twintig voorspellingen, leek het statistische systeem superieur op de perfecte modellen. Maar naarmate de lijst groter werd, met honderden of duizenden gokjes, begon het eenvoudige vormherkenningssysteem beter te lijken in termen van algemene rangschikking, ook al was het statistische systeem nog steeds beter in het vinden van de enkele beste pose in de kleine lijsten. Dit betekent dat de vraag "welk systeem is beter?" geen enkel antwoord heeft; het hangt er volledig vanaf of je op zoek bent naar de absolute beste gok in een kleine groep of dat je een enorme berg data probeert te sorteren.
Misschien wel de meest opmerkelijke bevinding was dat bij de echte wereld-dockingoutput geen enkel scorensysteem betrouwbaar de correcte pose kon vinden wanneer de lijst klein was. De onderzoekers pasten een strikte test toe om te zien of de scores werkelijk informatie bevatten of dat ze slechts willekeurige ruis waren. Ze ontdekten dat de scores voor de echte werelddata niet te onderscheiden waren van een geschudde, willekeurige lijst. De correcte pose was simpelweg niet aanwezig in de top van de door het zoekprogramma gegenereerde gokjes, waardoor geen enkel scorensysteem het kon redden. Het statistische systeem faalde niet omdat het slecht was in rangschikken; het faalde omdat het object dat het moest vinden, geheel ontbrak uit de lijst.
Dit werk dwingt tot een heroverweging van hoe eiwitdocking wordt geëvalueerd. De studie concludeert dat een vergelijking tussen scorensystemen alleen geldig is als onderzoekers duidelijk vermelden wat de omvang van de geteste lijst is, wat de samenstelling van die lijst is, en of de correcte poses in die lijst structureel perfect of licht gespannen zijn. Een scorensysteem dat een winnaar lijkt op een schone, kunstmatige testset, kan nutteloos zijn in een echte toepassing waar de startstructuren imperfect zijn en het juiste antwoord begraven ligt onder een zee van foute gokjes. De auteurs betogen dat toekomstige benchmarks deze details expliciet moeten rapporteren, omdat zonder deze details een bewering dat de ene methode beter is dan de andere niet alleen onvolledig is, maar potentieel misleidend. Het succes van een methode is geen inherente eigenschap van de software, maar een resultaat van de specifieke omstandigheden waaronder zij wordt gevraagd te werken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.