Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

In de microscopische wereld binnen onze cellen werken duizenden eiwitten samen om het leven draaiende te houden. Om te begrijpen hoe deze eiwitten veranderen wanneer iemand ziek wordt of wanneer een behandeling werkt, gebruiken wetenschappers een techniek genaamd label-vrije proteomics. Stel je voor dat je probeert het gewicht van een menigte mensen te bepalen door een foto van hen te maken; de camera legt iedereen vast, maar om te weten hoeveel elke persoon weegt, moet je de helderheid van hun afbeelding meten. In deze wetenschappelijke methode vertelt de "helderheid" van het signaal van een eiwit onderzoekers hoeveel er van dat eiwit aanwezig is. Door deze signalen te vergelijken tussen twee verschillende condities—bijvoorbeeld gezond weefsel versus ziek weefsel—kunnen wetenschappers zien welke eiwitten zijn toegenomen of afgenomen. Het verkrijgen van een nauwkeurige telling is echter moeilijk. Het proces omvat complexe computerprogramma's om de eiwitten te identificeren, en vervolgens een lange keten van beslissingen over hoe om te gaan met ontbrekende gegevens, hoe de monsters te vergelijken en hoe te bepalen wat telt als een echte verandering versus een willekeurige fluctuatie. Als deze latere stappen slecht worden afgehandeld, kan de uiteindelijke lijst van belangrijke eiwitten vol fouten zitten, wat onderzoekers het verkeerde pad op leidt.

Een onderzoeker nam onlangs een publieke dataset, waarbij de ware antwoorden al bekend waren, om precies te testen hoe deze verschillende keuzes het uiteindelijke resultaat beïnvloeden. De data kwamen uit een slim experiment waarbij wetenschappers eiwitten uit drie verschillende soorten mengden: mensen, gist en een veelvoorkomende darmbacterie genaamd E. coli. Ze maakten twee mengsels met bekende proporties. In het eerste mengsel bestonden de menselijke eiwitten voor 65 procent uit mensen, 30 procent uit gist en 5 procent uit bacteriën. In het tweede mengsel hielden ze de menselijke eiwitten gelijk, maar halveerden ze de gist en verviervoudigden ze de bacteriën. Omdat de beginhoeveelheden bekend waren, wisten de onderzoekers precies wat de computer moest vinden: de menselijke eiwitten zouden geen verandering vertonen, de gist zou er de helft van moeten zijn, en de bacteriën zouden vier keer zoveel moeten zijn. Deze opzet diende als een perfect testterrein, een gecontroleerde omgeving waar het juiste antwoord in de sterren geschreven stond, wachtend om gezien te worden als de instrumenten scherp genoeg waren.

De onderzoeker draaide deze data door drie van de meest populaire softwaretools die vandaag de dag in het veld worden gebruikt: MaxQuant, FragPipe en DIA-NN. Deze programma's zijn als verschillende merken high-end camera's; ze nemen allemaal de ruwe beelden en proberen een helder beeld van de eiwitten te produceren. De studie vond dat hoewel alle drie de tools over het algemeen goed waren in het vinden van de eiwitten, ze verschilden in hoe nauwkeurig ze de veranderingen maten. Wanneer er naar de menselijke eiwitten werd gekeken, die helemaal niet zouden mogen veranderen, vertoonde één tool genaamd MaxQuant een kleine, consistente verschuiving, waardoor de onveranderde eiwitten er iets anders uitzagen dan ze waren. Een andere tool, FragPipe, was zeer precies met deze onveranderde eiwitten, terwijl de derde, DIA-NN, ook zeer nauwkeurig was maar een ander type machine gebruikte om de data oorspronkelijk te vangen. De meest opvallende bevinding was niet over welke software het beste was, maar over hoeveel het uiteindelijke resultaat geruïneerd kon worden door eenvoudige beslissingen gemaakt nadat de software zijn werk had gedaan.

Nadat de software de eiwitten had geïdentificeerd, testte de onderzoeker een reeks veelvoorkomende stappen die wetenschappers nemen om de data op te schonen. Eén dergelijke stap is "match-between-runs", een functie waarmee de computer ontbrekende getallen voor een eiwit in één monster kan aanvullen door een waarde te lenen van een vergelijkbaar monster. De studie toonde aan dat hoewel deze functie hielp om meer eiwitten te vinden, het ook meer ruis introduceerde, vooral voor de zeldzame bacteriële eiwitten die moeilijk te detecteren waren. Een andere cruciale beslissing was hoe om te gaan met eiwitten die geheel ontbraken in de data. De onderzoeker testte verschillende manieren om deze ontbrekende waarden te raden. Een veelgebruikte methode, die ervan uitgaat dat de ontbrekende data willekeurig is, faalde volledig wanneer de data ontbrak omdat het eiwit simpelweg te schaars was om gezien te worden. In dat specifieke geval raadde de methode de ontbrekende waarden als gemiddeld, waardoor de enorme verviervoudiging van de bacteriën die er daadwerkelijk was, effectief werd uitgewist.

De meest dramatische veranderingen kwamen voort uit hoe de data werd getest op significantie. Wetenschappers gebruiken vaak een statistische toets om te beslissen of een verandering echt is. De studie vond dat als een onderzoeker de computer simpelweg vroeg om elk eiwit te vinden dat er anders uitzag, zonder een minimale grootte voor die verschil te vereisen, het aantal valse alarmen explodeerde. Op een van de software-outputs markeerde een standaardtest meer dan honderd menselijke eiwitten als veranderd, ook al waren ze bekend als stabiel. Echter, toen de onderzoeker een simpele regel toevoegde die vereiste dat de verandering ten minste een bepaalde grootte moest hebben voordat deze als significant werd beschouwd, daalde het aantal valse alarmen van meer dan honderd naar slechts een handvol. Deze enkele beslissing verminderde de foutmarge met meer dan dertig keer. Daarentegen maakte het toevoegen van een extra stap om de data te "normaliseren" of te balanceren, wat een gangbare praktijk is, het voor twee van de softwaretools juist erger, wat duizenden nieuwe valse alarmen creëerde waar die voorheen niet waren.

De studie keek ook naar hoe wetenschappers deze lijsten van eiwitten interpreteren om biologische processen te begrijpen, een stap genaamd verrijkingsanalyse (enrichment analysis). Wanneer onderzoekers een lijst met eiwitten nemen en een database vragen welke functies zij vervullen, doet de keuze van de achtergrond er enorm toe. Als ze hun lijst vergelijken met het volledige genoom van alle mogelijke eiwitten, vindt de computer honderden "significante" functies, zelfs wanneer de lijst slechts een willekeurige verzameling eiwitten is. Maar als ze hun lijst alleen vergelijken met de eiwitten die daadwerkelijk in het experiment zijn gedetecteerd, verdwijnen de valse alarmen. Dit suggereert dat de achtergrond die voor vergelijking wordt gebruikt, fungeert als een lens; kijken door de verkeerde lens laat willekeurige ruis lijken op een signaal.

De uiteindelijke conclusie van dit werk is dat de keuze van de softwaremotor minder belangrijk is dan de keuzes die worden gemaakt nadat de software is gedraaid. Een enkele beslissing, zoals het toevoegen van een drempelwaarde voor de fold-change of het vermijden van een extra normalisatiestap, kan het aantal foutieve ontdekkingen met wel vierendertig keer veranderen. De onderzoeker bood een checklist aan die anderen kunnen volgen: gebruik strikte regels voor welke data behouden blijft, vermijd het raden van ontbrekende waarden tenzij je begrijpt waarom ze ontbreken, koppel statistische tests aan een vereiste voor een minimale veranderingsgrootte, en gebruik de gedetecteerde eiwitten als de achtergrond voor verrijkingsanalyse. Door deze eenvoudige waarborgen te volgen, kunnen wetenschappers ervoor zorgen dat de verhalen die ze over hun data vertellen gebaseerd zijn op echte biologische veranderingen in plaats van artefacten van hun eigen methoden. De studie beweerde niet elk probleem in het veld te hebben opgelost, maar liet duidelijk zien dat, bij bekende antwoorden, het pad naar fouten vaak wordt geplaveid met welbedoelde maar onnodige stappen.