Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

In der mikroskopischen Welt innerhalb unserer Zellen arbeiten tausende Proteine zusammen, um das Leben am Laufen zu halten. Um zu verstehen, wie sich diese Proteine verändern, wenn eine Person krank wird oder eine Behandlung wirkt, nutzen Wissenschaftler eine Technik namens label-freier Proteomik. Stellen Sie sich vor, Sie versuchen, die Menge einer Menschenmenge zu wiegen, indem Sie ein Foto von ihnen machen; die Kamera erfasst alle, aber um zu wissen, wie viel jeder einzelne wiegt, müssen Sie die Helligkeit seines Bildes messen. In dieser wissenschaftlichen Methode verrät die „Helligkeit“ des Signals eines Proteins den Forschern, wie viel davon vorhanden ist. Durch den Vergleich dieser Signale zwischen zwei verschiedenen Bedingungen – etwa gesundem Gewebe gegenüber erkranktem Gewebe – können Wissenschaftler sehen, welche Proteine zugenommen oder abgenommen haben. Die genaue Anzahl zu ermitteln, ist jedoch schwierig. Der Prozess beinhaltet komplexe Computerprogramme, um die Proteine zu identifizieren, und dann eine lange Kette von Entscheidungen darüber, wie man mit fehlenden Daten umgeht, wie man die Proben vergleicht und wie man entscheidet, was als echte Veränderung gegenüber einer zufälligen Fluktuation gilt. Wenn diese späteren Schritte schlecht gehandhabt werden, kann die endgültige Liste der wichtigen Proteine voller Fehler sein, was Forscher auf den falschen Weg führt.

Ein Forscher nahm kürzlich einen öffentlichen Datensatz, bei dem die wahren Antworten bereits bekannt waren, um genau zu testen, wie diese verschiedenen Entscheidungen das Endergebnis beeinflussen. Die Daten stammten aus einem cleveren Experiment, bei dem Wissenschaftler Proteine aus drei verschiedenen Spezies mischten: Menschen, Hefe und ein häufiges Darmbakterium namens E. coli. Sie erstellten zwei Mischungen mit bekannten Proportionen. In der ersten Mischung machten die menschlichen Proteine 65 Prozent aus, die Hefe 30 Prozent und die Bakterien 5 Prozent. In der zweiten Mischung ließen sie die menschlichen Proteine gleich, halbierten jedoch die Hefe und vervierfachten die Bakterien. Da die Ausgangsmengen bekannt waren, wussten die Forscher genau, was der Computer finden sollte: Die menschlichen Proteine sollten sich nicht verändert haben, die Hefe sollte nur noch halb so stark erscheinen und die Bakterien sollten viermal so stark erscheinen. Dieser Aufbau diente als perfektes Testgelände, eine kontrollierte Umgebung, in der die richtige Antwort in den Sternen geschrieben stand und nur darauf wartete, gesehen zu werden, falls die Werkzeuge scharf genug waren.

Der Forscher ließ diese Daten durch drei der derzeit populärsten Software-Tools laufen: MaxQuant, FragPipe und DIA-NN. Diese Programme sind wie verschiedene Marken von High-End-Kameras; sie nehmen alle die Rohbilder auf und versuchen, ein klares Bild der Proteine zu erzeugen. Die Studie ergab, dass alle drei Tools im Allgemeinen gut darin waren, die Proteine zu finden, sich jedoch darin unterschieden, wie genau sie die Veränderungen maßen. Beim Blick auf die menschlichen Proteine, die sich eigentlich gar nicht verändert haben sollten, zeigte ein Tool namens MaxQuant eine kleine, konsistente Verschiebung, die die unveränderten Proteine etwas anders aussehen ließ, als sie eigentlich waren. Ein anderes Tool, FragPipe, war sehr präzise bei diesen unveränderten Proteinen, während das dritte, DIA-NN, ebenfalls sehr genau war, aber eine andere Art von Maschine zur Erfassung der Daten verwendete. Die auffälligste Erkenntnis war nicht, welches Softwareprogramm am besten war, sondern wie sehr das Endergebnis durch einfache Entscheidungen ruiniert werden konnte, die getroffen wurden, nachdem die Software ihre Arbeit beendet hatte.

Nachdem die Software die Proteine identifiziert hatte, testete der Forscher eine Reihe von üblichen Schritten, die Wissenschaftler unternehmen, um die Daten zu bereinigen. Einer dieser Schritte ist „match-between-runs“, eine Funktion, die es dem Computer ermöglicht, fehlende Zahlen für ein Protein in einer Probe aufzufüllen, indem er den Wert aus einer ähnlichen Probe entnimmt. Die Studie zeigte, dass diese Funktion zwar half, mehr Proteine zu finden, aber auch mehr Rauschen einführte, insbesondere bei den seltenen bakteriellen Proteinen, die schwer zu detektieren waren. Eine weitere kritische Entscheidung war der Umgang mit Proteinen, die in den Daten gänzlich fehlten. Der Forscher testete verschiedene Wege, um diese fehlenden Werte zu schätzen. Eine gängige Methode, die davon ausgeht, dass die fehlenden Daten zufällig sind, versagte völlig, wenn die Daten fehlten, weil das Protein einfach zu spärlich war, um gesehen zu werden. In diesem spezifischen Fall schätzte die Methode die fehlenden Werte als Durchschnittswerte ein, was den massiven vierfachen Anstieg der Bakterien, der tatsächlich vorhanden war, effektiv auslöschte.

Die dramatischsten Veränderungen ergaben sich daraus, wie die Daten auf Signifikanz getestet wurden. Wissenschaftler verwenden oft einen statistischen Test, um zu entscheiden, ob eine Veränderung echt ist. Die Studie fand heraus, dass die Anzahl der Fehlalarme explodierte, wenn ein Forscher den Computer einfach nur fragte, nach jedem Protein zu suchen, das unterschiedlich aussah, ohne eine Mindestgröße für diese Differenz vorauszusetzen. Bei einem der Software-Outputs markierte ein Standardtest über hundert menschliche Proteine als verändert, obwohl sie bekanntlich stabil waren. Als der Forscher jedoch eine einfache Regel hinzufügte, die verlangte, dass die Veränderung eine bestimmte Größe erreichen muss, bevor sie als signifikant bezeichnet wird, sank die Zahl der Fehlalarme von über hundert auf eine Handvoll. Diese einzige Entscheidung reduzierte die Fehlerrate um mehr als dreißigmal. Umgekehrt führte das Hinzufügen eines zusätzlichen Schritts zur „Normalisierung“ oder zum Ausbalancieren der Daten, was gängige Praxis ist, bei zwei der Software-Tools zu schlechteren Ergebnissen und erzeugte tausende neue Fehlalarme, wo zuvor keine existierten.

Die Studie untersuchte auch, wie Wissenschaftler diese Listen von Proteinen interpretieren, um biologische Prozesse zu verstehen, ein Schritt, der als Anreicherungsanalyse (enrichment analysis) bezeichnet wird. Wenn Forscher eine Liste von Proteinen nehmen und eine Datenbank fragen, welche Funktionen diese involviert sind, spielt die Wahl des Hintergrunds eine immense Rolle. Wenn sie ihre Liste gegen das gesamte Genom aller möglichen Proteine vergleichen, findet der Computer hunderte von „signifikanten“ Funktionen, selbst wenn die Liste nur eine zufällige Sammlung von Proteinen ist. Aber wenn sie ihre Liste nur gegen die Proteine vergleichen, die tatsächlich im Experiment detektiert wurden, verschwinden die Fehlalarme. Dies deutet darauf hin, dass der Hintergrund, gegen den verglichen wird, wie eine Linse wirkt; wer durch die falsche Linse blickt, sieht in zufälligem Rauschen ein Signal.

Die letztendliche Schlussfolgerung dieser Arbeit ist, dass die Wahl der Software-Engine weniger wichtig ist als die Entscheidungen, die nach dem Durchlauf der Software getroffen werden. Eine einzige Entscheidung, wie etwa das Hinzufügen eines Fold-Change-Schwellenwerts oder das Vermeiden eines zusätzlichen Normalisierungsschritts, könnte die Anzahl der Fehlentdeckungen um das bis zu Dreißigfache verändern. Der Forscher stellte eine Checkliste zur Verfügung, der andere folgen können: Verwenden Sie strenge Regeln dafür, welche Daten beibehalten werden, vermeiden Sie das Schätzen fehlender Werte, sofern Sie nicht verstehen, warum sie fehlen, kombinieren Sie statistische Tests mit der Anforderung einer Mindestgröße der Veränderung und verwenden Sie die detektierten Proteine als Hintergrund für die Anreicherungsanalyse. Indem man diesen einfachen Sicherheitsmaßnahmen folgt, können Wissenschaftler sicherstellen, dass die Geschichten, die sie über ihre Daten erzählen, auf echten biologischen Veränderungen basieren und nicht auf Artefakten ihrer eigenen Methoden. Die Studie behauptete nicht, alle Probleme des Fachbereichs gelöst zu haben, aber sie zeigte deutlich, dass der Weg zum Fehler bei bekannten Antworten oft mit gut gemeinten, aber unnötigen Schritten gepflastert ist.