Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

Dans le monde microscopique à l'intérieur de nos cellules, des milliers de protéines travaillent ensemble pour maintenir la vie en marche. Pour comprendre comment ces protéines changent lorsqu'une personne tombe malade ou lorsqu'un traitement fonctionne, les scientifiques utilisent une technique appelée protéomique sans marquage. Imaginez essayer de peser une foule de personnes en prenant une photo d'elles ; l'appareil capture tout le monde, mais pour savoir combien pèse chaque personne, vous devez mesurer la luminosité de leur image. Dans cette méthode scientifique, la « luminosité » du signal d'une protéine indique aux chercheurs quelle quantité est présente. En comparant ces signaux entre deux conditions différentes — par exemple, un tissu sain par rapport à un tissu malade — les scientifiques peuvent voir quelles protéines ont augmenté ou diminué. Cependant, obtenir un décompte précis est difficile. Le processus implique des programmes informatiques complexes pour identifier les protéines, puis une longue chaîne de décisions sur la manière de gérer les données manquantes, de comparer les échantillons et de décider ce qui compte comme un changement réel par rapport à une fluctuation aléatoire. Si ces étapes ultérieures sont mal gérées, la liste finale de protéines importantes peut être remplie d'erreurs, menant les chercheurs sur une fausse piste.

Un chercheur a récemment utilisé un ensemble de données publiques, où les vraies réponses étaient déjà connues, pour tester exactement comment ces différents choix affectent le résultat final. Les données provenaient d'une expérience ingénieuse où des scientifiques ont mélangé des protéines de trois espèces différentes : l'humain, la levure et une bactérie intestinale commune appelée E. coli. Ils ont créé deux mélanges avec des proportions connues. Dans le premier mélange, les protéines humaines représentaient 65 pour cent, la levure 30 pour cent et les bactéries 5 pour cent. Dans le second mélange, ils ont gardé les protéines humaines identiques, mais ont réduit la levure de moitié et quadruplé les bactéries. Comme les quantités de départ étaient connues, les chercheurs savaient exactement ce que l'ordinateur devait trouver : les protéines humaines ne devraient pas changer, la levure devrait apparaître deux fois moindre, et les bactéries devraient apparaître quatre fois plus nombreuses. Cette configuration servait de terrain de test parfait, un environnement contrôlé où la bonne réponse était écrite dans les étoiles, attendant d'être vue si les outils étaient assez tranchants.

Le chercheur a fait passer ces données à travers trois des outils logiciels les plus populaires utilisés dans le domaine aujourd'hui : MaxQuant, FragPipe et DIA-NN. Ces programmes sont comme différentes marques d'appareils photo haut de gamme ; ils prennent tous les images brutes et tentent de produire une image claire des protéines. L'étude a montré que, bien que les trois outils soient généralement bons pour trouver les protéines, ils différaient dans la précision avec laquelle ils mesuraient les changements. En examinant les protéines humaines, qui n'auraient pas dû changer du tout, un outil appelé MaxQuant a montré un léger décalage constant, faisant paraître les protéines inchangées légèrement différentes de ce qu'elles étaient. Un autre outil, FragPipe, était très précis avec ces protéines inchangées, tandis que le troisième, DIA-NN, était également très précis mais utilisait un type de machine différent pour capturer les données à l'origine. La découverte la plus frappante ne concernait pas de savoir quel logiciel était le meilleur, mais à quel point le résultat final pouvait être ruiné par des décisions simples prises après que le logiciel a terminé son travail.

Après que le logiciel a identifié les protéines, le chercheur a testé une série d'étapes courantes que les scientifiques entreprennent pour nettoyer les données. Une telle étape est le « match-between-runs », une fonctionnalité qui permet à l'ordinateur de combler les chiffres manquants pour une protéine dans un échantillon en empruntant la valeur d'un échantillon similaire. L'étude a montré que, bien que cette fonctionnalité aide à trouver plus de protéines, elle introduit également plus de bruit, en particulier pour les rares protéines bactériennes qui sont difficiles à détecter. Une autre décision critique était la manière de gérer les protéines totalement absentes des données. Le chercheur a testé plusieurs façons de deviner ces valeurs manquantes. Une méthode courante, qui suppose que les données manquantes sont aléatoires, a complètement échoué lorsque les données étaient manquantes parce que la protéine était simplement trop rare pour être vue. Dans ce cas spécifique, la méthode a supposé que les valeurs manquantes étaient la moyenne, effaçant ainsi l'augmentation massive de quatre fois des bactéries qui était réellement présente.

Les changements les plus dramatiques sont venus de la manière dont les données ont été testées pour la signification. Les scientifiques utilisent souvent un test statistique pour décider si un changement est réel. L'étude a révélé que si un chercheur demandait simplement à l'ordinateur de trouver toute protéine qui semblait différente, sans exiger une taille minimale pour cette différence, le nombre de fausses alertes explosait. Sur l'une des sorties logicielles, un test standard a signalé plus de cent protéines humaines comme ayant changé, alors qu'elles étaient connues pour être stables. Cependant, lorsque le chercheur a ajouté une règle simple exigeant que le changement soit d'au moins une certaine taille avant d'être considéré comme significatif, le nombre de fausses alertes est passé de plus de cent à seulement une poignée. Cette seule décision a réduit le taux d'erreur de plus de trente fois. Inversement, ajouter une étape supplémentaire pour « normaliser » ou rééquilibrer les données, ce qui est une pratique courante, a en fait aggravé les choses pour deux des outils logiciels, créant des milliers de nouvelles fausses alertes là où il n'y en avait pas auparavant.

L'étude a également examiné la manière dont les scientifiques interprètent ces listes de protéines pour comprendre les processus biologiques, une étape appelée analyse d'enrichissement. Lorsque les chercheurs prennent une liste de protéines et demandent à une base de données quelles fonctions elles impliquent, le choix du contexte importe énormément. S'ils comparent leur liste à l'ensemble du génome de toutes les protéines possibles, l'ordinateur trouve des centaines de fonctions « significatives », même si la liste n'est qu'une collection aléatoire de protéines. Mais s'ils comparent leur liste uniquement aux protéines qui ont été réellement détectées lors de l'expérience, les fausses alertes disparaissent. Cela suggère que le contexte utilisé pour la comparaison agit comme une lentille ; regarder à travers la mauvaise lentille fait passer le bruit aléatoire pour un signal.

La conclusion ultime de ce travail est que le choix du moteur logiciel est moins important que les choix faits après l'exécution du logiciel. Une seule décision, telle que l'ajout d'un seuil de changement de pli (fold-change) ou l'évitement d'une étape de normalisation supplémentaire, pourrait changer le nombre de fausses découvertes jusqu'à trente-quatre fois. Le chercheur a fourni une liste de contrôle à suivre : utiliser des règles strictes pour les données à conserver, éviter de deviner les valeurs manquantes à moins de comprendre pourquoi elles sont manquantes, coupler les tests statistiques avec l'exigence d'une taille de changement minimale, et utiliser les protéines détectées comme contexte pour l'analyse d'enrichissement. En suivant ces garde-fous simples, les scientifiques peuvent s'assurer que les histoires qu'ils racontent sur leurs données sont basées sur de réels changements biologiques plutôt que sur des artefacts de leurs propres méthodes. L'étude ne prétend pas avoir résolu tous les problèmes du domaine, mais elle montre clairement qu'avec des réponses connues, le chemin vers l'erreur est souvent pavé d'étapes bien intentionnées mais inutiles.