Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

En el mundo microscópico dentro de nuestras células, miles de proteínas trabajan juntas para mantener la vida en funcionamiento. Para entender cómo estas proteínas cambian cuando una persona se enferma o cuando un tratamiento funciona, los científicos utilizan una técnica llamada proteómica sin marcadores (label-free). Imagine intentar pesar a una multitud de personas tomando una instantánea de ellas; la cámara captura a todos, pero para saber cuánto pesa cada persona, tiene que medir el brillo de su imagen. En este método científico, el "brillo" de la señal de una proteína le indica a los investigadores cuánto de ella está presente. Al comparar estas señales entre dos condiciones diferentes —por ejemplo, tejido sano frente a tejido enfermo—, los científicos pueden ver qué proteínas han aumentado o disminuido. Sin embargo, obtener un recuento preciso es difícil. El proceso involucra complejos programas informáticos para identificar las proteínas y, después, una larga cadena de decisiones sobre cómo manejar los datos faltantes, cómo comparar las muestras y cómo decidir qué cuenta como un cambio real frente a una fluctuación aleatoria. Si estos pasos posteriores se gestionan de forma deficiente, la lista final de proteínas importantes puede llenarse de errores, llevando a los investigadores por el camino equivillo.

Un investigador tomó recientemente un conjunto de datos públicos, donde las respuestas verdaderas ya eran conocidas, para probar exactamente cómo estas diferentes elecciones afectan el resultado final. Los datos provenían de un experimento ingenioso donde los científicos mezclaron proteínas de tres especies diferentes: humanos, levadura y una bacteria común del intestino llamada E. coli. Crearon dos mezclas con proporciones conocidas. En la primera mezcla, las proteínas humanas representaban el 65 por ciento, la levadura el 30 por ciento y las bacterias el 5 por ciento. En la segunda mezcla, mantuvieron las proteínas humanas iguales, pero redujeron la levadura a la mitad y cuadruplicaron las bacterias. Debido a que las cantidades iniciales eran conocidas, los investigadores sabían exactamente lo que la computadora debería encontrar: las proteínas humanas no deberían mostrar cambios, la levadura debería aparecer como la mitad y las bacterias deberían aparecer cuatro veces más. Esta configuración actuó como un campo de prueba perfecto, un entorno controlado donde la respuesta correcta estaba escrita en las estrellas, esperando ser vista si las herramientas eran lo suficientemente afiladas.

El investigador pasó estos datos por tres de las herramientas de software más populares utilizadas en el campo hoy en día: MaxQuant, FragPipe y DIA-NN. Estos programas son como diferentes marcas de cámaras de alta gama; todos toman las imágenes crudas e intentan producir una imagen clara de las proteínas. El estudio encontró que, si bien las tres herramientas eran generalmente buenas para encontrar las proteínas, diferían en qué tan precisamente medían los cambios. Al observar las proteínas humanas, que no deberían haber cambiado en absoluto, una herramienta llamada MaxQuant mostró un pequeño y consistente desplazamiento, haciendo que las proteínas inalteradas parecieran ligeramente diferentes de lo que eran. Otra herramienta, FragPipe, fue muy precisa con estas proteínas inalteradas, mientras que la tercera, DIA-NN, también fue muy precisa pero utilizó un tipo diferente de máquina para capturar los datos en primer lugar. El hallazgo más sorprendente no fue sobre qué software era el mejor, sino sobre cuánto puede arruinarse el resultado final por decisiones simples tomadas después de que el software terminó su trabajo.

Después de que el software identificó las proteínas, el investigador probó una serie de pasos comunes que los científicos toman para limpiar los datos. Uno de tales pasos es el "match-between-runs" (coincidencia entre ejecuciones), una función que permite a la computadora llenar los números faltantes para una proteína en una muestra tomando el valor de una muestra similar. El estudio mostró que, si bien esta función ayudó a encontrar más proteínas, también introdujo más ruido, especialmente para las proteínas bacterianas raras que eran difíciles de detectar. Otra decisión crítica fue cómo manejar las proteínas que estaban completamente ausentes de los datos. El investigador probó varias formas de adivinar estos valores faltantes. Un método común, que asume que los datos faltantes son aleatorios, falló por completo cuando los datos faltaban porque la proteína era simplemente demasiado escasa para ser vista. En ese caso específico, el método supuso que los valores faltantes eran promedio, efectivamente borrando el masivo aumento de cuatro veces en las bacterias que realmente estaba allí.

Los cambios más dramáticos provinieron de cómo se probaron los datos de significancia. Los científicos suelen utilizar una prueba estadística para decidir si un cambio es real. El estudio encontró que si un investigador simplemente le pedía a la computadora que encontrara cualquier proteína que pareciera diferente, sin requerir un tamaño mínimo para ese cambio, el número de falsas alarmas explotaba. En la salida de uno de los softwares, una prueba estándar marcó más de cien proteínas humanas como habiendo cambiado, a pesar de que se sabía que eran estables. Sin embargo, cuando el investigador añadió una regla simple que requería que el cambio fuera de al menos un cierto tamaño antes de declararlo significativo, el número de falsas alarmas cayó de más de cien a solo un puñado. Esta única decisión redujo la tasa de error en más de treinta veces. Por el contrario, añadir un paso extra para "normalizar" o reequilibrar los datos, lo cual es una práctica común, de hecho empeoró las cosas para dos de las herramientas de software, creando miles de nuevas falsas alarmas donde no existían antes.

El estudio también analizó cómo los científicos interpretan estas listas de proteínas para comprender procesos biológicos, un paso llamado análisis de enriquecimiento. Cuando los investigadores toman una lista de proteínas y preguntan a una base de datos en qué funciones están involucradas, la elección del trasfondo importa inmensamente. Si comparan su lista contra el genoma completo de todas las proteínas posibles, la computadora encuentra cientos de funciones "significativas", incluso cuando la lista es solo una colección aleatoria de proteínas. Pero si comparan su lista solo contra las proteínas que fueron realmente detectadas en el experimento, las falsas alarmas desaparecen. Esto sugiere que el trasfondo utilizado para la comparación actúa como una lente; mirar a través de la lente equivocada hace que el ruido aleatorio parezca una señal.

La conclusión definitiva de este trabajo es que la elección del motor de software es menos importante que las decisiones tomadas después de que el software se ejecuta. Una sola decisión, como añadir un umbral de cambio de pliegue (fold-change threshold) o evitar un paso de normalización adicional, podría cambiar el número de falsos descubrimientos hasta treinta y cuatro veces. El investigador proporcionó una lista de verificación para que otros la sigan: usar reglas estrictas para qué datos conservar, evitar adivinar valores faltantes a menos que se entienda por qué faltan, emparejar las pruebas estadísticas con un requisito de un tamaño de cambio mínimo, y usar las proteínas detectadas como el trasfondo para el análisis de enriquecimiento. Al seguir estas simples salvaguardas, los científicos pueden asegurar que las historias que cuentan sobre sus datos se basen en cambios biológicos reales y no en artefactos de sus propios métodos. El estudio no pretendía haber resuelto todos los problemas del campo, pero claramente mostró que, con respuestas conocidas, el camino al error suele estar pavimentado con pasos bien intencionados pero innecesarios.