Constructed negatives determine the population a benchmark can rank over
Este artículo sostiene que las clasificaciones de los puntos de referencia están fundamentalmente limitadas por la exclusión de entidades mal anotadas al construir los negativos, demostrando que las altas tasas de omisión (W > 0.5) impiden un ordenamiento estricto de los modelos y urge a la comunidad a informar transparentemente las definiciones de los objetivos, el soporte de muestreo y la evidencia para las comparaciones.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
En el vasto paisaje del descubrimiento biológico, los científicos suelen confiar en modelos computacionales para predecir cómo interactúan las proteínas o dónde se adhieren las etiquetas químicas a ellas. Para enseñar a estos modelos, los investigadores deben mostrarles ejemplos de cosas que suceden (positivos) y ejemplos de cosas que no suceden (negativos). El desafío es que, si bien tenemos una buena lista de cosas que sí suceden, rara vez tenemos una lista completa de todo lo que no sucede. En cambio, los científicos suelen crear una lista de "negativos" asumiendo que cualquier interacción o modificación que no han visto todavía es probablemente un no-evento. Esta suposición es la base de muchos bancos de pruebas, o pruebas estándar, utilizados para juzgar qué tan bien funciona un nuevo modelo. Si la prueba es defectuosa, la clasificación de los mejores modelos se vuelve poco confiable, lo que podría desviar a los investigadores por el camino equiv dàng en su búsqueda de nuevos fármacos o conocimientos biológicos.
Un investigador de la Universidad de Tulane, Justin Li, ha descubierto un fallo fundamental en la forma en que se construyen estas pruebas con frecuencia. Encontró que la manera en que los científicos eligen sus ejemplos "negativos" a menudo deja fuera enormes porciones del mundo biológico, haciendo que la prueba sea efectivamente ciega a la mayoría de los candidatos que afirma evaluar. El trabajo de Li muestra que cuando una prueba excluye más de la mitad de los candidatos posibles, no se identifica un orden estricto de dos modelos sin suposiciones adicionales, incluso si un modelo puntúa más alto en la prueba. El estudio no solo señala un error menor; demuestra que la población que la prueba pretende clasificar es, a menudo, una porción diminuta y no representativa de la realidad, y que las mejoras observadas en estas pruebas a veces pueden desaparecer o incluso revertirse cuando se aplican al panorama completo.
El núcleo del problema reside en una regla que muchos investigadores utilizan para mantener sus datos limpios. Para evitar etiquetar accidentalmente un evento biológico real como un "negativo" solo porque no ha sido descubierto todavía, los científicos suelen establecer un estándar muy alto para la inclusión. Podrían decir: "Solo utilizaremos proteínas como ejemplos negativos si ya sabemos mucho sobre ellas". Aunque esto suena como una forma segura de garantizar la precisión, Li demostró que esta regla actúa como un tamiz que filtra casi todo. En ocho tareas diferentes que involucran modificaciones químicas en proteínas, esta regla excluyó entre el 60% y el 97% de las proteínas candidatas. En los casos más graves, la prueba solo estaba observando una fracción minúscula de las proteínas que se suponía debía cubrir.
Li desarrolló una forma de medir exactamente qué parte de la población objetivo falta. Encontró que una vez que la porción faltante supera la mitad del total, la prueba pierde su capacidad de garantizar una clasificación estricta entre modelos sin suposiciones sobre la región excluida. Imagine intentar juzgar la calidad de una biblioteca leyendo solo los libros del estante superior; si los estantes inferiores contienen los mejores libros, su juicio será erróneo. En estas pruebas biológicas, el "estante superior" es el pequeño grupo de proteínas bien anotadas, mientras que los "estantes inferiores" son la gran mayoría de las proteínas que la prueba ignora. Cuando la porción ignorada es así de grande, un modelo podría parecer el mejor en la prueba simplemente porque resulta que funciona bien en ese pequeño grupo fácil, mientras falla estrepitosamente en el resto del mundo biológico.
Para probar esto, Li realizó un experimento específico donde comparó un modelo estándar contra una versión que incluía información adicional sobre la proteína completa. En la prueba estándar, que solo miraba las proteínas bien anotadas, la información adicional parecía ayudar. Sin embargo, cuando Li reconstruyó la prueba para incluir las proteínas previamente excluidas, la información adicional en realidad perjudicó el rendimiento del modelo en siete de las ocho tareas. La característica que parecía una mejora útil en la prueba estrecha se convirtió en una desventaja cuando el modelo se vio obligado a lidiar con el rango completo de candidatos. Esta reversión muestra que la prueba inicial no estaba midiendo la verdadera capacidad de generalización del modelo; simplemente estaba midciendo qué tan bien el modelo se ajustaba a un conjunto de reglas específico y estrecho.
El estudio también examinó un banco de pruebas popular para interacciones proteicas, el cual se utiliza para probar qué tan bien las computadoras pueden predecir qué proteínas se adhieren entre sí. Este banco de pruebas utiliza un filtro de dos pasos para crear sus ejemplos negativos. Primero, elimina proteínas enteras que tienen demasiadas conexiones, y segundo, elimina pares de proteínas que están demasiado cerca en una estructura de red. Li encontró que el primer paso por sí solo excluye proteínas enteras, lo que significa que, para algunas proteínas, no existen ejemplos negativos en absoluto. El segundo paso elimina casi todos los pares posibles para muchas otras proteínas. El resultado es una prueba donde los ejemplos "negativos" son tan escasos y sesgados que no representan el mundo real de las interacciones proteicas. De hecho, la prueba excluye el 73% de las proteínas en su propio universo declarado, dejando un enorme vacío entre lo que la prueba afirma medir y lo que realmente ve.
El trabajo de Li no sugiere que estos modelos sean inútiles, sino que debemos ser honestos sobre lo que realmente están probando. Un banco de pruebas debería declarar claramente qué parte del mundo biológico cubre y admitir qué es lo que deja fuera. Si una prueba excluye más de la mitad de los candidatos, no puede certificar que un modelo es mejor que otro para toda la población sin suposiciones adicionales. El investigador recomienda que los científicos informen exactamente cuántos candidatos se incluyen y se excluyen, y que sean cautelosos al afirmar que un modelo es superior a menos que la prueba cubra una porción lo suficientemente grande del objetivo para hacer una comparación justa.
Los hallazgos sirven como una corrección necesaria para el campo de la predicción biológica. Al separar el rendimiento de un modelo en los datos que ve de su rendimiento en los datos que no ve, Li proporciona un camino más claro hacia adelante. El estudio sugiere que la práctica actual de usar filtros estrictos para crear negativos "limpios" puede estar haciendo más daño que bien, creando una ilusión de progreso que desaparece cuando los modelos se enfrentan a la realidad desordenada e incompleta de los datos biológicos. La solución no es abandonar estas pruebas, sino diseñarlas con una comprensión total de sus límites, asegurando que las clasificaciones que producen reflejen el verdadero potencial de los modelos en lugar de las peculiaridades de la propia prueba.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.