Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

Imagina un mundo donde los científicos pudieran predecir cómo reaccionará una célula viva a un cambio genético específico sin tener que realizar nunca el experimento en un laboratorio. Esta es la promesa de los modelos de "célula virtual", programas informáticos diseñados para simular los efectos de activar o desactivar genes. En el mundo real, los investigadores utilizan herramientas potentes para desactivar genes uno por uno y luego medir los cambios resultantes en la actividad de la célula, un proceso que es lento, costoso y difícil de escalar. Si una computadora pudiera pronosticar con precisión estos resultados, actuaría como un enorme atajo, permitiendo a los desarrolladores de fármacos cribar miles de tratamientos potenciales en una fracción del tiempo. Durante años, el campo ha estado compitiendo por construir estos modelos, con muchos investigadores apostando a que sistemas de inteligencia artificial más complejos eventualmente dominarían la tarea.

Sin embargo, un nuevo estudio sugiere que la generación actual de estos modelos está fallando en una prueba crítica. Los investigadores detrás de este trabajo, un equipo de Elucidata Corporation, se propusieron ver si estos programas informáticos están aprendiendo realmente las reglas biológicas de la vida o si simplemente están memorizando patrones de los datos con los que fueron alimentados. Encontraron que, si bien los modelos parecen funcionar bien bajo condiciones de prueba estándar, colapsan cuando se les pide predecir los efectos de genes que no han visto antes. El estudio revela que los modelos más sofisticados, incluidos aquellos construidos sobre las últimas tecnologías de base, no ofrecen ninguna ventaja real sobre métodos mucho más simples. En lugar de comprender la maquinaria subyacente de la célula, estos programas son esencialmente una suposición basada en la similitud con ejemplos pasados, una estrategia que se desmorona cuando se enfrenta a escenarios biológicos nuevos y desconocidos.

Para entender por qué esto importa, primero hay que comprender la naturaleza del desafío. Cuando los científicos estudian los genes, observan cómo cambian las instrucciones internas de la célula cuando se elimina un gen específico. En un experimento típico, podrían probar cientos de genes en un solo tipo de célula. El objetivo para un modelo computacional es aprender de estos cientos de ejemplos y luego predecir qué sucedería si se eliminara un gen diferente, uno que nunca ha encontrado. Esta es una tarea difícil porque la relación entre un gen y su efecto no siempre es obvia; depende de una compleja red de interacciones dentro de la célula. La forma estándar de probar estos modelos ha sido dividir los datos de forma aleatoria, dándole a la computadora algunos genes para aprender y otros pocos para predecir. El problema con este enfoque es que los genes "nuevos" suelen ser biológicamente similares a los que la computadora ya conoce. Es como pedirle a un estudiante que tome un examen donde las preguntas son solo variaciones leves de las que estudió. El estudiante podría obtener una puntuación perfecta, no porque comprenda la materia, sino porque reconoció el patrón.

El equipo detrás de este estudio, liderado por Kanupriya Tiwari y sus colegas, decidió cambiar las reglas del juego. Introdujeron un nuevo marco de prueba llamado EL-PERTURB, diseñado para poner a prueba estos modelos bajo condiciones realistas. En lugar de divisiones aleatorias, agruparon los genes basándose en cómo afectaban realmente el comportamiento de la célula. Luego, obligaron a los modelos a predecir los efectos de genes de un grupo completamente diferente, asegurando que los genes de prueba fueran funcionalmente distintos de los genes de entrenamiento. Esta configuración imita un escenario del mundo real donde un desarrollador de fármacos necesita predecir el efecto de un gen que nunca ha sido estudiado antes. Probaron veinte modelos diferentes, que van desde herramientas estadísticas simples hasta sistemas complejos de aprendizaje profundo, incluyendo aquellos que utilizan bases de datos masivas preentrenadas de conocimiento biológico. Realizaron estas pruebas en datos de cuatro líneas celulares humanas diferentes, cubriendo tanto genes esenciales, que son críticos para la supervivencia celular, como un conjunto más amplio de genes encontrados en cribados de todo el genoma.

Los resultados fueron crudos y consistentes. Cuando los modelos fueron probados en genes que eran similares a sus datos de entrenamiento, funcionaron razonablemente bien, confirmando que podían interpolar, o llenar los huecos, entre ejemplos conocidos. Pero cuando los investigadores aplicaron la nueva y más estricta prueba con genes funcionalmente distintos, el rendimiento de cada uno de los modelos cayó dramente. Los modelos complejos, que incluían redes neuronales avanzadas y sistemas construidos sobre modelos fundacionales entrenados en vastas cantidades de texto y datos biológicos, no se desempeñaron mejor que los baselines más simples. De hecho, en algunos casos, los modelos más sencillos se mantuvieron ligeramente mejor. El estudio encontró que las arquitecturas más sofisticadas no proporcionaban ninguna ventaja confiable para manejar estas nuevas situaciones biológicas no vistas. Los modelos no estaban aprendiendo la lógica causal de cómo los genes controlan las células; simplemente estaban recuperando respuestas de un vecindario memorizado de ejemplos similares.

Los investigadores también investigaron si el uso de datos de múltiples tipos de células podría ayudar a los modelos a generalizar mejor. Encontraron que este enfoque funcionaba solo cuando las respuestas biológicas a través de los diferentes tipos de células eran altamente similares, como con los genes esenciales que desencadenan respuestas comunes al estrés. Sin embargo, cuando pasaron a los cribados de todo el genoma, que involucran un conjunto de reacciones biológicas mucho más diverso y caótico, el beneficio de usar múltiples tipos de células desapareció por completo. En estos escenarios complejos, los modelos fallaron al transferir el conocimiento de manera efectiva, y los predictores más exitosos fueron a menudo los más simples, como herramientas de regresión básica o métodos que dependen de la recuperación de hechos biológicos conocidos en lugar de aprender de los datos en sí. Esto sugiere que el cuello de botella no es el diseño del modelo, sino la naturaleza de los datos y la falta de una comprensión real de los mecanismos causales que impulsan el comportamiento celular.

Otro hallazgo clave concernió al uso de "modelos fundacionales", que son sistemas de inteligencia artificial de gran escala preentrenados en conjuntos de datos masivos de información genética. Muchos investigadores esperaban que estos sistemas, que han aprendido patrones generales de la biología, pudieran proporcionar una ventaja inicial para predecir efectos genéticos específicos. El estudio probó los embeddings, o representaciones digitales de los genes, derivados de estos modelos fundacionales y los comparó con representaciones construidas a partir de conocimiento biológico curado y seleccionado a mano. Los resultados mostraron que los embeddings de los modelos fundacionales no ofrecían ninguna mejora sobre el conocimiento curado. En algunas configuraciones, incluso empeoraban ligeramente las predicciones. Esto indica que la generación actual de estos grandes modelos aún no codifica la información causal específica necesaria para predecir cómo reaccionará una célula ante un cambio genético, al menos no de una manera que supere a las fuentes de conocimiento biológico más simples y directas.

El estudio concluye que el campo ha estado sobreestimando las capacidades de estos modelos porque los métodos de prueba estándar son demasiado fáciles. Al depender de divisiones aleatorias y cantidades generosas de datos de entrenamiento, los benchmarks previos han permitido que los modelos tengan éxito mediante la interpolación en lugar de la extrapolación genuina. Los autores argumentan que, para avanzar, la comunidad debe adoptar estándares de evaluación más estrictos que obliguen a los modelos a enfrentar desafíos biológicos verdaderamente novedosos. Proponen que los modelos futuros deben ir más allá del reconocimiento de patrones y comenzar a codificar la estructura causal real de la biología, comprendiendo cómo una perturbación se propaga a través de una red de interacciones para producir un resultado específico. Hasta entonces, la promesa de una "célula virtual" que pueda reemplazar de manera confiable los experimentos de laboratorio sigue fuera de alcance, y las herramientas más efectivas para predecir efectos genéticos pueden seguir siendo los métodos más simples y transparentes que han sido pasados por alto en la carrera hacia la complejidad.