Single-cell foundation models benefit from cross-modal training: adding proteomics data beats parameter scaling

Dentro de cada célula viva, se lleva a cabo una conversación compleja, escrita en dos lenguajes diferentes. Un lenguaje está hecho de ARN, moléculas que transportan instrucciones para construir proteínas, los caballos de batalla que mantienen a una célula viva y funcional. Los científicos han pasado años aprendiendo a leer estos mensajes de ARN, creando bibliotecas digitales masivas que describen cómo se comportan las células en la salud y la enfermedad. Estas bibliotecas han crecido tanto que ahora los investigadores utilizan potentes programas informáticos, conocidos como modelos fundacionales, para encontrar patrones dentro de ellas. Estos programas aprenden a reconocer las firmas únicas de diferentes tipos de células, de forma muy similar a un bibliotecario que puede identificar instantáneamente el género de un libro por su portada. Durante mucho tiempo, la creencia predominante fue que la única forma de hacer que estos programas fueran más inteligentes era alimentarlos con más y más datos de ARN, con la esperanza de que el mero volumen acabaría revelando cada secreto de la vida celular.

Sin embargo, las células hablan más de un lenguaje. Junto con el ARN, producen proteínas, las estructuras reales que realizan las tareas de la célula. Mientras que el ARN le dice a la célula qué construir, las proteínas son los productos terminados. Hasta hace poco, la mayoría de los modelos computacionales de células ignoraban estas proteínas, centrándose exclusivamente en las instrucciones del ARN. Esto dejó un vacío en la comprensión, ya que las instrucciones no siempre coinciden con el resultado final. La pregunta que enfrentaban los científicos era si añadir esta segunda capa de información —los datos de las proteínas— podría enseñar a estos modelos computacionales más de lo que el simple hecho de añadir más datos de ARN podría lograr jamás. Era una prueba de si la calidad y la variedad de la información podían superar la estrategia simple de hacer los modelos más grandes y alimentarlos con más de lo mismo.

Un equipo de investigadores se propuso responder a esto entrenando un modelo computacional con un nuevo tipo de datos. Comenzaron con un modelo existente que ya había aprendido de cientos de millones de muestras de ARN. En lugar de simplemente alimentarlo con más ARN, le introdujeron una vasta colección de perfiles proteicos. Estos perfiles procedían de 440 estudios diferentes que utilizaron espectrometría de masas, una técnica que mide las proteínas específicas presentes en una célula. Los investigadores guiaron cuidadosamente al modelo para que aprendiera de estas 48.843 muestras de proteínas, un proceso que llamaron preentrenamiento continuo transmodal. Esto significaba que el modelo tenía que aprender cómo el lenguaje de las proteínas se relacionaba con el lenguaje del ARN que ya conocía, enseñándole efectivamente a comprender la célula tanto a través de sus instrucciones como de sus productos terminados.

Los resultados fueron sorprendentes. Los investigadores entrenaron un modelo con 70 millones de parámetros, una medida de su complejidad, con estos datos mixtos durante solo una pasada por las muestras de proteínas. Cuando probaron este modelo, su rendimiento fue tan bueno como, o incluso mejor que, el de modelos que eran mucho más grandes y entrenados únicamente en ARN. Específicamente, el modelo más pequeño con datos de proteínas igualó o superó el rendimiento de los modelos de solo ARN que tenían 1.000 millones y 3.000 millones de parámetros. Este hallazgo desafía la idea de que el único camino hacia un mejor entendimiento es simplemente aumentar la escala del tamaño del modelo y la cantidad de datos de ARN. En cambio, sugiere que introducir un tipo diferente de datos biológicos puede proporcionar un impulso mucho más eficiente a la inteligencia del modelo.

Los beneficios de este enfoque se extendieron más allá del rendimiento general. El modelo entrenado con datos de proteínas mostró una mayor capacidad de generalización, lo que significa que podía aplicar lo aprendido a situaciones nuevas que nunca había visto. Esto fue particularmente evidente cuando se probó el modelo sobre cómo las células responden a los cambios en las proteínas. En estas pruebas, el simple hecho de hacer más grande el modelo de solo ARN no ayudó a comprender mejor estos cambios. El modelo que había aprendido de las proteínas, sin embargo, manejó estos nuevos desafíos con mayor facilidad. Esto indica que los datos de las proteínas ayudaron al modelo a construir una comprensión más robusta y flexible de cómo funcionan las células, una que no está ligada estrictamente a los patrones encontrados únicamente en el ARN.

Estos hallazgos sugieren que el futuro de la comprensión de las células puede no residir en la construcción de modelos cada vez más grandes entrenados en un solo tipo de datos. En su lugar, los conocimientos más poderosos pueden provenir de la combinación cuidadosa de diferentes tipos de información biológica. Al enseñar a los modelos computacionales a leer tanto las instrucciones como los productos de la célula, los científicos pueden crear herramientas que no solo sean más inteligentes, sino también más precisas en sus predicciones. Este enfoque ofrece un camino prometedor hacia modelos más informativos que puedan capturar la complejidad total de la vida, demostando que, a veces, añadir una nueva perspectiva es mucho más valioso que simplemente añadir más de lo mismo.