Single-cell foundation models benefit from cross-modal training: adding proteomics data beats parameter scaling

Dentro de cada célula viva, uma conversa complexa está ocorrendo, escrita em duas línguas diferentes. Uma língua é feita de RNA, moléculas que carregam instruções para a construção de proteínas, os cavalos de batalha que mantêm uma célula viva e funcional. Cientistas passaram anos aprendendo a ler essas mensagens de RNA, criando bibliotecas digitais massivas que descrevem como as células se comportam na saúde e na doença. Essas bibliotecas cresceram tanto que os pesquisadores agora utilizam programas de computador poderosos, conhecidos como modelos de fundação, para encontrar padrões dentro delas. Esses programas aprendem a reconhecer as assinaturas únicas de diferentes tipos de células, muito parecido com um bibliotecário que consegue identificar instantaneamente o gênero de um livro pela sua capa. Por muito tempo, a crença predominante era que a única maneira de tornar esses programas mais inteligentes era alimentá-los com mais e mais dados de RNA, esperando que o puro volume acabaria por revelar cada segredo da vida celular.

No entanto, as células falam mais de uma língua. Ao lado do RNA, elas produzem proteínas, as estruturas reais que realizam as tarefas da célula. Enquanto o RNA diz à célula o que construir, as proteínas são os produtos acabados. Até recentemente, a maioria dos modelos computacionais de células ignorava essas proteínas, focando exclusivamente nas instruções de RNA. Isso deixou uma lacuna na compreensão, pois as instruções nem sempre correspondem ao resultado final. A questão que se impunha aos cientistas era se adicionar esta segunda camada de informação — os dados proteicos — poderia ensinar a esses modelos computacionais mais do que simplesmente adicionar mais dados de RNA jamais conseguiria. Era um teste para saber se a qualidade e a variedade de informações poderiam superar a estratégia simples de tornar os modelos maiores e alimentá-los com mais do mesmo.

Uma equipe de pesquisadores partiu para responder a isso treinando um modelo de computador em um novo tipo de dado. Eles começaram com um modelo existente que já havia aprendido com centenas de milhões de amostras de RNA. Em vez de apenas alimentá-lo com mais RNA, eles o introduziram a uma vasta coleção de perfis proteicos. Esses perfis vieram de 440 estudos diferentes que utilizaram espectrometria de massa, uma técnica que mede as proteínas específicas presentes em uma célula. Os pesquisadores guiaram cuidadosamente o modelo para aprender com essas 48.843 amostras de proteínas, um processo que chamaram de pré-treinamento contínuo multimodal. Isso significava que o modelo tinha que aprender como a linguagem das proteínas se relacionava com a linguagem do RNA que ele já conhecia, efetivamente ensinando-o a entender a célula através de suas instruções e também de seus produtos acabados.

Os resultados foram impressionantes. Os pesquisadores treinaram um modelo com 70 milhões de parâmetros, uma medida de sua complexidade, com esses dados mistos por apenas uma passagem pelas amostras de proteína. Quando testaram este modelo, ele teve um desempenho tão bom quanto, ou melhor do que, modelos vastamente maiores e treinados apenas em RNA. Especificamente, o modelo menor com dados de proteína igualou ou superou o desempenho de modelos de apenas RNA que possuíam 1 bilhão e 3 bilhões de parâmetros. Essa descoberta desafia a ideia de que o único caminho para uma melhor compreensão é simplesmente aumentar a escala do tamanho do modelo e a quantidade de dados de RNA. Em vez disso, sugere que a introdução de um tipo diferente de dado biológico pode proporcionar um aumento muito mais eficiente na inteligência do modelo.

Os benefícios desta abordagem estenderam-se além do desempenho geral. O modelo treinado com dados de proteína mostrou uma capacidade de generalização mais forte, o que significa que ele podia aplicar o que aprendeu a novas situações que nunca tinha visto antes. Isso ficou particularmente claro quando o modelo foi testado sobre como as células respondem a mudanças proteicas. Nestes testes, simplesmente tornar o modelo de apenas RNA maior não o ajudou a compreender essas mudanças de forma melhor. O modelo que havia aprendido com as proteínas, no entanto, lidou com esses novos desafios com maior facilidade. Isso indica que os dados de proteína ajudaram o modelo a construir uma compreensão mais robusta e flexível de como as células funcionam, uma que não está estritamente ligada aos padrões encontrados apenas no RNA.

Essas descobertas sugerem que o futuro da compreensão das células pode não residir na construção de modelos cada vez maiores treinados em um único tipo de dado. Em vez disso, os insights mais poderosos podem vir da combinação cuidadosa de diferentes tipos de informações biológicas. Ao ensinar modelos de computador a ler tanto as instruções quanto os produtos da célula, os cientistas podem criar ferramentas que são não apenas mais inteligentes, mas também mais precisas em suas previsões. Esta abordagem oferece um caminho promissor para modelos mais informativos que podem capturar a complexidade total da vida, provando que, às vezes, adicionar uma nova perspectiva é muito mais valioso do que simplesmente adicionar mais do mesmo.