Multimodal Cancer Modeling in the Age of Foundation Model Embeddings

Resumo Técnico: Modelagem Multimodal de Câncer na Era dos Embeddings de Modelos Fundamentais

Declaração do Problema
O Cancer Genome Atlas (TCGA) serve como um recurso primordial para a pesquisa oncológica, oferecendo dados harmonizados de genômica, clínica e imagem para mais de 11.000 casos em 33 tipos de câncer. Embora numerosos estudos tenham desenvolvido modelos de aprendizado profundo personalizados para tarefas como previsão de sobrevivência ao câncer usando dados do TCGA, essas abordagens frequentemente exigem recursos computacionais significativos e treinamento específico para a tarefa. Além disso, apesar da disponibilidade de relatórios de patologia em texto livre dentro do TCGA, esses dados foram historicamente subutilizados devido aos desafios de processar documentos PDF escaneados e brutos. Os autores investigam se modelos clássicos de aprendizado de máquina, quando aplicados a embeddings zero-shot derivados de Modelos Fundamentais (FMs) modernos, podem prever efetivamente a sobrevivência ao câncer usando dados multimodais sem a necessidade de ajuste fino extensivo.

Metodologia
O estudo emprega uma estrutura modular de fusão tardia que combina embeddings zero-shot de FMs com modelos clássicos simples de aprendizado de máquina (especificamente modelos de Riscos Proporcionais de Cox).

• Curadoria de Dados: Os autores montaram um conjunto de dados de 7.982 casos de pacientes do TCGA, garantindo a disponibilidade de dados de sobrevivência, relatórios de patologia, lâminas diagnósticas de tumor e expressão gênica de RNA-seq de tumor. Dados demográficos (idade, sexo, raça, etnia) e tipo de câncer foram codificados one-hot.
• Embeddings de Modelos Fundamentais: Os autores utilizaram embeddings pré-treinados e zero-shot sem ajuste fino adicional para evitar vazamento de dados:
  • Histologia: Embeddings UNI2-h para lâminas diagnósticas.
  • Expressão Gênica: BulkRNABert (treinado no GTEx/ENCODE) e Universal Cell Embeddings (UCE).
  • Texto: BioMistral-7B e Mistral-7B-Instruct-v0.1 para relatórios de patologia.
  • Agregação: Embeddings em nível de paciente foram derivados pela média de embeddings de múltiplas amostras da mesma modalidade.
• Processamento de Relatórios de Patologia: Para abordar problemas com erros de OCR e comprimento do relatório, os autores usaram o Llama-3.1-8B-Instruct para resumir relatórios de patologia, focando em descrições microscópicas, diagnósticos e história clínica, omitindo descrições macroscópicas.
• Pipeline de Modelagem:
  1. Modelagem Unimodal: Para cada modalidade, os embeddings foram padronizados e reduzidos via Análise de Componentes Principais (PCA) para dimensões variadas (4–256). Um modelo CoxPH foi treinado na divisão de treinamento para prever escores de risco.
  2. Fusão Multimodal: Uma abordagem de "fusão tardia" foi utilizada, onde os escores de risco previstos dos modelos unimodais serviram como características de entrada para um modelo CoxPH multimodal final. Isso permitiu a integração de diversas modalidades (demografia, tipo de câncer, expressão, histologia e texto) sem alterações arquitetônicas complexas.
  3. Avaliação: Os modelos foram avaliados usando validação cruzada de 5 dobras com métricas incluindo o Índice de Concordância (C-index), a média cumulativa/dinâmica da Área sob a Curva (AUCC,D) e a Pontuação Brier Integrada (IBS).
• Análise de Alucinações: Um subconjunto de 40 casos selecionados aleatoriamente foi revisado manualmente para corrigir alucinações factuais nos resumos gerados por LLM. Esses resumos corrigidos foram re-embedados para avaliar o impacto das alucinações na previsão de sobrevivência a jusante.

Principais Contribuições

1. Quantificação de Embeddings de FM para Sobrevivência: O estudo demonstra que embeddings zero-shot de FMs combinados com modelos lineares pequenos (CoxPH) podem alcançar desempenho competitivo na previsão de sobrevivência (pico de C-index ~0,75 para modalidades únicas) no TCGA, rivalizando com abordagens de aprendizado profundo mais complexas.
2. Fusão Multimodal Aditiva: Os autores introduzem uma estrutura simples e extensível de fusão tardia mostrando que as modalidades de dados de câncer são aditivas e não redundantes. A combinação de embeddings de expressão, histologia e texto com características clínicas (demografia e tipo de câncer) produziu o melhor desempenho.
3. Impacto do Resumimento de Texto: O artigo fornece evidências de que resumir relatórios de patologia usando LLMs melhora significativamente a previsão de sobrevivência em comparação com o uso de embeddings de texto brutos e não resumidos.
4. Robustez a Alucinações: Através da correção manual de um subconjunto de resumos, o estudo avalia o efeito das alucinações de LLM, encontrando que correções factuais menores não alteraram significativamente a estratificação de risco no subconjunto amostrado.

Resultados

• Desempenho Unimodal: Modelos de modalidade única alcançaram um pico de C-index médio validado cruzadamente de aproximadamente 0,75. O desempenho geralmente estabilizou em uma dimensão de PCA de 256. Notavelmente, modelos unimodais sobre embeddings de FM não superaram substancialmente, em todos os casos, modelos usando apenas características clínicas tabulares (demografia + tipo de câncer, C-index 0,747), destacando a importância de uma linha de base forte.
• Desempenho Multimodal: A fusão multimodal superou consistentemente os modelos unimodais. A combinação de todas as modalidades (demografia, tipo de câncer, expressão, histologia e texto) alcançou um C-index de 0,795.
• Especificidade da Modalidade:
  • Expressão Gênica: Modelos específicos de domínio (BulkRNABert) superaram modelos gerais de biologia celular (UCE) para dados de RNA-seq em massa.
  • Texto: Relatórios resumidos produziram um C-index de 0,752, significativamente maior do que relatórios não resumidos (0,694). A adaptação de domínio (BioMistral vs. Mistral) mostrou diferença mínima em comparação com o impacto do resumimento.
  • Tipos de Câncer: Modelos multimodais superaram consistentemente modelos unimodais nos 8 tipos de câncer mais prevalentes (por exemplo, BRCA, KIRC, UCEC), enquanto a melhor modalidade unimodal variou conforme o tipo de câncer.
• Impacto das Alucinações: A correção manual de alucinações em 24 de 40 relatórios amostrados não alterou a estratificação de risco do subconjunto, sugerindo que a informação saliente para a previsão de sobrevivência (por exemplo, invasão, metástase) permaneceu intacta apesar de erros factuais menores.

Significado e Alegações
Os autores afirmam que seu trabalho estabelece uma estrutura modular e de baixo recurso para modelagem multimodal de câncer que aproveita o poder dos modelos fundamentais sem exigir a infraestrutura computacional para treinar modelos de aprendizado profundo personalizados. Ao usar embeddings zero-shot e modelos lineares simples, a abordagem aborda preocupações de privacidade de dados e evita o sobreajuste em conjuntos de dados pequenos.

O estudo enfatiza que, embora existam métodos complexos de aprendizado profundo, a sinergia entre embeddings ricos em características de FMs e modelos estatísticos simples é suficiente para previsão de sobrevivência de alta precisão. Os autores posicionam seu trabalho como uma quantificação dessa abordagem "centrada em embeddings", demonstrando que os dados multimodais são aditivos e que o resumimento de relatórios de patologia é uma etapa crítica de pré-processamento para modelagem baseada em texto. Eles concluem que esse paradigma oferece um caminho escalável e eficaz para aplicar modelos fundamentais à multi-ômica do câncer e a tarefas biomédicas mais amplas, ao mesmo tempo em que notam limitações relacionadas aos tamanhos de amostra para correção de alucinações e a necessidade de validação externa além do TCGA.