Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

Resumo Técnico: Sondagem, Fusão e Confiabilidade de Representações de Modelos de Fundação para Análise Multimodal de Câncer

Definição do Problema
Modelos de fundação (FMs) emergiram como extratores de representação poderosos para dados médicos, contudo, sua generalização para conjuntos de dados do mundo real sob mudança de distribuição permanece subexplorada. Embora avaliações prévias de FMs de patologia e transcriptômica (ex: CONCH, UCE) mostrem promessa, elas são frequentemente conduzidas em benchmarks públicos que podem sobrepor-se ao corpus de pré-treinamento. Conjuntos de dados industriais reais, como os provenientes de fontes oncológicas comerciais, frequentemente seguem pipelines de coleta de dados e distribuições distintas. Este artigo aborda três lacunas críticas: (1) se as representações de FMs transferem-se de forma confiável para dados clínicos fora da distribuição (OOD); (2) se a fusão multimodal de dados de imagem e ômicas gera ganhos consistentes sobre as bases unimodais; e (3) a confiabilidade desses pipelines, especificamente no que diz respeito à quantificação de incerteza e calibração em cenários diagnósticos de alto risco.

Metodologia
O estudo utiliza duas coortes comerciais internas (IH) do mundo real: IH-BC (câncer de mama) e IH-NSCLC (câncer de pulmão de células não pequenas). Esses conjuntos de dados, derivados do Flatiron Health-Caris Life Sciences Clinical-Molecular Database, fornecem imagens de lâminas inteiras (H&E) pareadas com perfis transcriptômicos (expressão gênica TPM RNA). Os dados são divididos em conjuntos de treinamento, calibração, validação e teste (proporção 7:3:1:1).

O fluxo de trabalho experimental consiste em três estágios:

1. Sondagem Unimodal:

   • Representações de Imagem: Quatro modelos de fundação de patologia em nível de tile são avaliados: CONCH, UNI, MUSK e Virchow.
   • Representações de Ômicas: Três métodos são comparados: um FM transcriptômico (UCE), um autoencoder variacional (scVI) e uma linha de base clássica de redução de dimensionalidade (PCA).
   • Tarefas de Avaliação (Downstream): Oito tarefas de classificação são definidas, incluindo predição de local de biópsia, identificação de subtipo molecular, status de biomarcador (PR, PIK3CA, LOH, TMB) e identificação de sítio tumoral.
   • Aprendizado: O desempenho unimodal é avaliado usando Aprendizado de Instância Múltipla (HEMIL) para imagens e Perceptrons Multicamadas (GeneMLP) para ômicas.

2. Fusão Multimodal:

   • Três estratégias de fusão são implementadas para combinar representações pareadas de imagem e ômicas:
     • CONTACT: Concatenação de características de ômicas com cada embedding de tile de imagem, seguido por um codificador de fusão.
     • MCAT: Um transformer de co-atenção que troca informações entre tokens de imagem e ômicas antes do pooling de MIL.
     • LateMIL: Uma abordagem de fusão tardia que combina logits independentes de WSI e de ômicas via soma ponderada.

3. Análise de Confiabilidade:

   • Predição Conformal (CP): A predição conformal dividida é aplicada a todos os pipelines selecionados para gerar conjuntos de predição com garantias de cobertura marginal ($\alpha = 0.10$).
   • Métricas: A avaliação inclui cobertura empírica, tamanho médio do conjunto, taxa de singleton e "taxa de resgate" (a frequência com que o rótulo verdadeiro é recuperado no conjunto de predição quando a predição de ponto top-1 está incorreta).

Principais Resultados

• Desempenho Unimodal:

  • Os FMs de imagem alcançam desempenho competitivo em dados OOD, embora os resultados variem significativamente conforme a dificuldade da tarefa (ex: AUC alta >0.9 em IH-BC Biopsy Site vs. ~0.64 em IH-NSCLC Biopsy Site).
  • As representações de ômicas fornecem sinais complementares. Notavelmente, a linha de base clássica PCA frequentemente supera os modelos de fundação transcriptômicos aprendidos (UCE, scVI) em diversas tarefas, alcançando o maior AUC em tarefas de LOH, PR, PIK3CA, Subtipo e TMB. Isso sugere que construir FMs transcriptômicos eficazes continua sendo um desafio aberto em comparação com métodos estatísticos clássicos para capturar perturbações biológicas.

• Fusão Multimodal:

  • A fusão não é universalmente benéfica. Métodos multimodais (LateMIL, MCAT, CONTACT) superam as bases unimodais apenas quando nenhum único módulo domina o sinal preditivo.
  • Quando uma modalidade carrega o sinal dominante (ex: GeneMLP/PCA em NSCLC-TMB), a fusão pode, na verdade, degradar o desempenho em comparação com o melhor modelo unimodal.
  • O LateMIL demonstra o desempenho mais consistente entre as tarefas em comparação ao CONTACT e MCAT.

• Confiabilidade e Incerteza:

  • A predição conformal atinge a cobertura média no alvo nominal de 0.90 ou acima em todas as tarefas.
  • A Dificuldade da Tarefa Direciona o Tamanho do Conjunto: As tarefas de NSCLC (Biopsy Site, Tumor Site) exibem sobrecobertura (0.93–0.94) com grandes tamanhos médios de conjunto (2.5+) e taxas de singleton próximas de zero, refletindo a dificuldade intrínseca de distinguir subregiões pulmonares. Por outro vez, as tarefas de BC mostram uma cobertura mais ajustada ao alvo com conjuntos menores (~2.0).
  • Agnosticismo de Arquitetura: O comportamento conformal (cobertura e tamanho do conjunto) é amplamente robusto à escolha do modelo de backbone; a dificuldade da tarefa, e não a arquitetura do modelo, governa as características do conjunto de predição.
  • Taxa de Resgate: Nos casos em que a predição de ponto falha, o diagnóstico verdadeiro é recuperado dentro do conjunto de predição em 72.6% a 87.3% dos casos, validando a rede de segurança fornecida pela inferência consciente de incerteza.

Significância e Alegações
O artigo alega que as representações de modelos de fundação podem transferir-se razoavelmente bem para dados oncológicos comerciais não vistos, mas sua utilidade é altamente dependente da tarefa. Uma contribuição primária é a descoberta de que a fusão multimodal não garante ganhos de desempenho e pode ser prejudicial se uma modalidade já fornece um sinal dominante. Além disso, o estudo destaca que métodos clássicos como o PCA podem superar modelos de fundação transcriptômicos modernos em contextos clínicos específicos.

Em relação à confiabilidade, os autores argumentam que mudar de predições de ponto único para conjuntos de predição conformal é crítico para o suporte clínico. Essa abordagem garante que, mesmo quando a predição top-1 de um modelo está errada, o diagnóstico correto raramente é descartado, reduzindo assim o risco de erros silenciosos na colaboração humano-IA. O trabalho enfatiza que, embora a arquitetura do modelo importe, a dificuldade inerente da tarefa clínica é o principal motor da incerteza e do tamanho do conjunto de predição.