Bridging the Modality Bottleneck in Pathology MIL through Virtual Molecular Staining

Resumo Técnico: Superando o Gargalo de Modalidade em MIL de Patologia através de Coloração Molecular Virtual

Declaração do Problema
Na patologia computacional, o Aprendizado de Múltiplas Instâncias (MIL) é o framework dominante para a análise de imagens de lâminas inteiras (WSIs). Pipelines MIL padrão consistem tipicamente em um codificador de patches congelado (um modelo fundamental de patologia), uma camada de projeção por patch e um agregador em nível de lâmina. Embora codificadores e agregadores tenham sido extensivamente otimizados, a camada de projeção permanece um gargalo significativo. Os modelos fundamentais atuais são pré-treinados principalmente na morfologia de H&E e em laudos de patologia, organizando as características dos tecidos ao longo de eixos morfológicos. No entanto, muitos desfechos clínicos críticos — como status de biomarcadores, resposta ao tratamento e sobrevivência — são governados por estados moleculares que não são totalmente capturados pela morfologia sozinha. Regiões histologicamente semelhantes podem corresponder a programas moleculares distintos, criando um "gargalo de modalidade" onde modelos baseados apenas em morfologia falham em distinguir casos molecularmente distintos. Tentativas existentes de injetar sinais moleculares frequentemente exigem o ajuste fino do codificador ou o re-pré-treinamento de modelos fundamentais com objetivos de visão-ômica, o que vincula a representação a checkpoints específicos de modelo e incorre em altos custos computacionais.

Metodologia: Transformação de Coloração Informada Molecularmente (MIST)
Os autores propõem o MIST, uma substituição plug-and-play para a camada de projeção MIL padrão que supera a lacuna de modalidade transcricional sem exigir transcriptômica espacial (ST) na inferência. O MIST opera construindo "colorações moleculares virtuais" durante o treinamento usando dados pareados de ST e H&E, que são então aplicados a características apenas de H&E durante a inferência.

O método procede em quatro etapas principais:

1. Aprendizado de Protótipos Cross-Modal: Usando dados pareados de ST-H&E (do conjunto de dados HEST-1k), o método agrupa perfis de expressão gênica para identificar conceitos moleculares distintos. Crucialmente, os protótipos resultantes são centróides computados no espaço de características morfológicas (do modelo fundamental congelado), mas ancorados por aglomerados de expressão gênica. Isso permite que cada protótipo codifique a assinatura morfológica de um programa molecular específico.
2. Atribuição Suave de Patches: Para cada patch em uma WSI, o modelo computa afinidades suaves para esses protótipos moleculares. Diferentemente do agrupamento rígido, isso permite que um patch ative simultaneamente múltiplos protótipos, refletindo a realidade biológica de programas moleculares co-expressos dentro de uma única região de tecido.
3. Transformações de Baixo RANK Condicionadas por Protótipos: Cada protótipo induz uma "visão" específica do embedding do patch por meio de uma transformação residual de baixo rank. Isso imita a natureza física da coloração, onde uma corante é adicionada sobre o tecido subjacente. A transformação usa uma base de baixo rank compartilhada ($V$) entre todos os protótipos, com matrizes de modulação específicas do protótipo ($U_k$), garantindo que a transformação permaneça eficiente e fundamentada em eixos morfológicos comuns.
4. Mistura Residual: A representação final do patch é uma soma ponderada do embedding original e das visões coradas, onde os pesos são determinados pelas afinidades dos protótipos. Essa estrutura residual preserva a morfologia original de H&E como uma referência estável, enquanto integra priores moleculares.

Contribuições Principais

• Perspectiva de Gargalo de Modalidade: O artigo identifica a camada de projeção MIL como um ponto de intervenção modular onde priores moleculares podem ser injetados para superar as limitações de modelos fundamentais baseados apenas em morfologia, distinto de gargalos focados em capacidade.
• Coloração Molecular Virtual: O MIST introduz um mecanismo para utilizar priores de transcriptômica espacial durante o treinamento para reorganizar características de H&E ao longo de eixos definidos por genes, exigindo apenas imagens de H&E na inferência. Isso evita a necessidade de re-treinar ou ajustar fino o modelo fundamental de patologia congelado.
• Adaptação Cross-Modal: Ao ancorar protótipos derivados de genes no espaço morfológico, o MIST cria um módulo de adaptação reutilizável que permanece eficaz à medida que o ecossistema de modelos fundamentais de patologia evolui.

Resultados Experimentais
O MIST foi avaliado em 23 tarefas downstream e 8 agregadores MIL diferentes (incluindo ABMIL, CLAM, TransMIL e outros) usando um codificador UNI2-h congelado.

• Ganhos de Desempenho: O MIST melhorou 240 de 256 configurações em comparação com a camada de projeção linear padrão, resultando em um ganho médio de desempenho de +3,5%.
• Melhorias Específicas por Tarefa:
  • Predição de Sobrevivência: +5,2% de ganho médio (Índice de Concordância).
  • Subtipagem de Tecido: +3,3% de ganho médio (Precisão Balanceada/$\kappa$ Ponderado).
  • Predição de Biomarcadores: +2,6% de ganho médio (AUROC).
• Estudos de Ablação: Substituir protótipos derivados de genes por vetores aleatórios ou agrupamento apenas de H&E reduziu significativamente o desempenho, confirmando que os ganhos derivam de priores moleculares cross-modais e não de capacidade aumentada do modelo. A estrutura de baixo rank e as conexões residuais também foram mostradas como escolhas de design críticas.
• Interpretabilidade: Validação espacial em lâminas HEST mantidas de fora demonstrou que o MIST pode inferir distribuições moleculares biologicamente significativas diretamente da morfologia de H&E. A análise patológica confirmou que as afinidades dos protótipos alinham-se com estados de tecido distintos (por exemplo, normal vs. tumor, alveolar vs. escamoso) sem supervisão explícita de anotações patológicas.

Significado e Alegações
O artigo alega que o MIST aborda efetivamente o gargalo de modalidade na patologia computacional, desacoplando a supervisão molecular do processo de treinamento do codificador. Ao operar na camada de projeção, o MIST permite que priores moleculares sejam integrados em pipelines de modelos fundamentais congelados de maneira reutilizável e computacionalmente eficiente. Os autores postulam que a camada de projeção representa tanto uma capacidade quanto um gargalo de modalidade; enquanto métodos como MAMMOTH abordam a capacidade, o MIST aborda a lacuna de modalidade. Os resultados sugerem que priores informados molecularmente são particularmente benéficos para tarefas onde estados moleculares impulsionam desfechos (sobrevivência, biomarcadores) e para agregadores mais fracos que lutam para extrair sinal suficiente da morfologia sozinha. O trabalho demonstra que afinidades de protótipos cross-modais podem capturar programas moleculares espacialmente coerentes e patologicamente significativos apenas a partir de imagens de H&E, oferecendo um caminho para patologia informada molecularmente sem a necessidade de ensaios moleculares caros na inferência.