MMSF: Multitask and Multimodal Supervised Framework for WSI Classification and Survival Analysis

Resumo Técnico: MMSF – Estrutura de Aprendizado Supervisionado Multitarefa e Multimodal para Classificação de WSI e Análise de Sobrevivência

Definição do Problema
A patologia computacional enfrenta desafios significativos na análise de Imagens de Lâmina Inteira (WSIs), que são imagens de escala gigapixel contendo informações morfológicas ricas, mas que impõem cargas computacionais imensas. Os pipelines tradicionais frequentemente segmentam as WSIs em centenas de milhares de patches, levando a requisitos computacionais massivos que dificultam a implementação clínica. Além disso, os métodos existentes sofrem de três limitações primárias:

1. Complexidade Computacional: Modelos de Aprendizado de Instância Múltipla (MIL) baseados em Transformers exibem complexidade quadrática em relação ao comprimento da sequência, tornando-os ineficientes para o processamento de patches em larga escala.
2. Negligência do Contexto Espacial: Muitas abordagens tratam os patches como instâncias independentes, falhando em capturar as relações espaciais críticas e a arquitetura tecidual inerentes à histopatologia.
3. Limitações Unimodais: A maioria dos métodos baseia-se apenas em dados de imagem patológica, ignorando descritores clínicos coletados rotineiramente (ex: idade, estágio) que fornecem um contexto prognóstico complementar. Embora a integração multiômica melhore a precisão, ela é frequentemente limitada pelo custo e disponibilidade de dados.

Metodologia
Os autores propõem o MMSF (Estrutura de Aprendizado Supervisionado Multitarefa e Multimodal), uma estrutura de complexidade linear projetada para a classificação simultânea de WSI e análise de sobrevivência. A arquitetura integra dados multimodais através de um pipeline estruturado:

1. Extração de Características e Construção de Grafos:

   • As WSIs são recortadas em patches e processadas pelo modelo de fundação patológica UNI2 para extrair características de 1536 dimensões.
   • Um módulo de Construção de Grafo ao Nível de Patch constrói um grafo espacial $G=(V, E)$ onde os vértices representam patches. As arestas são estabelecidas com base na proximidade espacial e similaridade tecidual (similaridade de cosseno dos vetores de características).
   • Um modelo de Redes Neurais de Grafos (especificamente GAT, identificado como ideal em estudos de ablação) processa esses grafos para extrair embeddings de contexto espacial.

2. Embedding de Dados Clínicos (CDE):

   • Um módulo dedicado de Embedding de Dados Clínicos lida com dados heterogêneos ao nível do paciente (variáveis contínuas como idade e variáveis categóricas como estágio T/N).
   • Utilizando pares codificador-decodificador separados para cada tipo de dado, o módulo emprega um objetivo de reconstrução autossupervisionada para gerar um vetor de embedding clínico unificado.

3. Mecanismo de Fusão Hierárquica:

   • Fusão Precoce (Nível de Patch): Os atributos de patch extraídos e os embeddings de grafo são fundidos usando um Módulo de Fusão de Características (FFM). Este módulo utiliza um mecanismo de atenção Squeeze-and-Excitation (SE) sobre as características concatenadas para integrar o contexto espacial precocemente no pipeline.
   • Fusão Tardia (Nível de Instância): As representações agregadas de nível de "bag" do codificador MIL são fundidas com os embeddings clínicos via um segundo FFM. Isso preserva a natureza hierárquica dos dados enquanto incorpora o contexto ao nível do paciente.

4. Codificador MIL Baseado em Mamba:

   • Para abordar gargalos computacionais, o MMSF substitui a autoatenção quadrática pelo modelo de espaço de estados Mamba (proveniente do EfficientMIL).
   • Um Seletor de Patches Adaptativo (APS) identifica os patches mais informativos (top 512), que são então processados por blocos Mamba2. Isso reduz a complexidade de quadrática para linear em relação ao número de patches.

5. Predição Multitarefa:

   • As características fundidas finais são enviadas para cabeças específicas de tarefas: uma camada linear para classificação (usando Entropia Cruzada Binária com Logits) e uma camada linear com ativação sigmoide para análise de sobrevivência (usando perda de riscos proporcionais de Cox).

Principais Contribuições

• Primeira Estrutura de Complexidade Linear Multitarefa: O MMSF é a primeira estrutura que combina aprendizado multitarefa (classificação e sobrevivência) com fusão multimodal utilizando um modelo de espaço de estados de complexidade linear (Mamba) para análise de WSI.
• Novo Embedding Clínico: A introdução de um módulo de Embedding de Dados Clínicos (CDE) "plug-and-play" que padroniza atributos clínicos heterogêneos para tarefas downstream sem exigir dados multiômicos.
• Estratégia de Fusão Hierárquica: Um mecanismo de fusão de dois estágios que realiza a fusão precoce de características espaciais baseadas em grafos e a fusão tardia de embeddings clínicos, combinando efetivamente o contexto espacial local com atributos globais do paciente.
• Módulos Plug-and-Play: O design de módulos específicos para extração de características de grafo ao nível de patch e integração de dados clínicos que potencializam o aprendizado de representação multimodal.

Resultados Experimentais
A estrutura foi avaliada em sete conjuntos de dados públicos: CAMELYON16 e TCGA-NSCLC para classificação, e cinco coortes TCGA (BLCA, COAD, LUAD, STAD, KIRC) para análise de sobrevivência.

• Desempenho de Classificação: No CAMELYON16 e TCGA-NSCLC, o MMSF alcançou resultados de estado da arte, melhorando a acurácia em 2,1–6,6% e a AUC em 2,2–6,9% em relação aos baselines competitivos (incluindo TransMIL, Snuffy e EfficientMIL).
• Desempenho de Análise de Sobrevivência: Nas cinco coortes de sobrevivência TCGA, o MMSF alcançou um C-index geral de 0,6911. Isso representa uma melhoria de 7,1–9,8% sobre métodos unimodais e de 5,6–7,1% sobre alternativas multimodais existentes (ex: HSFSurv, MCAT).
• Estudos de Ablação: Experimentos confirmaram que a adição do ramo de grafo, do módulo de embedding clínico e da estratégia de fusão baseada em SE contribuiu significativamente para os ganhos de desempenho. A estratégia de fusão baseada em SE superou as baselines de fusão linear e de não-fusão.
• Eficiência: Ao utilizar o backbone Mamba e a seleção adaptativa de patches, o modelo mantém a complexidade linear, tornando-o mais eficiente computacionalmente do que abordagens MIL baseadas em Transformers.

Significância e Alegações
Os autores afirmam que o MMSF aborda barreiras críticas para a translação clínica na patologia computacional. Ao alcançar um desempenho de estado da arte sem exigir dados multiômicos caros, a estrutura aproveita WSIs e registros clínicos rotineiramente disponíveis. O design de complexidade linear garante escalabilidade para implantação clínica em larga escala, enquanto o mecanismo de fusão hierárquica permite a integração eficaz de tipos de dados heterogêneos. A capacidade do modelo de realizar tanto a classificação quanto a análise de sobrevivência simultaneamente, combinada com sua interpretabilidade via visualização de atenção ao nível de patch, posiciona-o como uma solução robusta e generalizável para a patologia computacional multimodal.