Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis

1. Declaração do Problema

A patologia digital utiliza Imagens de Lâmina Completa (WSIs) para diagnóstico e prognóstico de câncer, mas a análise dessas imagens gigapixel apresenta desafios significativos:

• Supervisão Fraca: As WSIs são tipicamente rotuladas apenas no nível da lâmina, exigindo Aprendizado de Múltiplas Instâncias (MIL), onde uma lâmina é tratada como um "saco" de patches de imagem.
• Falta de Viés Indutivo: As estruturas MIL existentes frequentemente tratam as WSIs como coleções não estruturadas de patches, descartando semânticas morfológicas críticas (por exemplo, ninhos tumorais, estroma) e geometria espacial. Isso leva ao sobreajuste em ruído de fundo e à falha em alinhar características visuais com conhecimento diagnóstico de alto nível.
• Lacuna Multimodal: Enquanto os clínicos integram pistas visuais com histórico clínico, os modelos computacionais raramente aproveitam orientações semânticas de alto nível (por exemplo, descrições textuais clínicas). As abordagens multimodais atuais frequentemente falham em fechar a lacuna semântica de forma eficaz, tratando o texto como um sinal passivo em vez de um modulador ativo de características visuais.

2. Metodologia: O Framework HPDP

Os autores propõem Hierarchical Prototype-based Domain Priors (HPDP), um framework multimodal unificado projetado para injetar conhecimento morfológico e semântico estruturado no pipeline MIL. O framework consiste em três componentes principais:

A. Pipeline de Processamento de Informação

• Visual: As WSIs são pré-processadas em patches não sobrepostos. Um codificador ResNet-50 extrai características no nível do patch.
• Espacial: As coordenadas $(x, y)$ de cada patch são registradas para preservar o layout geométrico do microambiente tecidual.
• Priors de Domínio: O agrupamento K-means não supervisionado é aplicado às características do patch para identificar centróides morfológicos representativos (por exemplo, vasos, células, estroma). Estes servem como "Especialistas Prioritários".
• Textual: Um Modelo de Linguagem Grande (LLM) gera descrições textuais clínicas coerentes a partir de WSIs com resolução reduzida para fornecer âncoras semânticas de alto nível.

B. Módulos Principais

1. Codificador Posicional Sinusoidal (SPE):

   • Aborda a negligência do layout espacial no MIL padrão.
   • Mapeia coordenadas de patches normalizadas em embeddings de alta dimensão usando funções seno e cosseno (inspirado em Transformers).
   • Esses embeddings espaciais são fundidos com características visuais via adição elemento a elemento, garantindo que o modelo perceba distâncias relativas e arquitetura tecidual.

2. Sistema de Protótipos Ancorados Morfologicamente (MAPS):

   • Desentrelaça a aprendizagem de representação no nível da lâmina em dois caminhos complementares para equilibrar estabilidade estrutural e plasticidade específica da tarefa:
     • Especialistas Prioritários: Inicializados via agrupamento K-means (não supervisionado) para representar categorias morfológicas canônicas. Eles são otimizados usando uma perda auxiliar para alinhar com esses protótipos "professores" fixos, garantindo que o modelo respeite o conhecimento de domínio estabelecido.
     • Especialistas Adaptativos: Parâmetros aprendíveis otimizados via supervisão ponta a ponta para minerar padrões discriminativos sutis e específicos da tarefa que clusters pré-definidos podem perder.
   • Mecanismo: Usa Similaridade Cosseno para roteamento semântico (Especialistas Prioritários) e Produto Interno para mineração sensível à magnitude (Especialistas Adaptativos).

3. Alinhamento Hierárquico Cross-Modal (HCMA):

   • Fecha a lacuna visual-linguística usando texto gerado por LLM como um "controlador semântico".
   • Estágio 1 (Modulação Semântica Global): Usa Modulação Linear Específica de Características (FiLM) para recalibrar dinamicamente protótipos visuais com base no embedding de texto global. Isso suprime canais visuais irrelevantes e amplifica aqueles relevantes para o diagnóstico.
   • Estágio 2 (Propagação de Contexto Estrutural): Emprega Atenção Multi-Cabeça onde protótipos originais atuam como Consultas (Queries) e características moduladas atuam como Chaves/Valores (Keys/Values). Isso garante que a representação final retenha uma estrutura visual robusta enquanto está profundamente alinhada com semânticas clínicas.

C. Função Objetivo

O modelo é treinado ponta a ponta com uma perda total composta por:

• Perda Específica da Tarefa: Entropia Cruzada para classificação ou Perda de Riscos Proporcionais de Cox para análise de sobrevivência.
• Perda de Supervisão de Protótipos: Uma perda contrastiva que força os "Especialistas Prioritários" aprendíveis a alinhar com os centróides derivados do K-means fixo, impondo o prior de domínio.

3. Contribuições Principais

1. Framework Inovador: Propõe o HPDP, que sinergiza de forma única priores morfológicos derivados de K-means com orientação semântica gerada por LLM, fechando eficazmente a aprendizagem orientada por dados e o conhecimento de domínio definido por especialistas.
2. Sistema de Protótipos Ancorados Morfologicamente (MAPS): Introduz um sistema de dupla especialidade (Prior Fixo + Adaptativo) acoplado a um Codificador Posicional Sinusoidal para capturar simultaneamente semânticas morfológicas e contexto geométrico.
3. Alinhamento Hierárquico Cross-Modal (HCMA): Desenvolve um módulo de dois estágios que usa texto de LLM para modular ativamente características visuais, garantindo que a atenção seja guiada por raciocínio diagnóstico de alto nível em vez de estatísticas de baixo nível.
4. Validação Abrangente: Demonstra desempenho de última geração (SOTA) em sete coortes de câncer diversas tanto para diagnóstico (subtipagem) quanto para prognóstico (estratificação de risco de sobrevivência).

4. Resultados Experimentais

O framework foi avaliado em sete conjuntos de dados (incluindo TCGA-Lung, Camelyon16, BRACS e uma coorte interna de Câncer de Pulmão) cobrindo tarefas de classificação e sobrevivência.

• Desempenho de Classificação: O HPDP alcançou resultados SOTA em Precisão, AUC e F1-score.
  • No conjunto de dados LCEM (previsão de mutação EGFR), o HPDP alcançou um AUC de 83,64%, superando o segundo colocado (PMIL com 82,29%) e mostrando estabilidade superior em comparação com modelos baseados em Transformers como TransMIL, que sofreram quedas de desempenho em dados heterogêneos.
  • No BRACS (subtipagem de alta granularidade), o HPDP alcançou um F1-score líder de 65,61%.
• Análise de Sobrevivência: O HPDP alcançou um C-index médio geral de 0,6577.
  • Na coorte LCEM, atingiu um C-index de 0,6985, superando baselines especializadas baseadas em grafos (DM-GNN) e baseadas em protótipos (ProtoSurv).
• Generalização Zero-Shot: Em um experimento zero-shot (treinado em LCEM, testado em TCGA-LUAD sem ajuste fino), o HPDP manteve desempenho robusto (AUC 75,50%, C-index 0,5954), enquanto outros modelos sofreram colapso de modo ou degradação significativa de desempenho.
• Interpretabilidade: A visualização de mapas de calor de atenção mostrou que o HPDP foca precisamente na morfologia tumoral e nas fronteiras verdadeiras, evitando a "dispersão de atenção" observada em modelos MIL padrão. Visualizações t-SNE confirmaram melhor separação de características e redução da variância intraclasse.

5. Significado

• Fechando a Lacuna da "Caixa Preta": Ao ancorar a aprendizagem em protótipos morfológicos interpretáveis e texto clínico, o HPDP se afasta de modelos de aprendizado profundo opacos em direção a um sistema de suporte diagnóstico de "caixa branca" que imita o raciocínio do patologista.
• Robustez a Mudanças de Domínio: A integração de codificação geométrica (SPE) e alinhamento semântico (HCMA) permite que o modelo generalize entre diferentes instituições e protocolos de coloração, um gargalo crítico para implementação clínica.
• Utilidade Clínica: O framework fornece não apenas uma previsão, mas uma representação refinada contextualmente que se alinha com a literatura médica, aumentando a confiança e facilitando a adoção em fluxos de trabalho de oncologia de precisão.
• Direção Futura: O trabalho destaca o potencial de usar LLMs como moduladores ativos em imagens médicas, sugerindo um caminho para associações causais entre semânticas textuais e padrões de patologia visual.