Multimodal Fusion of Pathology Free-Text and Clinical Data Enhances Complication-Risk Discrimination After Implant-Based Breast Reconstruction

Resumo Técnico: Fusão Multimodal de Texto Livre de Patologia e Dados Clínicos para Discriminação de Risco de Complicações

Definição do Problema
A reconstrução mamária com implante é a opção cirúrgica predominante após a mastectomia, porém aproximadamente um terço das pacientes desenvolve complicações em dois anos. Os modelos de aprendizado de máquina existentes para prever essas complicações baseiam-se exclusivamente em variáveis clínicas estruturadas e curadas manualmente (ex: IMC, idade, comorbidades), ignorando informações prognósticas contidas em relatórios narrativos de patologia. Embora os modelos de linguagem de grande escala (LLMs) tenham demonstrado a capacidade de extrair achados categóricos de textos clínicos, as morfometrias numéricas (como o peso do espécime da mastectomia) permanecem amplamente subutilizadas. Além disso, nenhum estudo prévio conseguiu fundir com sucesso características derivadas de texto com dados clínicos estruturados para melhorar a estratificação de risco neste domínio.

Metodologia
Os autores desenvolveram um pipeline multimodal totalmente on-premises e de código aberto para abordar essa lacuna. A metodologia consiste em três componentes primários:

1. Extração de Informação Baseada em LLM:

   • Um LLM de código aberto (Gemma 3, 27 bilhões de parâmetros) foi implementado em um cenário zero-shot para extrair morfometrias numéricas de relatórios de patologia em texto livre.
   • O modelo foi instruído a extrair campos específicos, incluindo pesos dos espécimes de mastectomia de mama esquerda/direita (em gramas), dimensões, margens profundas e contagem de linfonodos.
   • A inferência foi realizada on-premises utilizando 4× GPUs NVIDIA L40S com decodificação determinística para garantir a reprodutibilidade.
   • As saídas JSON extraídas foram processadas com validação de esquema rigorosa, normalizando unidades (ex: kg para g) e tratando valores ausentes.

2. Alinhamento Contrastivo Multimodal (Estilo CLIP):

   • Para fundir o texto não estruturado com dados estruturados, os autores empregaram uma arquitetura de codificador duplo inspirada no CLIP (Contrastive Language-Image Pre-training).
   • Codificadores: Transformers PubMedBERT-base independentes codificaram os relatórios de patologia originais e as narrativas clínicas templatizadas (derivadas de variáveis estruturadas).
   • Agrupamento (Pooling): Para documentos que excediam o limite de 512 tokens, janelas sobrepostas foram processadas e agregadas via uma camada de agrupamento de autoatenção aprendível para produzir um único vetor sensível ao contexto.
   • Objetivo de Treinamento: O modelo foi treinado usando uma perda contrastiva InfoNCE para maximizar a similaridade de cosseno entre pares correspondentes de patologia-clínica dentro de um mini-lote (mini-batch).
   • Tarefas Auxiliares: Para garantir a retenção semântica, o treinamento incluiu classificadores auxiliares: um classificador softmax no token [CLS] da patologia para prever a lateralidade do espécime (esquerda, direita, bilateral) e um classificador sigmoid multilabel no token [CLS] clínico para reconstruir atributos como status de tabagismo e hipertensão.

3. Modelagem Preditiva e Fusão:

   • Baseline: Um modelo LightGBM treinado em 62 variáveis clínicas estruturadas serviu como o principal baseline.
   • Adição de Morfometria: As características numéricas extraídas (especificamente o peso total da mastectomia) foram adicionadas ao baseline.
   • Fusão por Ensemble: O modelo final utilizou um ensemble de votação suave (soft-voting). Ele combinou:
     • O classificador LightGBM treinado com características morfométricas.
     • Um Classificador de Vetores de Suporte (SVC) treinado nos embeddings [CLS] de 768 dimensões (truncados para 256 dimensões e normalizados via L2) provenientes do codificador duplo.
   • O ensemble atribuiu pesos iguais (1:1) às previsões morfométricas e baseadas em embeddings.

Principais Resultados

• Precisão de Extração: O LLM alcançou uma precisão de extração combinada de 96,3% (78/81 casos) para pesos de espécimes de mastectomia. Especificamente, obteve 100% de precisão em relatórios de mama esquerda (37/37) e 93,2% em relatórios de mama direita (41/44). Os erros ocorreram principalmente devido a relatórios que omitiam o peso do espécime, fazendo com que o modelo extraísse erroneamente o peso do implante.
• Alinhamento Cross-Modal: O modelo treinado via CLIP alinhou com sucesso os embeddings clínicos e de patologia em um manifold UMAP compartilhado. Em um conjunto de validação de 215 pares, o modelo alcançou enriquecimento significativo sobre os baselines aleatórios em recuperação cross-modal (ex: Recall@50 Clínica $\rightarrow$ Patologia = 0,781, um aumento de 3,36× em relação ao acaso).
• Discriminação de Risco:
  • O LightGBM clínico baseline alcançou um AUROC de 0,740.
  • A adição apenas do peso numérico extraído (M2) gerou um aumento marginal e não significativo para 0,744.
  • O ensemble multimodal completo (M2 + ambos os embeddings [CLS] clínico e de patologia) alcançou o desempenho mais alto com um AUROC de 0,764 (p=0,027 vs. baseline).
  • Em uma especificidade fixa de 80%, a sensibilidade melhorou de 0,573 (baseline) para 0,609 (melhor ensemble). Em um limiar de probabilidade de 0,50, o Valor Preditivo Positivo (VPP) aumentou de 0,668 para 0,828.
• Desempenho por Subgrupo: O modelo demonstrou desempenho robusto entre os subgrupos, com discriminação particularmente forte em pacientes com intervalos de expansor-para-implante mais curtos (<180 dias), onde o AUROC atingiu 0,796.
• Interpretabilidade: A análise SHAP confirmou que o modelo dependia de características clinicamente coerentes. Os principais contribuintes foram o intervalo expansor-para-implante (TEtoImplant), o IMC e o peso total da mastectomia. Gráficos de dependência revelaram relações não lineares, como um aumento de risco do tipo limiar para intervalos excedendo ~6–12 meses.

Significância e Alegações
O artigo afirma que este estudo fornece a primeira evidência de que LLMs de código aberto e on-premises podem extrair de forma confiável morfometrias numéricas e embeddings contextuais de relatórios de patologia narrativos para melhorar a predição de risco clínico.

• Privacidade e Acessibilidade: Ao operar inteiramente on-premises com modelos de código aberto, o framework garante que as informações de saúde protegidas (PHI) nunca deixem o controle institucional e evita taxas por chamada, tornando-o acessível a centros com recursos limitados.
• Desbloqueio de Dados Inexplorados: O estudo demonstra que o texto de patologia contém sinais prognósticos (ex: pistas lexicais refinadas, relações temporais e qualificadores de incerteza) que não são capturados apenas por variáveis estruturadas.
• Utilidade Clínica: Embora o ganho estatístico em AUROC seja modesto (+0,024), os autores argumentam que mesmo pequenos incrementos geram ganhos clinicamente significativos na identificação de pacientes de alto risco, potencialmente informando o planejamento cirúrgico, o aconselhamento do paciente e o acompanhamento pós-operatório.
• Generalização: Os autores posicionam este framework multimodal interpretável e preservador de privacidade como uma abordagem generalizável para aumentar a predição de risco em oncologia cirúrgica, indo além das limitações de baselines compostos apenas por dados tabulares.

Os autores mantêm a modéstia quanto às limitações, reconhecendo que a natureza de centro único do estudo pode limitar a generalização devido a mudanças de domínio nos templates de relatórios, e que o desfecho composto agrupa complicações heterogêneas. Eles sugerem que trabalhos futuros devem focar em validação multicêntrica e na integração de dados de imagem.