Multimodal Fusion of Pathology Free-Text and Clinical Data Enhances Complication-Risk Discrimination After Implant-Based Breast Reconstruction

Resumen Técnico: Fusión Multimodal de Texto Libre de Patología y Datos Clínicos para la Discriminación del Riesgo de Complicaciones

Planteamiento del Problema
La reconstrucción mamaria con implantes es la opción quirúrgica predominante tras una mastectomía, sin embargo, aproximadamente un tercio de las pacientes desarrolla complicaciones en los dos años siguientes. Los modelos de aprendizaje automático existentes para predecir estas complicaciones dependen exclusivamente de variables clínicas estructuradas y curadas a mano (por ejemplo, IMC, edad, comorbilidades), ignorando así la información pronóstica contenida en los informes narrativos de patología. Aunque los modelos de lenguaje de gran tamaño (LLM) han demostrado capacidad para extraer hallazgos categóricos de textos clínicos, la morfometría numérica (como el peso del espécimen de la mastectomía) permanece mayoritariamente desaprovechada. Además, ningún estudio previo ha logrado fusionar con éxito las características derivadas de texto con datos clínicos estructurados para mejorar la estratificación del riesgo en este ámbito.

Metodología
Los autores desarrollaron un flujo de trabajo multimodal totalmente local (on-premises) y de código abierto para abordar esta brecha. La metodología consta de tres componentes principales:

1. Extracción de Información Basada en LLM:

   • Se implementó un LLM de código abierto (Gemma 3, 27 mil millones de parámetros) en un entorno zero-shot para extraer morfometría numérica de los informes de patología de texto libre.
   • El modelo fue instruido mediante prompts para extraer campos específicos, incluyendo pesos de los especímenes de mastectomía de mama izquierda/derecha (en gramos), dimensiones, márgenes profundos y recuento de ganglios linfáticos.
   • La inferencia se realizó localmente utilizando 4 GPUs NVIDIA L40S con decodificación determinista para garantizar la reproducibilidad.
   • Las salidas JSON extraídas fueron procesadas con una validación de esquema estricta, normalizando unidades (por ejemplo, de kg a g) y gestionando los valores faltantes.

2. Alineación Multimodal Contrastiva (Estilo CLIP):

   • Para fusionar el texto no estructurado con los datos estructurados, los autores emplearon una arquitectura de doble codificador inspirada en CLIP (Contrastive Language-Image Pre-training).
   • Codificadores: Transformadores independientes PubMedBERT-base codificaron los informes de patología originales y las narrativas clínicas con plantillas (derivadas de variables estructuradas).
   • Agrupación (Pooling): Para documentos que excedían el límite de 512 tokens, se procesaron ventanas superpuestas y se agregaron mediante una capa de agrupación de autoatención aprendible para producir un único vector sensible al contexto.
   • Objetivo de Entrenamiento: El modelo fue entrenado utilizando una pérdida contrastiva InfoNCE para maximizar la similitud de coseno entre los pares emparejados de patología-clínica dentro de un mini-lote (mini-batch).
   • Tareas Auxiliares: Para asegurar la retención semántica, el entrenamiento incluyó clasificadores auxiliares: un clasificador softmax sobre el token [CLS] de patología para predecir la lateralidad del espécimen (izquierda, derecha, bilateral) y un clasificador sigmoid multietiqueta sobre el token [CLS] clínico para reconstruir atributos como el tabaquismo e hipertensión.

3. Modelado Predictivo y Fusión:

   • Línea Base (Baseline): Un modelo LightGBM entrenado con 62 variables clínicas estructuradas sirvió como la línea base principal.
   • Adición de Morfometría: Se añadieron las características numéricas extraídas (específicamente el peso total de la mastectomía) a la línea base.
   • Fusión por Ensamble: El modelo final utilizó un ensamble de votación suave (soft-voting). Combinó:
     • El clasificador LightGBM entrenado con características morfométricas.
     • Un Clasificador de Vectores de Soporte (SVC) entrenado con los embeddings [CLS] de 768 dimensiones (truncados a 256 dimensiones y normalizados con L2) provenientes del doble codificador.
   • El ensamble asignó pesos iguales (1:1) a las predicciones morfométricas y de embeddings.

Resultos Clave

• Precisión de Extracción: El LLM logró una precisión de extracción combinada del 96.3% (78/81 casos) para los pesos de los especímenes de mastectomía. Específicamente, alcanzó una precisión del 100% en informes de mama izquierda (37/37) y del 93.2% en informes de mama derecha (41/44). Los errores se debieron principalmente a informes que omitían el peso del espécimen, lo que causó que el modelo extrajera erróneamente el peso del implante.
• Alineación Cross-Modal: El modelo entrenado con CLIP alineó con éxito los embeddings clínicos y de patología en un colector (manifold) UMAP compartido. En un conjunto de validación de 215 pares, el modelo logró un enriquecimiento significativo sobre las líneas base aleatorias en la recuperación cruzada de modalidades (por ejemplo, Recuperación Clínica $\rightarrow$ Patología Recall@50 = 0.781, una mejora de 3.36× respecto al azar).
• Discriminación de Riesgo:
  • La línea base de LightGBM Clínico logró un AUROC de 0.740.
  • Añadir solo el peso numérico extraído (M2) produjo un aumento marginal y no significativo a 0.744.
  • El ensamble multimodal completo (M2 + ambos embeddings clínico y de patología [CLS]) alcanzó el mayor rendimiento con un AUROC de 0.764 (p=0.027 vs. línea base).
  • A una especificidad fija del 80%, la sensibilidad mejoró de 0.573 (línea base) a 0.609 (mejor ensamble). Con un umbral de probabilidad de 0.50, el Valor Predictivo Positivo (VPP) aumentó de 0.668 a 0.828.
• Rendimiento por Subgrupos: El modelo demostró un rendimiento robusto en los subgrupos, con una discriminación particularmente fuerte en pacientes con intervalos de expansor-a-implante más cortos (<180 días), donde el AUROC alcanzó 0.796.
• Interpretabilidad: El análisis SHAP confirmó que el modelo dependía de características clínicamente coherentes. Los principales contribuyentes fueron el intervalo de expansor-a-implante (TEtoImplant), el IMC y el peso total de la mastectomía. Los gráficos de dependencia revelaron relaciones no lineales, como un aumento del riesgo tipo umbral para intervalos que exceden los ~6–12 meses.

Significancia y Reivindicaciones
El artículo afirma que este estudio proporciona la primera evidencia de que los LLM de código abierto y locales pueden extraer de manera fiable morfometría numérica y embeddings contextuales de los informes de patología narrativa para mejorar la predicción de riesgos clínicos.

• Privacidad y Accesibilidad: Al operar enteramente de forma local con modelos de código abierto, el marco garantiza que la información de salud protegida (PHI) nunca salga del control institucional y evita cargos por cada llamada, lo que lo hace accesible para centros con recursos limitados.
• Desbloqueo de Datos Desaprovechados: El estudio demuestra que el texto de patología contiene señales pronósticas (por ejemplo, claves léxicas finas, relaciones temporales y calificadores de incertidumbre) que no se capturan únicamente mediante variables estructuradas.
• Utilidad Clínica: Aunque la ganancia estadística en AUROC es modesta (+0.024), los autores argumentan que incluso pequeñas mejoras producen ganancias clínicamente significativas para identificar pacientes de alto riesgo, lo que podría informar la planificación quirúrgica, el asesoramiento al paciente y el seguimiento postoperatorio.
• Generalizabilidad: Los autores posicionan este marco multimodal interpretable y preservador de la privacidad como un enfoque generalizable para mejorar la predicción de riesgos en la oncología quirúrgica, yendo más allá de las limitaciones de las líneas base basadas únicamente en tablas.

Los autores mantienen la modestia respecto a las limitaciones, reconociendo que la naturaleza de un solo centro del estudio puede limitar la generalizabilidad debido a cambios de dominio en las plantillas de los informes, y que el punto final compuesto agrupa complicaciones heterogéneas. Sugieren que el trabajo futuro debería centrarse en la validación multicéntrica y la integración de datos de imagen.