Resumen Técnico: LARGO (Red Hiperbaja para el Manejo de Modalidades Faltantes)

Enunciado del Problema

En el análisis de imágenes multimodales, particularmente en imágenes médicas (por ejemplo, segmentación de tumores cerebrales, detección de lesiones por accidente cerebrovascular), adquirir todas las modalidades disponibles a menudo es inviable debido a limitaciones del equipo, límites de tiempo de escaneo o condiciones del paciente. Esto resulta en conjuntos de modalidades incompletos durante la inferencia. Los modelos de aprendizaje profundo estándar luchan con tales entradas faltantes sin un diseño arquitectónico explícito.

Los enfoques existentes enfrentan un compromiso fundamental entre especialización y escalabilidad:

• Los métodos de modelo único (por ejemplo, imputación cero, codificadores compartidos) fuerzan a una red a manejar todas las $2^N - 1$ combinaciones de modalidades, a menudo comprometiendo el rendimiento en configuraciones específicas.
• Los modelos dedicados (entrenar un modelo separado para cada combinación) maximizan la especialización pero escalan exponencialmente en costo de almacenamiento y computacional.
• Los métodos generativos y de destilación corren el riesgo de alucinar características clínicamente peligrosas o requieren un entrenamiento complejo en múltiples etapas.

La mayoría de las soluciones actuales operan en el espacio de características, diseñando representaciones robustas para manejar entradas faltantes. Este artículo propone operar en el espacio de pesos para abordar la redundancia inherente en el entrenamiento de modelos separados para diferentes subconjuntos de modalidades.

Metodología: LARGO

Los autores proponen LARGO (Red Hiperbaja para Modalidades Faltantes), un marco de red hiper que comprime la familia de $2^N - 1$ modelos dedicados de modalidades faltantes en una sola red.

Arquitectura Central

1. Formulación de Red Hiper: En lugar de aprender $M = 2^N - 1$ conjuntos separados de pesos, LARGO construye una única red hiper $H_\phi$ que contiene implícitamente todos los modelos dedicados $\{F_{\theta(m)}\}_{m=1}^M$.
2. Descomposición Tensorial (CPD): El método explota la observación de que los modelos que comparten acceso a las mismas modalidades aprenden patrones similares, lo que implica redundancia de parámetros. LARGO apila los pesos convolucionales de los $M$ modelos dedicados a lo largo de una nueva "dimensión de modelo" y aplica descomposición tensorial Canónica Polinómica (CP).
   • El tensor de pesos $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ se descompone en matrices factoriales $A, B, C, D$.
   • La matriz factorial $A$ indexa las combinaciones de modalidades, mientras que $B, C, D$ representan los canales de entrada, los canales de salida y las dimensiones del núcleo, respectivamente.
3. Reparametrización de Bajo Rango:
   • Capas Interiores: Las capas convolucionales se reparametrizan utilizando la descomposición CP. El rango $R$ se selecciona para mantener un presupuesto de parámetros equivalente a un solo modelo dedicado (logrando una relación de compresión de $1/M$).
   • Capas de Tallo y Cabeza: Estas capas permanecen sin comprimir para preservar la flexibilidad de entrada/salida, aunque su contribución de parámetros es insignificante en comparación con las capas interiores.
4. Inferencia: Durante la inferencia, para una combinación de modalidades específica $m$, la red hiper reconstruye los pesos convolucionales dedicados $W^{(m)}$ contrayendo las matrices factoriales (seleccionando específicamente la $m$-ésima fila de la matriz factorial $A$). Esto evita calcular parámetros no utilizados para otros subconjuntos de modalidades.

Procedimiento de Entrenamiento

• Función de Pérdida: El modelo se entrena utilizando una pérdida de segmentación estándar ($L_{Dice} + L_{CE}$).
• Estrategia: El entrenamiento emplea dropout aleatorio de modalidades combinado con guía de modalidad completa. En cada iteración, se muestrea un subconjunto $m$ para minimizar la pérdida para ese escenario específico de modalidad faltante, mientras que un término que utiliza la entrada de modalidad completa asegura que la red sea guiada por datos completos durante todo el entrenamiento.
• Inicialización: Las matrices factoriales $B, C, D$ se inicializan mediante normal de Kaiming; la matriz $A$ se inicializa con unos. Los pesos se entrenan desde cero en lugar de derivarse de pesos preentrenados.

Contribuciones Clave

1. Nueva Formulación de Red Hiper: LARGO es el primer método que reparametriza conjuntamente los pesos de los núcleos de toda una familia de $2^N - 1$ modelos dedicados de modalidades faltantes en una única representación eficiente de parámetros utilizando descomposición CP.
2. Operación en Espacio de Pesos: A diferencia de los métodos en espacio de características, LARGO opera directamente en el espacio de pesos, comprimiendo la familia exponencial de modelos en una única variedad de pesos comprimida sin pérdidas auxiliares, redes teacher o entrenamiento en múltiples etapas.
3. Rendimiento de Vanguardia: El método logra resultados superiores en benchmarks de imágenes médicas mientras mantiene una cantidad de parámetros comparable a un solo modelo dedicado.

Resultados Experimentales

Conjuntos de Datos y Escenarios

• BraTS 2018: 4 modalidades (FLAIR, T1, T1c, T2), 15 escenarios de modalidades faltantes. Tarea: Segmentación de tumores cerebrales (WT, TC, ET).
• ISLES 2022: 3 modalidades (DWI, ADC, FLAIR), 7 escenarios de modalidades faltantes. Tarea: Segmentación de lesiones por accidente cerebrovascular.
• avMNIST: 2 modalidades (Imagen, Audio), 3 escenarios. Tarea: Clasificación (Prueba de concepto para modalidades no médicas y heterogéneas).

Rendimiento Cuantitativo

• BraTS 2018: LARGO ocupó el primer lugar en 15/15 escenarios para Tumor Completo (WT), 11/15 para Núcleo del Tumor (TC) y 14/15 para Tumor Realzante (ET).
  • Mejoras promedio de Dice sobre las líneas base (mmFormer, M³AE, ShaSpec, SimMLM): +0.68% (WT), +2.53% (TC) y ganancias significativas en ET.
  • LARGO logró un Dice promedio de 87.05% (WT), 79.35% (TC) y 62.83% (ET).
• ISLES 2022: LARGO ocupó el primer lugar en los 7 escenarios.
  • Dice promedio: 62.67%, superando al siguiente mejor (M³AE con 60.14%).
  • Ganancias notables en casos difíciles de modalidad única (por ejemplo, solo ADC: 42.49% vs. 40.03%).
• avMNIST: LARGO logró la mayor precisión promedio (97.00%), una mejora de +0.44% sobre el competidor más cercano, demostrando aplicabilidad a modalidades heterogéneas no médicas.

Eficiencia y Complejidad

• Eficiencia de Parámetros: LARGO mantiene una cantidad de parámetros similar a un solo modelo dedicado (por ejemplo, 22.6M en BraTS 2018) mientras representa implícitamente los 15 modelos dedicados. Esto es significativamente más eficiente que ShaSpec (187.7M parámetros) y comparable a otras líneas base.
• Sobrecarga Computacional: La reconstrucción dinámica de pesos introduce un aumento del 24.6% en GFLOPs y un aumento del 25.1% en VRAM pico en comparación con una sola columna vertebral nnU-Net. Los autores señalan que esto es aceptable ya que los modelos de modalidades faltantes típicamente introducen operaciones adicionales de todos modos.
• Escalabilidad: El método es práctico para $N \lesssim 10$ modalidades, ya que las capas de tallo/cabeza sin comprimir (que crecen exponencialmente) permanecen como una fracción insignificante de los parámetros totales.

Significado y Afirmaciones

El artículo afirma que LARGO cierra la brecha entre la especialización de los modelos dedicados y la escalabilidad de los enfoques de modelo único. Al explotar similitudes estructurales en los núcleos convolucionales entre modelos específicos de modalidades mediante descomposición tensorial, LARGO elimina la necesidad de almacenamiento exponencial y escalado computacional.

Los autores posicionan a LARGO como un marco de red hiper principiado que:

1. Evita los riesgos de "alucinación" de la imputación generativa.
2. Evita los compromisos de rendimiento de las arquitecturas de codificador compartido.
3. Logra resultados de vanguardia sin pipelines de entrenamiento complejos (por ejemplo, destilación de conocimiento).

La prueba de concepto en avMNIST sugiere que el potencial del método se extiende más allá de las imágenes médicas a cualquier tarea que involucre modalidades heterogéneas con datos faltantes. Los autores concluyen que el trabajo futuro explorará formulaciones de redes hiper más expresivas y no lineales y extensiones a arquitecturas basadas en transformadores.