FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning

Resumen Técnico: FDRMFL – Extracción de Características Multimodales Federadas Basada en la Maximización de la Información y el Aprendizaje Contrastivo

Planteamiento del Problema
El artículo aborda el desafío de extraer características predictivas de entradas multimodales de alta dimensión (por ejemplo, imágenes, espectros, texto) dentro de un entorno de aprendizaje federado (FL) caracterizado por datos no-IID (no idénticamente distribuidos). En este escenario, los datos brutos no pueden abandonar los clientes locales, las muestras son escasas y las distribuciones varían significamente entre instituciones. Los enfoques existentes enfrentan limitaciones críticas: los métodos lineales no supervisados (PCA, TSVD, RP) ignoran las etiquetas relevantes para la tarea y fallan bajo condiciones no-IID; los Autoencoders Variacionales (VAEs) optimizan la reconstrucción en lugar de la predicción; y los algoritmos federados estándar (FedAvg, FedProx, etc.) carecen de mecanismos para la alineación cross-modal o la retención de características impulsadas por la tarea en la regresión multimodal. En consecuencia, estos métodos sufren de deriva de representación, desalineación cross-modal y pérdida de información predictiva.

Metodología: FDRMFL
Los autores proponen FDRMFL (Extracción de Características y Aprendizaje Multimodal de Reducción de Dimensionalidad Federada), un marco que optimiza conjuntamente la precisión de la predicción y la calidad de la representación. La arquitectura consta de codificadores específicos de cada modalidad (por ejemplo, CNNs, LSTMs, Transformers), una red de fusión de atención cruzada (cross-attention) y una cabeza de regresión. La innovación central reside en una función de objetivo local unificada que comprende cuatro términos:

1. Pérdida de Predicción MSE ($\mathcal{L}_{pred}$): Minimiza el error entre la representación fusionada y la variable objetivo continua.
2. Regularización de Información Mutua ($\mathcal{R}_{mi}$): Un sustituto basado en correlación que maximiza la dependencia entre la representación fusionada y el objetivo. Motivado por la identidad Gaussiana $I(X;Y) = -\frac{1}{2}\log(1-\rho^2)$, este término fomenta que la representación latente retenga información relevante para la tarea mediante la maximización de la correlación de Pearson absoluta ($|\hat{\rho}|$) entre una representación proyectada y el objetivo.
3. Alineación KL Simétrica ($\mathcal{R}_{kl}$): Una penalización que alinea las distribuciones latentes de diferentes modalidades antes de la fusión. Asumiendo una distribución Gaussiana homocedástica para las características de la modalidad, este término se simplifica a la minimización de la distancia euclidiana al cuadrado entre las medias de las características de las distintas modalidades, cerrando así la "brecha de modalidad" (modality gap).
4. Pérdida Contrastiva Federada ($\mathcal{R}_{fcl}$): Una pérdida de estilo InfoNCE que ancla las representaciones locales al consenso global. Trata la representación de la ronda global anterior como una muestra positiva y las representaciones de rondas anteriores (almacenadas en un búfer de historial temporal) como muestras negativas. Esto restringe las actualizaciones locales para que permanezcan cerca del manifold de características global, mitigando la deriva de representación.

El objetivo global es una suma ponderada de estos cuatro términos. El entrenamiento sigue un bucle federado estándar donde los clientes realizan el descenso de gradiente local sobre esta pérdida compuesta, y el servidor agrega los parámetros mediante el peso del tamaño de la muestra.

Contribuciones Clave

• Marco Unificado: FDRMFL se presenta como el primer marco unificado que aborda conjuntamente la reducción de dimensionalidad impulsada por la tarea para objetivos continuos, la alineación de distribuciones cross-modal y la estabilidad de la representación entre rondas dentro de un único entorno de regresión federada.
• Sustituto de Información Mutua Basado en Correlación: La introducción de un sustituto de información mutua basado en la correlación y de baja varianza, específicamente adecuado para regímenes federados de muestras pequeñas, evitando la inestabilidad de los estimadores de MI neuronales de alta varianza.
• Mecanismo de Aprendizaje Contrastivo Federado: Una adaptación novedosa del aprendizaje contrastivo al espacio multimodal fusionado, utilizando un búfer de historial temporal para proporcionar señales negativas más ricas que los enfoques anteriores de una sola modalidad (por ejemplo, MOON).
• Alineación Cross-Modal: Una penalización KL simétrica diseñada para alinear las distribuciones latentes entre modalidades antes de la fusión, abordando el desafío específico de los datos multimodales no-IID.

Resultados Experimentales
El marco fue evaluado en tres conjuntos de datos sintéticos (con procesos generativos de verdad fundamental conocidos) y dos conjuntos de datos de espectroscopia de infrarrojo cercano (NIR) del mundo real (Tecator y Corn) bajo particiones no-IID.

• Desempeño vs. Baselines Tradicionales: FDRMFL redujo el Error Cuadrático Medio (MSE) medio en un 33.8% en relación con el mejor baseline tradicional (PCA) y en un 43.0% en relación con VAE en la simulación. En los conjuntos de datos del mundo real, alcanzó consistentemente el MSE más bajo en todos los clientes y objetivos.
• Desempeño vs. Baselines Federados: En comparaciones con cinco algoritmos federados establecidos (FedAvg, FedProx, SCAFFOLD, MOON, FedBN), FDRMFL obtuvo el MSE medio general más bajo en todas las tareas.
• Análisis de Ablación: Eliminar cualquiera de los tres componentes de regularización ($\mathcal{R}_{mi}$, $\mathcal{R}_{kl}$, $\mathcal{R}_{fcl}$) resultó en un aumento del error, siendo la eliminación de la pérdida contrastiva ($\mathcal{R}_{fcl}$) la que causó la mayor degradación (+7.8%), confirmando la necesidad de todos los componentes para la estabilidad y la precisión.
• Robustez: El análisis de sensibilidad demostró que el desempeño permanece estable a través de una variación de un orden de magnitud en los coeficientes de regularización, lo que indica que el marco no depende de hiperparámetros finamente ajustados.

Significancia y Reivindicaciones
El artículo afirma que FDRMFL mitiga eficazmente el "triple desafío" de los datos no-IID, la alta dimensionalidad y la desalineación multimodal en la regresión federada. Al acoplar explícitamente la representación al objetivo (vía MI), alinear las modalidades (vía KL) y estabilizar las actualizaciones (vía aprendizaje contrastivo), el marco logra una precisión predictiva superior y una menor varianza entre clientes en comparación con los métodos existentes. Los autores posicionan este trabajo como un paso fundacional hacia un aprendizaje federado multimodal robusto, particularmente en dominios como la espectroscopia donde la privacidad de los datos y la heterogeneidad son primordiales. El artículo señala explícitamente que, si bien proporciona una privacidad federada basal (localidad de datos), aún no incorpora la privacidad diferencial formal, identificando esto como una dirección para trabajos futuros.