FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

Resumen Técnico: FedHyperM

Planteamiento del Problema
El Aprendizaje Federado (FL, por sus siglas en inglés) permite que los dispositivos de borde entrenen modelos de forma colaborativa sin compartir datos brutos, abordando así las preocupaciones de privacidad en la Inteligencia de Borde (EC). Sin embargo, los despliegues prácticos en el borde enfrentan una heterogeneidad de modalidades significativa: los dispositivos suelen poseer subconjuntos diferentes de sensores (por ejemplo, algunos tienen cámaras RGB mientras que otros solo tienen sensores térmicos o de audio) debido a diferencias de hardware, condiciones de detección variables o fallos en los sensores.

En tales entornos heterogéneos, las estrategias de agregación de FL convencionales (como FedAvg) se vuelven poco fiables. Estas asumen que los parámetros del modelo se aprenden de espacios de entrada comparables. Cuando los dispositivos entrenan con diferentes combinaciones de modalidades, sus parámetros aprendidos representan fuentes de evidencia distintas, lo que hace que la agregación directa introduzca ruido y degrade el rendimiento del modelo global. Además, los métodos existentes de FL multimodal suelen tratar las modalidades faltantes como datos para ser reconstruidos o alineados, en lugar de diseñar marcos que operen nativamente sobre conjuntos de modalidades disponibles variables mientras preservan las correlaciones de alto orden entre ellas.

Metodología: FedHyperM
Los autores proponen FedHyperM, un marco de aprendizaje multimodal federado que preserva la privacidad y está diseñado específicamente para dispositivos de borde bajo heterogeneidad de modalidades. El marco opera a través de tres procesos clave:

1. Extracción de Características Multimodales Locales y Congelación:
   Cada dispositivo de borde inicializa un extractor de características multimodales utilizando modelos preentrenados específicos para sus modalidades disponibles (por ejemplo, BERT para texto, CLIP para imágenes, LSTM para señales, BEATS para audio). Durante la fase de aprendizaje colaborativo, estos extractores permanecen congelados. Esto asegura que el espacio de representación de características permanezca constante mientras el modelo se enfoca en aprender las relaciones entre las modalidades.

2. Predicción Multimodal Basada en Hipergrafos (Lado del Borde):
   En lugar de tratar las modalidades como entradas independientes, FedHyperM las modela como un hipergrafo donde las características específicas de cada modalidad son nodos.

   • Construcción Adaptativa: El marco construye dinámicamente hiperaristas para capturar correlaciones de alto orden. Define "nodos ancla" (que representan una modalidad específica) y los conecta dinámicamente con "nodos asociados" (otras modalidades) basándose en coeficientes de reconstrucción aprendidos.
   • Objetivo de Aprendizaje: El sistema minimiza una pérdida de reconstrucción (que mide qué tan bien puede reconstruirse un nodo ancla a partir de sus nodos asociados) regularizada por las normas $L_1$ y $L_2$ para controlar la dispersión y el impacto de los valores atípicos.
   • Predicción: Un mecanismo de atención de múltiples cabezales agrega las incrustaciones de las hiperaristas para actualizar las incrustaciones de los nodos, que luego se pasan a través de un Perceptrón Multicapa (MLP) para la predicción. Esto permite al modelo aprender relaciones complejas a nivel de grupo entre las modalidades específicas disponibles en ese dispositivo.

3. Agregación Sensible a la Modalidad (Lado del Servidor):
   Para abordar el desafío de agregar modelos entrenados en diferentes conjuntos de modalidades, FedHyperM introduce un mecanismo de Agregación Sensible a la Modalidad (MSA).

   • Estrategia de Ponderación: En lugar de un promedio uniforme, el servidor calcula los pesos de agregación basados en la Distancia de Edición Mínima (MinED) entre los conjuntos de nombres de las modalidades disponibles de los dispositivos vecinos.
   • Lógica: Una MinED más pequeña implica una mayor similitud en la disponibilidad de modalidades, lo que conduce a un mayor peso de agregación. Esto asegura que los parámetros de los dispositivos con configuraciones de modalidad similares contribuyan más significativamente a la actualización global, mitigando el ruido causado por la agregación de evidencia incompatible.

Contribuciones Clave

• Marco Novedoso: La propuesta de FedHyperM, un marco colaborativo diseñado específicamente para facilitar el aprendizaje multimodal federado a través de dispositivos de borde con heterogeneidad de disponibilidad de modalidades.
• Módulo de Aprendizaje de Hipergrafos: El diseño de un módulo de predicción basado en hipergrafos que trata las características de las modalidades como nodos y construye adaptativamente hiperaristas para capturar correlaciones de alto orden y no pareadas entre las características multimodales.
• Mecanismo MSA: El desarrollo de una estrategia de agregación sensible a la modalidad utilizando la Distancia de Edición Mínima (MinED) para ponderar las actualizaciones del modelo, asegurando que la agregación tenga en cuenta la composición de modalidades de cada dispositivo de borde.
• Validación Empírica: Experimentos extensos que demuestran que el marco maneja eficazmente la heterogeneidad de modalidades sin requerir el intercambio de datos brutos o la imputación compleja de modalidades faltantes.

Resultados Experimentales
Los autores evaluaron FedHyperM en el conjunto de datos UR-FALL (detección de caídas mediante video RGB-profundidad) bajo tres diferentes Tasas de Existencia de Modalidad (MER: $\rho = 0.5, 0.7, 0.8$), simulando grados variables de ausencia de modalidad. Compararon el marco contra cinco líneas base: FedAvg, FedCor, FedProx, AutoFed y FedInMM.

• Ganancias de Rendimiento: FedHyperM superó consistentemente a todas las líneas base en todas las configuraciones de MER.
  • Precisión (Accuracy): Mejoró la precisión promedio entre un 3.64% y un 22.33% en comparación con las líneas base.
  • F1-Score: Mejoró el F1-score promedio entre un 2.91% y un 26.82%.
  • Robustez: El marco mostró una fortaleza particular en las métricas de "Peor Precisión" (W. Acc) y "Peor F1" (W. F1), lo que indica que estabiliza el rendimiento incluso para los dispositivos con los conjuntos de modalidades más limitados.
• Estudios de Ablación:
  • Eliminar el módulo de hipergrafos (w/o HyperG) resultó en una caída de rendimiento de aproximadamente un 6.6% en la precisión promedio, confirmando la necesidad de capturar correlaciones de alto orden.
  • Reemplazar MSA con un promedio simple (w/o MSA) causó una caída más significativa (~9.15% en la precisión promedio), validando que la ponderación consciente de la modalidad es crítica para la agregación heterogénea.
• Sensibilidad de Hiperparámetros: El modelo demostró estabilidad, observándose un rendimiento óptimo en $\alpha = 0.3$ y $\beta = 0.5$ (hiperparámetros para la regularización $L_1$ y $L_2$).

Significado
El artículo afirma que FedHyperM aborda una brecha fundamental en la Inteligencia de Borde: la capacidad de aprender colaborativamente de datos de sensores distribuidos y heterogéneos sin comprometer la privacidad ni requerir la imputación de datos. Al tratar la heterogeneidad de las modalidades como una característica estructural para ser modelada mediante hipergrafos y ponderada mediante la distancia de edición, en lugar de un defecto a corregir, el marco permite modelos globales más robustos y precisos en escenarios de borde reales donde la disponibilidad de sensores es inconsistente. Los resultados sugieren que modelar explícitamente las correlaciones de modalidad de alto orden y respetar los pesos de agregación específicos de cada modalidad son esenciales para la próxima generación de sistemas multimodales federados.