FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

Resumen Técnico: FusionNet Lite para el Mantenimiento Predictivo bajo Heterogeneidad de Etiquetas y Generalización Temporal

Planteamiento del Problema
El Aprendizaje Federado (FL, por sus siglas en inglés) ofrece una vía para el mantenimiento predictivo (PdM) colaborativo mediante el entrenamiento de modelos a través de datos industriales distribuidos sin compartir observaciones brutas. Sin embargo, los enfoques existentes enfrentan desafíos significంtes: los datos de los clientes suelen ser no independientes e independientes de la misma distribución (no IID), particularmente en lo que respecta a la heterogeneidad de las etiquetas; las dependencias temporales y los eventos de falla poco frecuentes complican la evaluación; y la necesidad de eficiencia computacional en dispositivos de borde (edge) entra en conflicto con la demanda de alta precisión predictiva y explicabilidad. Existe una brecha crítica en determinar si un modelo de aprendizaje profundo compacto puede mantener una detección de fallas útil y una atribución de características consistente bajo estas condiciones federadas restringidas.

Metodología
El estudio evalúa FusionNet Lite, un clasificador compacto de eje de características con solo 1,420 parámetros entrenables, frente a cuatro líneas base ligeras: Red Neuronal Convolucional (CNN), Long Short-Term Memory Bidireccional (BiLSTM), Perceptrón Multicapa (MLP) y CNN-LSTM.

• Arquitectura: FusionNet Lite procesa observaciones individuales (forma $F \times 1$) utilizando convoluciones separables, mezcla de características tipo ConvMixer, conexiones residuales y reponderación de canales Squeeze-and-Excitation (SE). Está diseñado para operar sobre una sola observación en lugar de una secuencia temporal, aunque se utilizan divisiones cronológicas para la evaluación.
• Conjuntos de Datos: Se utilizaron dos conjuntos de datos con distintas estrategias de partición:
  • AI4I 2020: Un conjunto de datos sintético con divisiones aleatorias estratificadas (65/15/20).
  • MetroPT3: Un registro de compresor del mundo real con una división cronológica de filas fijas (55/20/25) para simular la generalización temporal.
• Diseño Experimental:
  • Modos de Entrenamiento: Los modelos fueron entrenados tanto en entornos centralizados como en un entorno simulado de Promedio de Federación Sincrónica (FedAvg) con tres clientes.
  • Heterogeneidad de Etiquetas: Las particiones de los clientes se generaron utilizando una distribución de Dirichlet ($\alpha=0.5$) para crear condiciones controladas de no IID de etiquetas.
  • Evaluación: El estudio empleó diez semillas aleatorias emparejadas para las comparaciones principales. Los puntos de control (checkpoints) se seleccionaron basados en el AUROC de validación. El rendimiento se midió mediante AUROC, AUPRC y puntuaciones F2 (con una selección de umbral de rejilla expandida para abordar el desequilibrio de clases).
  • Explicabilidad: Se computaron Gradientes Integrados (IG) específicos de la clase para comparar la concordancia de atribución entre los modelos centralizados y federados.
  • Eficiencia: Se utilizó un Índice de Eficiencia Energética (EEI), definido como el producto del recuento de parámetros y la latencia de inferencia por lote medida, como un proxy del costo computacional.
• Contribuciones Clave:

1. Arquitectura Compacta: Introducción y evaluación de una arquitectura de 1,420 parámetros que combina operaciones establecidas (convolución separable, SE, residuales) en una huella mínima adecuada para el intercambio federado.
2. Benchmark Controlado: Una comparación rigurosa entre cinco arquitecturas y dos conjuntos de datos utilizando diez semillas emparejadas, puntos de control seleccionados por validación y políticas de umbral específicas (optimización F1 vs. F2) para aislar los efectos arquitectónicos de los artefactos de ajuste.
3. Análisis de Sensibilidad: Examen sistemático de los componentes arquitectónicos (ablaciones), el orden de las características, el número de clientes (3 vs. 10), la concentración de etiquetas ($\alpha$), las tasas de participación y las tasas de aprendizaje.
4. Concordancia de Atribución: Una evaluación cuantitativa de la concordancia central-federada mediante correlaciones de IG específicas de la clase, concordancia de signo y solapamiento de Jaccard, distinguiendo entre calidad de detección y consistencia explicativa.

Resultados

• Rendimiento Predictivo:
  • En AI4I, FusionNet Lite logró resultados competitivos bajo FedAvg (AUROC $0.8289 \pm 0.0621$, F2 $0.3508 \pm 0.0908$), aunque no mostró una superioridad estadísticamente significativa sobre MLP en todas las métricas tras el ajuste de multiplicidad.
  • En MetroPT3, FusionNet Lite logró una alta discriminación de clasificación (AUROC $0.9351 \pm 0.0462$ bajo FedAvg) pero exhibió una detección de fallas raras más baja y variable (AUPRC $0.2197 \pm 0.1971$, F2 $0.1566 \pm 0.2044$) en comparación con las líneas base BiLSTM y CNN-LSTM.
  • Sensibilidad al Umbral: Cambiar de la selección de F1 de rejilla original a la selección de F2 de rejilla expandida mejoró significativamente el F2 medio de prueba en MetroPT3 (de $0.0423$a$0.1566$), aunque la variabilidad siguió siendo alta.
• Eficiencia: FusionNet Lite poseía el menor recuento de parámetros y el EEI de lote de inferencia fijo (índice parámetro-latencia) más bajo entre las cinco arquitecturas en ambos conjuntos de datos, confirmando su eficiencia como un proxy para el despliegue con recursos limitados.
• Atribución: La concordancia de atribución central-federada varió según el modelo y el conjunto de datos. En MetroPT3, FusionNet Lite mostró una concordancia de IG más débil y variable (correlación de Spearman $\approx 0.24-0.27$) en comparación con MLP, a pesar de que el rendimiento predictivo de MLP era más débil. Esto indica que una alta concordancia explicativa no necesariamente se correlaciona con una calidad de detección superior.
• Sensibilidad: El ranking de rendimiento fue sensible al orden de las características, la asignación de clientes y las tasas de aprendizaje. Eliminar componentes específicos (por ejemplo, la atención SE o los residuales de la base/stem) produjo resultados mixtos, mejorando a veces el rendimiento en un conjunto de datos mientras lo degradaba en otro.

Significancia y Reivindicaciones
El artículo afirma establecer un compromiso condicional entre rendimiento y complejidad. Demuestra que un modelo sustancialmente más pequeño (FusionNet Lite) puede proporcionar un rendimiento predictivo útil y el menor proxy de costo computacional (EEI) bajo condiciones federadas controladas. Sin embargo, los autores declaran explícitamente que:

• La compacidad por sí sola no garantiza una detección de fallas superior o explicaciones consistentes.
• Un AUROC alto no equivale a una detección de fallas raras confiable en entornos desequilibrados y temporales.
• La concordancia explicativa (IG) no es un sustituto directo de la utilidad predictiva.
• Los hallazgos están limitados por las condiciones específicas del benchmark (datos sintéticos y datos reales de un solo registro, FedAvg sincrónico, semillas fijas).

El estudio concluye que, si bien FusionNet Lite ofrece una opción viable y eficiente para el PdM federado, su despliegue requiere una consideración cuidadosa de los puntos de operación (umbrales), la heterogeneidad de los datos y la distinción entre la discriminación de clasificación y la detección real de fallas. Los autores no afirman que el modelo sea universalmente superior o esté listo para un despliegue industrial inmediato sin una validación independiente adicional en diversos equipos y episodios de falla.