Evaluating deep learning models for fault diagnosis of a rotating machinery with epistemic and aleatoric uncertainty

Resumen Técnico: Evaluación de Modelos de Aprendizaje Profundo para el Diagnóstico de Fallas con Incertidumbre Epistémica y Aleatoria

Planteamiento del Problema
La maquinaria rotativa, como motores y turbinas, es crítica para las operaciones industriales pero propensa a fallas que pueden causar pérdidas financieras significativas y riesgos de seguridad. Si bien el Aprendizaje Profundo (DL) ha mejorado el diagnóstico de fallas mediante la extracción automática de características, la mayoría de los métodos existentes operan bajo la suposición de que los datos de entrenamiento y de predicción futura comparten la misma distribución. En la práctica, esta suposición se ve violada frecuentemente por datos Fuera de la Distribución (OOD, por sus siglas en inglés). Los datos OOD surgen de dos fuentes primarias de incertidumbre:

1. Incertidumbre Epistémica (Incertidumbre del Conocimiento): Causada por la falta de conocimiento, como el encuentro con tipos de fallas no vistos que no estaban presentes en el conjunto de entrenamiento.
2. Incertidumbre Aleatoria (Incertidumbre de los Datos): Causada por la variabilidad inherente de los datos, como el ruido de los sensores (Gaussiano o no Gaussiano) o errores de medición.

Los modelos de DL actuales a menudo fallan al cuantificar esta incertidumbre, lo que conduce a predicciones poco fiables donde el modelo puede clasificar erróneamente y con confianza fallas no vistas o datos ruidosos. Existe la necesidad de una comparación exhaustiva de las arquitecturas de DL conscientes de la incertidumbre para determinar qué métodos distinguen eficazmente entre datos dentro de la distribución (ID) y datos fuera de la distribución (OOD) bajo diversas condiciones.

Metodología
Los autores realizaron un estudio comparativo utilizando el conjunto de datos de rodamientos de la Universidad de Case Western Reserve (CWRU). El estudio evaluó tres arquitecturas de DL conscientes de la incertidumbre de vanguardia:

1. ConvLSTM-D: Una ConvLSTM con dropout de Bernoulli, que utiliza dropout de Monte Carlo (MC) en el tiempo de inferencia para generar distribuciones de predicción.
2. Red Neuronal Bayesiana (BNN): Una red donde los pesos son tratados como variables aleatorias que siguen una distribución Gaussiana, generando distribuciones de resultados a través de múltiples muestras de pesos.
3. Ensamble Profundo (Deep Ensemble): Se probaron dos configuraciones:
   • De1: Cuatro aprendices base idénticos entrenados en paralelo.
   • De2: Cuatro aprendices base con arquitecturas mixtas (dos idénticos a De1, dos combinando Conv+Pool con LSTM).

Diseño Experimental:

• Escenarios Epistémicos: Creados mediante una estrategia de exclusión (hold-out) donde una clase de falla fue excluida del entrenamiento y utilizada como dato OOD durante la validación/prueba. Se generaron seis escenarios, uno para cada clase.
• Escenarios Aleatorios: Creados mediante la inyección de ruido en los datos. Se probaron cuatro tipos de ruido: Gaussiano, Impulso, Rayleigh y Weibull. Estos se aplicaron en tres niveles de intensidad (Relaciones Señal-Ruido de -5 dB, 0 dB y 5 dB).
• Cuantificación de la Incertidumbre: Se utilizó la entropía como métrica de incertidumbre. Se aplicaron dos umbrales para distinguir entre datos ID y OOD:
  • $\tau_1$ (Detección de Valores Atípicos de Incertidumbre): Basado en el Rango Intercuartílico (IQR) de los valores de entropía de los datos de validación ID.
  • $\tau_2$ (Puntuación F1 de Incertidumbre): Un nuevo umbral propuesto en este artículo, optimizado para maximizar la puntuación F1 en el conjunto de validación, equilibrando los Verdaderos Positivos (OOD detectado) y los Verdaderos Negativos (ID correctamente identificado).

Resultos Clave

• Incertidumbre Epistémica: Todos los modelos pudieron detectar una parte de los datos OOD, pero los modelos de Ensamble Profundo (De1 y De2) demostraron un rendimiento superior. De2, en particular, mostró una capacidad excepcional para detectar datos OOD independientemente del umbral utilizado. ConvLSTM-D y BNN mostraron limitaciones notables, especialmente en escenarios específicos (por ejemplo, excluyendo la Clase 0 o la Clase 2).
  • Compromiso de Umbral (Threshold Trade-off): El uso de $\tau_1$ resultó en mayores tasas de detección de OOD, pero también en un mayor número de falsos positivos (clasificando erróneamente datos ID como no fiables). $\tau_2$ ofreció un equilibrio más pragmático, reduciendo la necesidad de una reevaluación humana extensiva de los datos ID mal clasificados.
• Incertidumbre Aleatoria: El nivel de ruido impactó significativamente el rendimiento.
  • Ruido Alto (Fuerte): La detección de OOD mejoró significativamente en todos los modelos a medida que el ruido amplificaba la entropía de la predicción. Los Ensambles Profundos mantuvieron su superioridad, detectando entre el 80 y el 100% de los datos OOD.
  • Ruido Bajo (Leve): El rendimiento disminuyó drásticamente para todos los modelos a medida que las distribuciones de entropía de ID y OOD se solaparon. Sin embargo, los Ensambles Profundos siguieron superando a ConvLSTM-D y BNN, exhibiendo una degradación de rendimiento más leve.
  • Tipo de Ruido: Los ruidos de tipo Weibull y Rayleigh fueron generalmente más detectables por los Ensambles Profundos bajo condiciones de ruido fuerte.
• Eficiencia Computacional:
  • Entrenamiento: Los Ensambles Profundos (De1/De2) requirieron más tiempo de entrenamiento debido al entrenamiento paralelo de múltiples aprendices base.
  • Inferencia: Los Ensambles Profundos fueron significativamente más rápidos (aproximadamente 3 veces) durante la fase de predicción en comparación con ConvLSTM-D y BNN, que requieren $K=10$ pasadas hacia adelante repetidas para el muestreo MC.

Significancia y Contribuciones
El artículo afirma ser el primer estudio comparativo exhaustivo de arquitecturas de DL conscientes de la incertidumbre específicamente para el diagnóstico de fallas en maquinaria rotativa, abordando tanto la incertidumbre epistémica como diversas formas de incertidumbre aleatoria (incluyendo el ruido no Gaussiano).

Las contribuciones clave incluyen:

1. Guía Empírica: El estudio identifica las arquitecturas de Ensamble Profundo (específicamente De2) como la opción preferida para el despliegue en el mundo real. Ofrecen un equilibrio superior de alta precisión en la detección de OOD, robustez contra niveles variables de ruido y tiempos de inferencia más rápidos.
2. Umbralización Novel: La introducción del umbral $\tau_2$ (basado en la puntuación F1) proporciona una alternativa práctica al método estándar de detección de valores atípicos ($\tau_1$), ayudando a los profesionales a minimizar los falsos positivos y reducir el costo de la intervención humana en el post-procesamiento.
3. Alineación con el Mundo Real: Al probar tipos de ruido no Gaussiano (Impulso, Rayleigh, Weibull) junto con el ruido Gaussiano, el estudio cierra la brecha entre el análisis de incertidumbre teórico y los complejos entornos de ruido encontrados en los datos de sensores industriales reales.

Conclusión
Los autores concluyen que, si bien el DL consciente de la incertidumbre es esencial para un diagnóstico de fallas fiable, la elección de la arquitectura y el umbral es crítica. Se recomiendan los Ensambles Profundos por su robustez y eficiencia. La selección del umbral de entropía debe depender de la criticidad de la aplicación: un umbral conservador ($\tau_1$) para entornos de alto riesgo donde no se puede aceptar la pérdida de datos OOD, y un umbral equilibrado ($\tau_2$) para escenarios donde se prioriza la minimización de las falsas alarmas. Se sugiere como trabajo futuro extender estos hallazgos a otros conjuntos de datos (por ejemplo, la Universidad de Paderborn) e investigar enfoques de aprendizaje activo que involucren a expertos del dominio.