Towards a more realistic evaluation of machine learning models for bearing fault diagnosis

Este artículo propone una metodología de evaluación rigurosa y libre de fugas de datos para el diagnóstico de fallos en rodamientos mediante aprendizaje automático, la cual utiliza particiones basadas en componentes físicos y un enfoque de clasificación multietiqueta para garantizar una generalización realista y evitar la sobreestimación de los resultados.

Lo esencial

¡Hola! Imagina que estás intentando enseñarle a un robot a detectar cuándo una rueda de un tren (un rodamiento) está rota antes de que cause un accidente. Este es el objetivo de la diagnóstico de fallos en rodamientos.

Hasta ahora, muchos científicos han estado usando "trucos" para que sus robots parezcan geniales en los exámenes, pero en la vida real fallan estrepitosamente. Este artículo es como un detective que expone un fraude en la forma en que entrenamos a estas máquinas.

Aquí tienes la explicación sencilla, con analogías para que lo entiendas perfectamente:

1. El Problema: El "Truco de la Copia" (Filtrado de Datos)

Imagina que le das a un estudiante un examen de matemáticas.

• La forma correcta: Le das un examen nuevo con problemas que nunca ha visto. Si aprueba, significa que aprendió matemáticas.
• El truco (Filtrado de datos): Le das el mismo examen, pero le permites mirar las respuestas en el cuaderno mientras escribe. ¡Obviamente sacará un 100%! Pero si le das un examen nuevo, suspenderá.

En el mundo de la inteligencia artificial para rodamientos, muchos investigadores cometían este error. Entrenaban a la máquina con vibraciones de un rodamiento específico (digamos, el "Rodamiento A") y luego la probaban con otras vibraciones del mismo "Rodamiento A".

La máquina no aprendía a detectar una "rotura". Lo que aprendió fue a reconocer la "huella digital" única de ese rodamiento en particular (su ruido de fondo, su desgaste único). Era como si el robot dijera: "¡Ah! Reconozco esta voz, es el Rodamiento A, y el Rodamiento A siempre está roto en mis datos".

Resultado: Los artículos científicos decían: "¡Nuestra IA tiene un 99% de precisión!". Pero cuando la ponían en una fábrica real con rodamientos nuevos, fallaba porque nunca había visto un rodamiento "desconocido".

2. La Solución: La Regla de "No Ver a la Familia"

Los autores de este paper proponen una regla estricta: División por Rodamiento.

Imagina que tienes una clase de estudiantes (los rodamientos).

• El error anterior: Mezclas a los estudiantes en grupos aleatorios. Si el "Estudiante Juan" está en el grupo de estudio y también en el examen, Juan puede copiar sus propias respuestas.
• La solución correcta: Si usas a "Juan" para estudiar, no puedes usar a "Juan" ni a sus hermanos gemelos para el examen. El examen debe ser con "María", "Pedro" y "Ana", a quienes Juan nunca conoció.

En términos técnicos, esto significa que si un rodamiento físico va al grupo de "Entrenamiento", ninguna de sus vibraciones puede ir al grupo de "Prueba". Así, la máquina se ve obligada a aprender las señales reales de una rotura, no la identidad del rodamiento.

3. El Cambio de Juego: De "Examen de Opción Múltiple" a "Lista de Chequeo"

Antes, los científicos hacían preguntas como: "¿Es este rodamiento: A) Sano, B) Roto por dentro, C) Roto por fuera?".
El problema es que un rodamiento puede estar roto por dentro Y por fuera al mismo tiempo. La opción múltiple no deja espacio para eso.

Los autores proponen cambiar a un sistema de "Lista de Chequeo" (Multietiqueta):

• ¿Hay rotura interna? (Sí/No)
• ¿Hay rotura externa? (Sí/No)
• ¿Hay rotura en las bolas? (Sí/No)

Esto es como un médico que no te dice "tienes la gripe o la fiebre", sino que revisa cada síntoma por separado. Además, usan una métrica llamada AUROC (una especie de "puntuación de honestidad") que no se deja engañar si hay muchos rodamientos sanos y pocos rotos, algo muy común en la industria.

4. La Gran Revelación: Más Diversidad es Mejor que Más Datos

Hicieron un experimento fascinante. Entrenaron a las máquinas con la misma cantidad de datos, pero variando de dónde venían esos datos:

• Escenario A: Muchísimos datos, pero todos de solo 2 rodamientos diferentes.
• Escenario B: Menos datos, pero de 10 rodamientos diferentes.

Resultado: El Escenario B (más diversidad de rodamientos) funcionó mucho mejor.
La analogía: Es como aprender a reconocer perros.

• Si solo ves 100 fotos del mismo perro "Firulais", aprenderás a reconocer a "Firulais", pero no sabrás qué es un perro.
• Si ves 10 fotos de 10 perros diferentes, aprenderás qué es un "perro" en general y podrás reconocer a uno nuevo.

5. ¿Qué pasó con los resultados?

Cuando aplicaron estas reglas estrictas (sin trucos, con diversidad real):

• Las "Inteligencias Artificiales" profundas (Deep Learning), que antes parecían magia con un 99% de éxito, cayeron drásticamente (a veces al 50-60%, que es como adivinar).
• Sorprendentemente, modelos más simples y antiguos (como los "bosques aleatorios") funcionaron muy bien, a veces mejor que las redes neuronales complejas.
• Conclusión: No necesitas la tecnología más cara si estás usando los datos de la forma correcta.

En Resumen

Este paper es un llamado a la honestidad en la ciencia. Nos dice:

1. Dejen de engañarse a sí mismos con datos que se filtran entre el entrenamiento y la prueba.
2. Entrenen a sus máquinas con una gran variedad de rodamientos diferentes, no solo con muchos datos del mismo.
3. Si quieren que sus sistemas funcionen en el mundo real (en fábricas, trenes, aviones), deben probarlos con rodamientos que la máquina nunca ha visto antes.

Es como decir: "No nos digas que tu coche es un Ferrari porque ganó una carrera en una pista donde solo había un coche. Demuéstranos que gana en una pista con tráfico real y coches desconocidos".

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Towards a more realistic evaluation of machine learning models for bearing fault diagnosis" (Hacia una evaluación más realista de los modelos de aprendizaje automático para el diagnóstico de fallas en rodamientos), estructurado según los puntos solicitados.

1. El Problema: Fugas de Datos y Evaluaciones Sobrestimadas

El diagnóstico de fallas en rodamientos mediante aprendizaje automático (ML) y aprendizaje profundo (DL) ha avanzado significativamente, pero el campo sufre de un problema metodológico crítico: la fuga de datos (data leakage).

• Definición: La fuga de datos ocurre cuando existe una correlación espuria entre las variables de entrada y la variable objetivo debido a defectos en la recolección, muestreo o preprocesamiento de datos. Esto viola la suposición de que las muestras de entrenamiento y prueba son independientes e idénticamente distribuidas (i.i.d.).
• Causas Comunes:
  • División por segmentos: Dividir una misma señal de vibración continua entre entrenamiento y prueba.
  • División por condición: Separar datos basándose en condiciones operativas (carga, velocidad) pero manteniendo el mismo rodamiento físico en ambos conjuntos.
  • División por repetición: Usar diferentes repeticiones de la misma configuración experimental en ambos conjuntos.
• Consecuencia: Los modelos "memorizan" las características específicas del rodamiento (su identidad física) en lugar de aprender firmas de falla generalizables. Esto genera métricas de rendimiento artificialmente altas (a menudo >99% o 100%) que no se sostienen en escenarios del mundo real donde el modelo debe diagnosticar rodamientos nunca vistos.
• Estado Actual: Un análisis de 18 artículos publicados en 2025 mostró que la mayoría aún utiliza estrategias de división defectuosas (aleatoria o por condición), perpetuando resultados optimistas y poco fiables.

2. Metodología Propuesta

Los autores proponen un marco de trabajo riguroso para eliminar la fuga de datos y evaluar la verdadera capacidad de generalización de los modelos.

A. Estrategia de División de Datos (Bearing-wise Split)

La piedra angular de la metodología es la división por rodamiento.

• Principio: Todos los datos originados de un mismo rodamiento físico deben asignarse exclusivamente a un solo conjunto (entrenamiento o prueba).
• Objetivo: Garantizar que el modelo no tenga acceso a la "identidad" del rodamiento de prueba durante el entrenamiento, forzándolo a aprender patrones de falla universales en lugar de artefactos específicos del componente.

B. Reformulación del Problema: Clasificación Multi-etiqueta

En lugar del enfoque tradicional de clasificación multiclase (donde una sola etiqueta indica el estado), proponen un enfoque de clasificación binaria multi-etiqueta:

• Cada tipo de falla (ej. pista interna, pista externa, bolas) se trata como un problema de clasificación binaria independiente (¿Está presente esta falla? Sí/No).
• Ventajas:
  • Permite detectar fallas coexistentes (múltiples fallas simultáneas).
  • Trata las señales de un tipo de falla como "negativos verdaderos" para otros tipos, mitigando el desequilibrio de clases (especialmente útil cuando hay pocos datos de rodamientos sanos).
  • Facilita el uso de umbrales de decisión independientes para cada falla, priorizando la sensibilidad o especificidad según necesidades de seguridad.

C. Métricas de Evaluación

Se abandona la "precisión" (accuracy) tradicional, que es engañosa ante desequilibrios de clases.

• Métrica Principal: Macro AUROC (Área bajo la curva ROC promediada macro).
• Justificación: El AUROC es independiente de la prevalencia de las clases y evalúa el rendimiento del modelo en todos los umbrales de decisión posibles, proporcionando una medida más robusta y realista.

D. Protocolo de Validación (CVM-CV)

Para evitar sesgos en la selección de hiperparámetros, utilizan un protocolo de Doble Validación Cruzada:

1. Optimización de Hiperparámetros (CVM): Búsqueda interna de los mejores parámetros.
2. Estimación de Rendimiento (CV): Reevaluación del modelo seleccionado en múltiples divisiones de datos independientes (100 iteraciones en sus experimentos) para obtener una estimación estable y no sesgada del rendimiento de generalización.

3. Contribuciones Clave

1. Experimentos Controlados de Fuga de Datos: Diseñaron experimentos donde el modelo entrenado es idéntico, y solo varía el conjunto de prueba (con o sin fuga). Esto demuestra que la caída en el rendimiento se debe estrictamente a la fuga de datos y no a una menor diversidad de datos de entrenamiento.
2. Metodología Sistemática: Proporcionan una guía paso a paso para la creación de conjuntos de datos, la división por rodamiento y el ajuste de hiperparámetros que minimizan el sesgo.
3. Formulación Multi-etiqueta: Introducen un marco que permite una evaluación más precisa y realista de fallas coexistentes mediante métricas independientes de la prevalencia.
4. Evaluación Exhaustiva: Aplicaron su metodología a tres conjuntos de datos ampliamente utilizados: CWRU, Paderborn University (PU) y University of Ottawa (UORED-VAFCLS).

4. Resultados Principales

Los resultados revelan diferencias drásticas entre las evaluaciones con fuga de datos y las libres de fuga:

• Impacto de la Fuga de Datos:

  • En los conjuntos de datos PU y CWRU, las divisiones con fuga (por condición o repetición) produjeron accuracies cercanas al 100%.
  • Al aplicar la división libre de fuga (por rodamiento), el rendimiento cayó drásticamente:
    • PU: El rendimiento de los modelos de aprendizaje profundo (WDCNN) cayó a niveles cercanos al azar (Macro AUROC 0.5 - 0.6) en dominios de tiempo y frecuencia, mejorando ligeramente con espectros de envolvente (0.79).
    • CWRU: Los modelos de aprendizaje profundo tuvieron un rendimiento moderado (~0.63-0.74), mientras que los modelos de aprendizaje superficial (Random Forest con características manuales) superaron a los profundos, alcanzando un Macro AUROC de 84.25%.
  • Conclusión: Muchos modelos reportados en la literatura como "altamente efectivos" en realidad solo están memorizando la identidad del rodamiento.

• Importancia de la Diversidad de Rodamientos:

  • Se demostró que aumentar el número de rodamientos únicos en el conjunto de entrenamiento mejora significativamente la generalización, incluso si el número total de muestras se mantiene constante.
  • La diversidad de componentes es un factor determinante más crítico que la cantidad bruta de datos.

• Comparación de Modelos:

  • No existe un modelo "mejor" universal. El rendimiento depende fuertemente del conjunto de datos y la representación de entrada.
  • En UORED-VAFCLS (alta diversidad), los modelos profundos (WDCNN) con dominio de frecuencia lograron el mejor rendimiento (~93% Macro AUROC).
  • En CWRU (baja diversidad), los modelos de aprendizaje superficial con características ingenieriles fueron superiores.

5. Significado e Implicaciones

Este trabajo es fundamental para la comunidad de diagnóstico de fallas por las siguientes razones:

1. Cambio de Paradigma en la Evaluación: Establece que las métricas de rendimiento actuales en la literatura son a menudo ilusorias. La comunidad debe adoptar la división por rodamiento como estándar para cualquier estudio serio.
2. Validación de la Generalización Real: Demuestra que los modelos deben ser evaluados en componentes no vistos para ser útiles en entornos industriales reales.
3. Reevaluación de Modelos Profundos: Sugiere que el uso de redes neuronales profundas no siempre es la solución óptima; en conjuntos de datos pequeños o con poca diversidad, los métodos clásicos con características bien diseñadas pueden ser más robustos y generalizables.
4. Guía Práctica: Ofrece directrices claras para investigadores e ingenieros sobre cómo dividir datos, seleccionar métricas (Macro AUROC) y diseñar experimentos que eviten la sobreestimación del rendimiento.
5. Transparencia: Fomenta la reproducibilidad al exigir la publicación de códigos, divisiones de datos y protocolos de evaluación detallados.

En resumen, el artículo actúa como una llamada de atención crítica para limpiar el campo del diagnóstico de fallas de rodamientos, asegurando que los modelos de IA desarrollados sean verdaderamente confiables y seguros para su despliegue en la industria.