Toward accurate RUL and SoH estimation using reinforced graph-based physics-informed neural networks enhanced with dynamic weights

Resumen Técnico: Marco RGPD para la Estimación de RUL y SoH

Declaración del Problema
La estimación precisa de la Vida Útil Remanente (RUL) y el Estado de Salud (SoH) es crítica para la Gestión de la Salud y la Prognosis (PHM). Sin embargo, los enfoques existentes enfrentan un compromiso persistente: los modelos de aprendizaje profundo puramente basados en datos carecen a menudo de consistencia física y luchan contra señales de múltiples sensores con ruido, mientras que los modelos basados en la física requieren un conocimiento de dominio explícito que es difícil de generalizar entre diversos activos. Además, los modelos híbridos que combinan estos enfoques dependen frecuentemente de pesos de pérdida fijos, lo que conduce a un rendimiento subóptimo al transferirse entre activos con diferentes comportamientos de degradación, niveles de ruido o condiciones operativas. El desafío central es desarrollar un marco unificado que capture complejas interacciones espaciotemporales de sensores mientras equilibra adaptativamente el aprendizaje basado en datos con restricciones informadas por la física.

Metodología: El Marco RGPD
Los autores proponen Redes Informadas por la Física con Refuerzo Basadas en Grafos y Ponderación Dinámica (RGPD), un marco modular diseñado para manejar sistemas de degradación heterogéneos sin requerir modelos de primeros principios específicos para cada activo. La arquitectura integra cuatro componentes clave:

1. Representación Espaciotemporal Basada en Grafos:
   El núcleo utiliza una capa de Convolución de Atención de Grafos (GATConv) seguida de una Red Recurrente Convolucional de Grafos (GCRN). Esta estructura trata los canales de los sensores como nodos y aprende sus dependencias relacionales. GATConv asigna pesos de atención adaptativos para priorizar las relaciones informativas entre sensores, mientras que GCRN modela la evolución temporal de estas dependencias espaciales. Esto reemplaza los modelos secuenciales rígidos con una visión relacional de la degradación.

2. Modulación de Características Adaptativa mediante Soft Actor-Critic (SAC):
   Para abordar las características latentes con ruido, el marco emplea un agente de aprendizaje por refuerzo Soft Actor-Critic (SAC). Operando en un entorno de control continuo, el agente SAC recibe vectores de características latentes del GCRN y genera coeficientes de escala. Estos coeficientes reescalan dinámicamente las características antes de que entren en el bloque de atención temporal. El agente es entrenado para minimizar el error de predicción (MSE negativo), aprendiendo efectivamente a suprimir dimensiones ruidosas y amplificar las informativas bajo condiciones no estacionarias.

3. Refinamiento Temporal con la Unidad de Atención Temporal (TAU):
   Tras el escalado de características, una Unidad de Atención Temporal (TAU) procesa los datos. A diferencia de la autoatención estándar, la TAU desvincula la Atención Estática (que captura correlaciones intra-temporales mediante convoluciones depthwise y dilatadas) de la Atención Dinámica (que captura dependencias inter-temporales mediante pooling y capas totalmente conectadas). Este mecanismo dual permite al modelo enfocarse tanto en las interacciones instantáneas de los sensores como en las tendencias de degradación a largo plazo.

4. Regularización Informada por la Física Adaptativa:
   El marco impone la plausibilidad física a través de una función de pérdida compuesta que contiene:

   • Residuo del Modelo de Física Oculta Profunda (DeepHPM): Un residuo de EDP aprendido que aproxima la dinámica de degradación latente sin requerir ecuaciones gobernantes explícitas.
   • Restricciones Auxiliares: Monotonicidad (asegurando que el RUL/SoH disminuya con el tiempo), Suavidad (evitando oscilaciones abruptas) y una restricción de Dispositivo Averiado (forzando un RUL de cero en el momento de la falla).
   • Q-Learning para la Ponderación Dinámica: En lugar de pesos fijos, cuatro agentes de Q-learning independientes ajustan adaptativamente los pesos de los términos de pérdida de la física ($w_1$ a $w_4$) en línea. Cada agente observa la magnitud de su residuo específico y selecciona un peso discreto de un conjunto acotado. La señal de recompensa se deriva de la mejora en el RMSE de validación, permitiendo que el modelo reequilibre las restricciones basándose en el estado actual del entrenamiento y las características del conjunto de datos.

Contribuciones Clave

• Marco Unificado: RGPD integra el aprendizaje relacional basado en grafos, la modulación de características impulsada por RL y la regularización adaptativa guiada por la física en un único pipeline de optimización.
• Equilibrio de Física Adaptativo: La introducción de agentes de Q-learning para ajustar dinámicamente los pesos de la pérdida de física aborda la limitación de la ponderación estática en modelos híbridos, permitiendo una mejor generalización a través de conjuntos de datos heterogéneos.
• Escalado de Características Robusto: El uso de SAC para modular las características latentes proporciona un mecanismo estocástico impulsado por recompensas para estabilizar el entrenamiento y mejorar la robustez contra el ruido, superando a los mecanismos de compuerta deterministas.
• Generalizabilidad: El marco es validado en tres dominios industriales distintos (motores de turbofán, rodamientos y baterías) sin cambiar la arquitectura central, dependiendo únicamente del preprocesamiento de datos y la construcción de grafos específicos de cada dataset.

Resultados Experimentales
El marco fue evaluado en los conjuntos de datos C-MAPSS (motores), PHM2012 (rodamientos) y XJTU (baterías).

• C-MAPSS: RGPD logró una mejora del RMSE promedio de hasta un 12% en comparación con las líneas base más fuertes reportadas (por ejemplo, reduciendo el RMSE promedio de ~12.89 a 11.38). Demostró robustez en subconjuntos con variaciones en modos de falla y condiciones operativas.
• XJTU (Baterías): El modelo redujo el MAPE promedio en un 20% comparado con el segundo mejor modelo reportado (0.86% vs. 1.09% para Battery PINN), a pesar de que Battery PINN está diseñado específicamente para la química de baterías.
• PHM2012: RGPD alcanzó el RMSE más bajo (0.0778) y el MAE más bajo (0.0634) entre los métodos comparados, superando a modelos de vanguardia como ILCANet.
• Robustez: Los experimentos con datos faltantes (hasta un 10% de pérdida de sensores) mostraron que la imputación por la media combinada con RGPD mantuvo un rendimiento competitivo, resaltando la resiliencia en entornos industriales imperfectos.
• Estudios de Ablación: Eliminar los componentes de RL (SAC y Q-learning) o el bloque TAU degradó consistentemente el rendimiento, confirmando que la ponderación adaptativa y los mecanismos de doble atención son críticos para manejar la dinámica de degradación heterogénea.

Significancia y Reivindicaciones
El artículo afirma que RGPD representa un paso significativo hacia adelante en PHM al resolver la tensión entre las representaciones de datos expresivas y las predicciones físicamente consistentes. Su principal significancia radica en su generalizabilidad metodológica: los mismos principios de diseño (backbone de grafos + control de RL adaptativo) siguen siendo efectivos para motores, rodamientos y baterías. Los autores enfatizan que el marco no requiere un modelo completo de primeros principios para cada tipo de activo; en su lugar, utiliza "priors de consistencia de degradación" y residuos aprendidos para asegurar la plausibilidad física.

Los autores señalan modestamente que, aunque RGPD introduce una carga de entrenamiento adicional en comparación con modelos más simples, este costo se justifica cuando se trabaja con dependencias de múltiples sensores y entornos con ruido. Aclaran que la transferibilidad del marco proviene de su capacidad para aprender interacciones de sensores y priors de degradación generales, mientras que la adaptación específica al activo se gestiona mediante el preprocesamiento y la construcción del grafo, no mediante cambios arquitectónicos. El trabajo futuro se dirige hacia la incorporación de términos de física conscientes del activo y la validación del marco en entornos industriales reales en línea.