Toward accurate RUL and SoH estimation using reinforced graph-based physics-informed neural networks enhanced with dynamic weights

기술 요약: RUL 및 SoH 추정을 위한 RGPD 프레임워크

문제 정의
잔여 유효 수명(RUL)과 건강 상태(SoH)의 정확한 추정은 예후 및 건전성 관리(PHM)에 있어 매우 중요합니다. 그러나 기존의 접근 방식들은 지속적인 트레이드오프 문제에 직면해 있습니다. 순수 데이터 기반의 딥러는 모델은 물리적 일관성이 부족하고 노이즈가 섞인 다중 센서 신호를 처리하는 데 어려움을 겪는 반면, 물리 기반 모델은 다양한 자산에 걸쳐 일반화하기 어려운 명시적인 도메인 지식을 요구합니다. 더욱이, 이러한 방식들을 결합한 하이브리드 모델은 고정된 손실 가중치(loss weights)에 의존하는 경우가 많아, 서로 다른 열화 거동, 노이즈 수준 또는 운전 조건을 가진 자산 간에 전이될 때 최적의 성능을 내지 못하는 문제가 발생합니다. 핵심 과제는 복잡한 시공간적 센서 상호작용을 포착하는 동시에, 데이터 기반 학습과 물리 정보 기반 제약 사이의 균형을 적응적으로 조절할 수 있는 통합된 프레임워크를 개발하는 것입니다.

방법론: RGPD 프레임워크
저자들은 자산별로 특화된 제1원리 모델(first-principles models) 없이도 이질적인 열화 시스템을 처리할 수 있도록 설계된 모듈형 프레임워크인 **강화된 그래프 기반 물리 정보 네트워크 및 동적 가중치 적용(Reinforced Graph-based Physics-informed Networks with Dynamic Weighting, RGPD)**을 제안합니다. 이 아키텍처는 네 가지 핵심 구성 요소로 통합됩니다:

1. 그래프 기반 시공간 표현:
   백본(backbone)은 그래프 어텐션 컨볼루션(GATConv) 레이어와 그 뒤를 잇는 **그래프 컨볼루션 순환 네트워크(GCRN)**를 활용합니다. 이 구조는 센서 채널을 노드로 취급하여 이들의 관계적 의존성을 학습합니다. GATConv는 정보가 풍부한 센서 관계에 우선순위를 두기 위해 적응형 어텐션 가중치를 할당하며, GCRN은 이러한 공간적 의존성의 시간적 진화를 모델링합니다. 이는 경직된 순차적 모델을 관계 중심의 관점으로 대체합니다.

2. SAC를 통한 적응형 특징 변조:
   노이즈가 섞인 잠재 특징(latent features) 문제를 해결하기 위해, 프레임워크는 Soft Actor-Critic (SAC) 강화 학습 에이전트를 채택합니다. 연속 제어 환경에서 작동하는 SAC 에이전트는 GCRN으로부터 잠재 특징 벡터를 전달받아 스케일링 계수를 출력합니다. 이 계수들은 특징들이 시간적 어텐션 블록으로 들어가기 전에 특징들을 동적으로 재조정(rescale)합니다. 에이전트는 예측 오차(음의 MSE)를 최소화하도록 훈련되어, 비정상 상태(non-stationary conditions)에서 노이즈가 많은 차원은 억제하고 정보가 풍в한 차원은 증폭하는 법을 효과적으로 학습합니다.

3. 시간적 정교화를 위한 시간적 어텐션 유닛(TAU):
   특징 스케일링 이후, **시간적 어텐션 유닛(TAU)**이 데이터를 처리합니다. 표준 셀프 어텐션과 달리, TAU는 정적 어텐션(심층 및 확장 컨볼루션을 통해 시간 내 상관관계 포착)과 동적 어텐션(풀링 및 완전 연결 계층을 통해 시간 간 의존성 포착)을 분리합니다. 이 이중 메커니즘을 통해 모델은 즉각적인 센서 상호작용과 장기적인 열화 추세를 모두 포착할 수 있습니다.

4. 적응형 물리 정보 규제:
   프레임워크는 다음을 포함하는 복합 손실 함수를 통해 물리적 타당성을 강제합니다:

   • 심층 은닉 물리 모델(DeepHPM) 잔차: 명시적인 지배 방정식 없이도 잠재적 열화 역학을 근사하는 학습된 PDE 잔차입니다.
   • 보조 제약 조건: 단조성(RUL/SoH가 시간에 따라 감소함을 보장), 매끄러움(급격한 진동 방지), 그리고 고장 장치 제약(고장 시 RUL을 0으로 강제)이 포함됩니다.
   • 동적 가중치 조절을 위한 Q-러닝: 고정된 가중치 대신, 네 개의 독립적인 Q-러닝 에이전트가 물리 손실 항($w_1$ ~ $w_4$)의 가중치를 온라인으로 적응적으로 조정합니다. 각 에이전트는 특정 잔차의 크기를 관찰하고 제한된 집합 내에서 이산적인 가중치를 선택합니다. 보상 신호는 검증 RMSE의 개선량으로부터 유도되며, 이를 통해 모델은 현재의 훈련 상태와 데이터셋 특성에 따라 제약 조건의 균형을 재조정할 수 있습니다.

주요 기여

• 통합 프레임워크: RGPD는 그래프 기반 관계 학습, 강화 학습 기반 특징 변조, 그리고 적응형 물리 가이드 규제를 단일 최적화 파이프라인으로 통합합니다.
• 적응형 물리 균형: Q-러닝 에이전트를 도입하여 물리 손실 가중치를 동적으로 튜닝함으로써 하이브리드 모델의 고정 가중치 한계를 해결하고, 이질적인 데이터셋 전반에 걸친 일반화 능력을 향상시켰습니다.
• 강건한 특징 스케일링: SAC를 사용하여 잠재 특징을 변조함으로써, 결정론적인 게이팅 메커니즘보다 우수한, 보상 기반의 확률적 특징 안정화 메커니즘을 제공합니다.
• 일반화 가능성: 본 프레임워크는 핵심 아키텍처를 변경하지 않고도 데이터셋별 전처리 및 그래프 구축만을 통해 세 가지 서로 다른 산업 분야(터보팬 엔진, 베어링, 배터리)에서 검증되었습니다.

실험 결과
프레임워크는 C-MAPSS(엔진), PHM2012(베어링), XJTU(배터리) 데이터셋을 대상으로 평가되었습니다.

• C-MAPSS: RGPD는 가장 강력한 기존 베이스라인(예: 평균 RMSE를 약 12.89에서 11.38로 감소) 대비 최대 **12%**의 평균 RMSE 개선을 달しまいました. 또한 다양한 결함 모드와 운전 조건의 하위 집합에서도 강건함을 입증했습니다.
• XJTU (배터리): RGPD는 배터리 화학 특성에 특화된 Battery PINN 모델과 비교했을 때 평균 MAPE를 20% 감소시켰습니다 (0.86% vs 1.09%).
• PHM2012: RGPD는 비교 대상 모델 중 가장 낮은 RMSE(0.0778)와 MAE(0.0634)를 달성하여, ILCANet과 같은 최신 모델들을 능가했습니다.
• 강건성: 결측 데이터(최대 10% 센서 손실) 실험에서 평균 임퓨테이션(mean imputation)과 결합된 RGPD는 경쟁력 있는 성능을 유지하여, 불완전한 산업 환경에서의 회복력을 보여주었습니다.
• 절제 연구(Ablation Studies): RL 구성 요소(SAC 및 Q-러닝)나 TAU 블록을 제거할 경우 성능이 일관되게 저하되었으며, 이는 적응형 가중치 및 이중 어텐션 메커니즘이 이질적인 열화 역학을 처리하는 데 필수적임을 확인시켜 줍니다.

의의 및 주장
본 논문은 RGPD가 표현력이 풍부한 데이터 기반 표현과 물리적으로 일관된 예측 사이의 긴장을 해결함으로써 PHM 분야에서 중요한 진전을 이루었다고 주장합니다. 주요 의의는 방법론적 일반화 가능성에 있습니다. 동일한 설계 원칙(그래프 백본 + 적응형 RL 제어)이 엔진, 베어링, 배터리에 걸쳐 효과적으로 작동합니다. 저자들은 RGPD가 각 자산 유형에 대한 완전한 제1원리 모델을 요구하지 않고, 대신 "열화 일관적 사전 지식(degradation-consistent priors)"과 학습된 잔차를 사용하여 물리적 타당성을 확보한다고 강조합니다.

저자들은 RGPD가 단순한 모델에 비해 추가적인 훈련 오버헤드를 발생시킨다는 점을 인정하면서도, 다중 센서 의존성과 노이즈가 존재하는 환경을 다룰 때 이 비용이 정당화된다고 설명합니다. 또한, 프레임워크의 전이 가능성은 자산별로 아키텍처를 변경하는 것이 아니라, 전처리와 그래프 구축을 통해 센서 상호작용과 일반적인 열화 사전 지식을 학습하는 능력에서 비롯된다고 명시했습니다. 향후 연구는 자산 인식형 물리 항(asset-aware physics terms)을 포함하고 실제 산업 현장의 온라인 환경에서 프레임워크를 검증하는 방향으로 진행될 예정입니다.