기술 요약: 디지털 트윈의 시계열 인식을 위한 모듈형 파운데이션 모델

1. 문제 정의

엔지니어링 디지털 트윈(DT) 및 고장 진단 및 건전성 관리(PHM) 시스템은 이질적이고 비정상적인(non-stationary) 시계열 데이터로부터 실행 가능한 정보를 추출할 수 있는 강력한 인지 모듈을 필요로 한다. 기존의 접근 방식들은 다음과 같은 세 가지 주요 한계점에 직면해 있다:

1. 태스크 특이성(Task-Specificity): 현재의 방법론들은 종종 단일 태스크를 위해 설계되어, 서로 다른 운전 조건이나 자산 간에 전이하기 어렵다.
2. 데이터 갈증(Data Hunger): 전통적인 지도 학습 파이프라인은 방대한 양의 레이블된 데이터를 요구하지만, 산업 현장에서는 레이블링의 제한과 클래스 불균형으로 인해 이러한 데이터가 부족하다.
3. 비정상성(Non-Stationarity): 산업 시스템은 다양한 레짐(부하 변동, 노후화, 환경적 교란 등) 하에서 작동하며, 이로 인해 전통적인 모델들은 일반화 성능이 저하되는 문제를 겪는다.

본 논문은 새로운 시나리오마다 별도의 태스크 특화 모델을 구축하는 것은 비용이 많이 들고 지속 불가능하다고 주장한다. 대신, 이질적인 소스로부터 기존 지식을 활용하면서도 제한된 감독 하에 새로운 미학습 도메인에 적응할 수 있는 통합된 인지 계층이 필요하다.

2. 방법론

저자들은 **시계열 처리를 위한 모듈형 파운데이션 모델(FM-TSP)**을 제안한다. 엔드 투 엔드(end-to-end) 아키텍처와 달리, 이 프레임워크는 표현 학습(representation learning), 인코더 선택, 그리고 태스크 적응을 명시적으로 분리한다. 이 아키텍처는 다음 세 가지 주요 구성 요소로 이루어진다:

A. 사전 학습된 인코더 컬렉션 ($E$)

기초는 $M$개의 사전 학습된 표현 인코더($E = \{E_1, \dots, E_M\}$) 라이브러리이다.

• 학습 전략: 각 인코더는 이질적인 데이터셋(예: 진동, 음향, 전기, 생체 신호)을 사용하여 **자기 지도 학습(Self-Supervised Learning, SSL)**을 통해 독립적으로 학습된다.
• 목표: 사전 학습에는 두 가지 목표가 사용된다:
  1. 재구성(Reconstruction): 가벼운 디코더가 입력 세그먼트를 Huber loss를 사용하여 재구성함으로써 이상치(outlier)에 대한 강건성을 확보한다.
  2. 대조 학습(Contrastive Learning): 대조 목적 함수(NT-Xent)는 신호의 부분적 손상(마스킹)에 대한 불변성을 강제하여 잠재 공간(latent space)을 정규화한다.
• 전문화: 인코더들은 다양한 데이터 서브셋과 아키텍처(MLP, CNN, Transformer)에서 학습되어 광범위한 시간적 역학 및 물리적 레짐을 포착한다.

B. 게이팅 및 선택 메커니즘 ($G_{gate}$)

새로운 타겟 데이터셋 $Y$를 처리할 때, 모델은 모든 인코더를 사용하지 않는다. 대신, 게이팅 메커니즘이 가장 관련성이 높은 인코더의 부분 집합($E^*$)을 동적으로 선택한다. 이 선택은 두 가지 기준에 근거한다:

1. 데이터 유사도: 통계적 및 스펙트럼 기술자(예: 모멘트, 분위수, 푸리에 계수)를 사용하여 타겟 데이터셋과 사전 학습 데이터셋 간의 비유사도를 계산한다.
2. 구조적 상관관계: 인코더가 데이터를 잠재 공간으로 매핑할 때 타겟 데이터의 국소적 유사 구조(이웃 관계)를 보존하는지 평가한다.
   이를 통해 조건부 연산을 보장하며, 학습된 표현이 타겟 도메인과 일치하는 인코더만을 활성화한다.

C. 투영 및 집합 모듈 ($G_{agg}$)

선택된 인코더들은 이질적인 공간의 잠재 표현을 생성한다.

• 투영(Projection): 학습 가능한 선형 투영기(linear projector)가 이러한 이질적인 출력들을 공유된 $d$차원 잠재 공간으로 매핑한다. 초기 미세 조정(fine-tuning) 단계에서는 인코더 간의 의미론적 일관성을 보장하기 위해 정렬 정규화 항(Maximum Mean Discrepancy, MMD)이 적용된다.
• 집합(Aggregation): Transformer 기반의 셀프 어텐션 모듈이 투로 된 표현들을 시퀀스 토큰으로서 처리한다. 이를 통해 모델은 크로스 인코더 간의 상호작용과 의존성을 포착하고, 특정 다운스트림 태스크에 대한 관련성에 따라 특징 가중치를 동적으로 재설정할 수 있다.

D. 태스크 적응 ($T$)

프레임워크는 가벼운 태스크 특화 헤드(task-specific heads)를 통해 다양한 다운스트림 태스크(결측치 보간, 예측, 가상 센싱)를 지원한다. 적응 과정에서 사전 학습된 인코더들은 동결(frozen) 상태로 유지되며, 투영기, 집합 모듈, 그리고 태스크 헤드만이 업데이트된다. 이는 효율적인 퓨샷 학습(few-shot learning)을 가능하게 한다.

3. 주요 기여

• 모듈형 파운데이션 아키텍처: 표현 학습을 태스크 적응으로부터 분리하여, 다양한 산업 시나리오 전반에서 사전 학습된 인코더를 재사용할 수 있는 분리된 프레임워크를 제안한다.
• 2단계 게이팅 메커니즘: 단순한 무작위 또는 나이브한 집합을 넘어, 계산 효율성과 관련성을 보장하기 위해 데이터 유사도 및 구조적 상관관계에 기반한 원칙적인 인코더 선택 전략을 도입한다.
• 크로스 인코더 집합: 이질적인 표현을 융합하는 데 있어 단순한 연결(concatenation)이나 평균 풀링(mean pooling)보다 우수한 Transformer 기반 셀프 어텐션의 유용성을 입증한다.
• 자기 지도 학습 기반 사전 학습: 라벨이 없는 산업 데이터로부터 강건하고 태스크 불가지론적인(task-agnostic) 시계열 표현을 학습하기 위해 이중 목표 SSL 접근 방식(재구성 + 대조 학습)을 검증한다.

4. 실험 결과

프레임워크는 ETT (Electricity Transformer Temperature) 벤치마크와 실제 산업 사례 연구를 통해 평가되었다.

벤치마크 평가 (ETT 데이터셋)

모델은 세 가지 태스크(결측치 보간, 장기 예측, 퓨샷 예측)에 대해 테스트되었다.

• 결측치 보간(Imputation): FM-TSP는 사전 학습의 재구성 목적 함수와 보간 태스크 간의 직접적인 연결 덕분에 최신 모델들(PatchTST, iTransformer, DLinear)과 대등하거나 더 나은 성능을 달-성했다.
• 장기 예측(Long-term Forecasting): 모델은 선도적인 베이스라인(DLinear, iTransformer)과 경쟁력 있는 수준을 유지했으나, PatchTST보다는 약간 뒤처졌다. 저자들은 이를 인코더들이 특정 ETT 데이터에 대해 사전 학습되지 않았기 때문으로 분석하며, 더 다양한 인코더 라이브러리를 통한 개선 가능성을 시사했다.
• 퓨샷 예측(Few-shot Forecasting): 데이터가 부족한 시나리오(훈련 데이터의 5% 또는 10%만 사용)에서 FM-TSP는 최상위권의 성능을 기록하며 효과적인 이질적 데이터 전이 능력을 입증했다.

산업 사례 연구: 로터 온도 가상 센싱

운전 신호를 사용하여 수력 발전기 로터 온도를 추정하는 가상 센서가 개발되었으며, 이는 직접 측정이 어려운 문제를 해결한다.

• 학습: 모델은 하나의 터빈 발전기(TGU)에서 학습되었고, 다른 TGU들에서 테스트되었다.
• 성능: 모델은 실제 온도(ground truth)의 평균값을 성공적으로 추적했다.
• 불확실성 정량화: Beta-loss likelihood를 통해 분포 파라미터(평균 및 분산)를 예측함으로써, 모델은 보정된 불확실성 추정치를 제공했다. 학습된 TGU에 대해 커버리지는 약 93.5%(명목 수치인 95%에 근접)였으며, 다른 TGU(전이 학습)의 경우 분포 변화로 인해 커버리지가 65%로 떨어졌으나, 모델은 여전히 안전 모니터링에 중요한 임계 고온 이벤트를 효과적으로 식별해냈다.

5. 의의 및 주장

본 논문은 FM-TSP를 엔지니어링 디지털 트윈 및 하이브리드 모델-데이터 PHM 시스템을 위한 확장 가능한 **인지 계층(perception layer)**으로 위치시킨다. 그 의의는 다음과 같다:

• 확장성(Scalability): 인코더를 동결하고 가벼운 헤드만을 학습함으로써, 새로운 태스크나 자산에 모델을 배포하는 비용을 절감한다.
• 데이터 희소성에 대한 강건성: 이질적인 데이터에 대한 자기 지도 사전 학습을 활용함으로써, 라벨된 데이터가 제한적인 퓨샷 환경에서도 효과적으로 작동할 수 있다.
• 모듈성(Modularity): 본 아키텍처는 점진적 개발을 지원한다. 즉, 전체 시스템을 재학습하지 않고도 새로운 운영 레짐을 커버하기 위해 새로운 인코더를 라이브러리에 추가할 수 있다.
• 하이브리드 통합: 저자들은 이 프레임워크가 물리 기반 모델과 자연스럽게 결합되어, 안전이 중요한 애플리케이션에서 해석 가능성과 강건성을 높일 수 있는 데이터 기반 구성 요소 역할을 할 수 있다고 주장한다.

저자들은 결론적으로, 본 프레임워크가 엔드 투 엔드 모델들과 경쟁할 수 있는 성능을 보이면서도, 디지털 트윈의 고유한 과제인 비정상성과 데이터 이질성을 해결할 수 있는 재사용 가능한 모듈형 파운데이션을 제공하는 데 핵심적인 가치가 있다고 밝히고 있다.