Lightweight CNN-Based Anomaly Detection for High Voltage Converter Modulators in the Spallation Neutron Source

본 논문은 시간적 및 교차 채널 연산의 전략적 순서를 통해 구조적 귀납 편향(architectural inductive bias)을 활용함으로써, 스팔레이션 중성자원(Spallation Neutron Source) 고전압 컨버터 변조기의 여러 서브시스템에 걸친 결함 전조를 식별하는 데 있어 최첨단 성능을 달성하는 경량 CNN 기반 이상 탐지 프레임워크를 제안한다.

핵심

개요: 거대한 기계의 "심장 박동"

**스팔레이션 중성자 소스(SNS)**를 고속으로 달리는 거대한 기차 시스템이라고 상상해 보세요. 이 시스템의 임열은 미세한 입자(중성자)를 표적에 쏘아 과학자들이 물질을 연구할 수 있도록 돕는 것입니다. 이 기차를 계속 달리게 하려면 "펄스"라고 불리는 짧고 강렬한 에너지 분출 형태의 막대한 전력이 필요합니다.

**고전압 컨버터 변조기(HVCM)**는 이러한 에너지 분출을 만들어내는 엔진입니다. 이들을 기계의 심장이라고 생각하세요. 만약 심장이 박동을 놓치거나 더벅거린다면, 기차 전체가 멈추게 됩니다. 기차가 멈추면 과학자들은 귀중한 시간을 허비하게 되고, 값비싼 부품들이 손상될 수 있습니다.

문제는 이 엔진들이 항상 갑자기 고장 나는 것은 아니라는 점입니다. 종종 이들은 실제로 멈추기 전에 미묘한 "경고 신호(전조 현상)"를 보냅니다. 이 논문의 목표는 기계의 심장 박동 소리를 듣고, 엔진이 실제로 멈추기 전에 "이봐, 뭔가 잘못됐어"라고 말해줄 수 있는 똑똑하고 가벼운 컴퓨터 프로그램을 만드는 것입니다.

도전 과제: 14가지 서로 다른 악기 소리 듣기

엔지니어들은 엔진을 감시하는 14가지 서로 다른 센서를 가지고 있습니다. 어떤 센서는 전류(혈류와 같은)를 측정하고, 어떤 센서는 전압(혈압과 같은)을 측정하며, 어떤 센서는 자기장(심장 리듬과 같은)을 측정합니다.

까다로운 점은 "아픈" 엔진이 항상 똑같은 모습으로 나타나지 않는다는 것입니다.

• 때로는 단 하나의 센서가 이상 증상(혈압의 급상승과 같은)을 보입니다.
• 때로는 개별 센서가 이상해지지는 않지만, 센서들이 서로 이상하게 대화하기 시작합니다(두 개의 심장 박동이 서로 맞지 않게 되는 것과 같습니다).

이전의 컴퓨터 프로그램들은 14개의 센서를 한꺼번에 들으려고 시도했지만, 그것은 마치 시끄러운 방 안에서 14가지 서로 다른 대화를 동시에 들으려는 사람과 같았습니다. 그들은 어떤 대화가 중요한지 혼란스러워했습니다.

해결책: 듣는 새로운 방법

이 논문의 저자들은 컴퓨터의 "귀"를 구성하는 새로운 방법을 제안했습니다. 그들은 엔진을 이해하기 위해서는 두 가지를 특정 순서대로 수행해야 한다는 것을 깨달았습니다.

1. 각 개별 센서의 리듬을 듣는다 (시간).
2. 센서들을 비교하여 서로 어떻게 연관되어 있는지 확인한다 (채널).

그들은 모바일 카메라 기술(빠르고 가벼워야 함)에서 빌려온 기법을 사용하여, 이 단계들을 배치하는 세 가지 다른 방법을 테스트했습니다.

1. "솔로 우선" 방식 (DS): 각 센서의 리듬을 먼저 개별적으로 들은 다음, 그들을 비교합니다.
   • 비유: 합창단 지휘자가 모든 가수가 먼저 각자의 파트를 따로 연습하게 한 다음, 그들이 함께 노래하여 화음이 잘 맞는지 확인하는 것과 같습니다.
2. "믹스 우선" 방식 (PW-First): 모든 센서를 먼저 하나로 섞은 다음, 그 섞인 상태의 리듬을 듣습니다.
   • 비유: 모든 가수의 목소리를 하나의 매끄러운 스무디로 먼저 블렌딩한 다음, 그 부드러운 음료의 리듬을 듣는 것과 같습니다.
3. "스포트라이트가 있는 믹스 우선" 방식 (PW-First+SE): 센서들을 섞되, 스마트한 "스포트라이트"를 추가하여 특정 순간에 어떤 목소리가 중요한지 즉각 결정하고, 그 목소리는 키우고 소음은 줄이는 방식입니다.
   • 비유: 이것은 파티의 DJ가 모든 음악을 믹싱하면서도, 지금 당장 관중에게 필요한 것에 따라 즉시 베이스를 높이거나 보컬을 키울 수 있는 것과 같습니다.

결과: "스포트라이트"의 승리

팀은 네 가지 다른 엔진 설정(RFQ, DTL, CCL, SCL)을 포함한 SNS의 실제 데이터를 사용하여 이 세 가지 접근 방식을 테스트했습니다.

• 승자: "스포트라이트가 있는 믹스 우선" (PW-First+SE) 방식이 가장 뛰어났습니다. 이 방식이 경고 신호를 포착하는 데 가장 정확했습니다.
• 승리한 이유: 유연성 때문입니다. 어떤 경우에는 한 개의 센서가 문제를 일으켰고(그래서 스포트라이트가 그 하나에 집중함), 다른 경우에는 두 센서 사이의 기묘한 관계가 문제였습니다(그래서 스심포트라이트가 컴퓨터가 그 연결 고리를 볼 수 있게 도움).
• 점수: 이 방식은 이러한 희귀한 결함을 포착하는 데 있어 0.816의 점수(1.0이 완벽한 점수)를 기록했습니다. 이는 이 특정 데이터에 대해 테스트된 이전의 어떤 방법보다 우수합니다.

컴퓨터가 배운 것 (아하! 모먼트)

저자들은 컴퓨터가 어떻게 결정을 내리는지 분석함으로써 몇 가지 흥적인 사실들을 발견했습니다.

1. 세 가지 슈퍼 센서: 14개의 센서 중 가장 중요한 세 가지는 C-Flux(자기장), Mod-V(출력 전압), CB-I(커패시터 전류)였습니다. 나머지 11개의 센서를 꺼도 컴퓨터는 여전히 준수한 성능을 낼 수 있었습니다. 하지만 이 세 가지를 끄면 컴퓨터는 길을 잃었습니다.
2. "미분값"은 중복되었습니다: 한 센서는 전압의 변화(전압이 얼마나 빨리 상승하는지)를 측정했습니다. 컴퓨터는 이것이 전압 센서 자체의 수학적 복사본이라는 것을 알아냈습니다. 둘 다 있을 필요는 없었으며, 하나만 있으면 충분했습니다.
3. 결함마다 다른 전략이 필요합니다:
   • 결함이 한 센서의 수치를 크게 변화시키는 경우(큰 비명 소리와 같은 경우), 단순한 "솔로 우선" 방식이 잘 작동합니다.
   • 하지만 결함이 미묘하여 센서 간의 기묘한 관계(속삭임과 같은 경우)로만 나타나는 경우, "스포트라이트가 있는 믹스 우선" 방식이 필수적입니다. 이 방식만이 그 속삭임을 잡아낼 수 있습니다.

핵심 요약

이 논문은 거대하고 복잡한 기계의 결함을 탐지할 때, 데이터 자체만큼이나 데이터를 어떻게 구성하느냐가 중요하다는 것을 보여줍니다.

개별 센서를 듣는 것과 그룹으로서 비교하는 것 사이를 유연하게 전환할 수 있는 가벼운 컴퓨터 모델을 구축함으로써, 연구진은 기존의 최첨단 방식보다 더 나은 예측 능력을 갖춘 시스템을 만들었습니다. 이는 SNS(그리고 잠재적으로 다른 유사한 기계들)가 예상치 못한 중단 없이 더 오래 가동될 수 있음을 의미하며, 시간과 비용을 절약해 줍니다.

기술 요약

기술 요약: SNS 내 HVCM을 위한 경량 CNN 기반 이상 탐지

문제 정의

고전력 펄스 컨버터의 비계획적 트립(unscheduled trips)은 대규모 가속기 시설에서 다운타임의 주요 원인입니다. 스패레이션 중성자 소스(SNS)에서 고전압 컨버터 변조기(HVCM)는 빔 시간 손실의 두 번째로 큰 기여 요인입니다. 각 HVCM 펄스는 14개의 센서 채널(전류, 전압, 자기 선속 및 미분값)을 통해 기록되며, 이들 간의 상호 작적인 작용은 시스템의 작동 상태를 인코딩합니다.

핵심 과제는 결함 전조(fault precursors)의 이질성에 있습니다. 결함은 균일하게 나타나지 않습니다. 어떤 결함은 개별 신호의 시간적 구조를 변화시키는 반면, 다른 결함은 채널 간의 통계적 의존성을 변화시킵니다. 기존의 딥러닝 접근 방식은 종종 첫 번째 레이어부터 시간적 연산과 교차 채널 연산을 결합하는 표준 컨볼루션 파이프라인을 사용합니다. 이러한 설계는 채널 독립성을 표현하거나 구조화된 채널 간 상호작용을 나타내는 명시적인 메커니즘이 부족하며, 이는 예비 결함 조건 중에 변화하는 레짐 의존적(regime-dependent) 채널 상관관계를 모델이 적응하는 데 방해가 될 수 있습니다. 또한, 데이터는 심각한 클래스 불균형(결함은 드묾)과 4개의 SNS 서브시스템(RFQ, DTL, CCL, SCL) 간의 다양한 클래스 분리도를 특징으로 합니다.

방법론

저자들은 시간적 필터링(temporal filtering)과 교차 채널 혼합(cross-channel mixing) 단계를 별도의 뎁스와이즈(depthwise) 및 포인트와이즈(pointwise) 연산으로 분해하는, HVCM의 이상 탐지를 위한 인수 분해된 유도 편향(factorized inductive bias)을 제안합니다. 모바일 비전에서 사용되는 뎁스와이즈 분리 컨볼루션(depthwise-separable convolutions)에서 영감을 얻어, 본 연구는 세 가지 경량 CNN 변형 모델을 구현하고 이를 표준 조인트 믹싱(joint-mixing) 베이스라인과 비교합니다.

1. DS (Depthwise-First): 뎁스와이즈 컨볼루션을 사용하여 먼저 채널별 시간적 특징을 추출한 후, 포인트와이즈 컨볼루션을 통해 교차 채널 혼합을 수행합니다. 이 순서는 차별적인 신호가 개별 채널 트레이스의 형태(shape)에 주로 존재한다는 가정에 기초합니다.
2. PW-First (Pointwise-First): 이 순서를 역전시켜, 포인트와이즈 컨볼루션을 통해 채널을 먼저 혼합(원시 신호의 선형 결합 학습)한 후, 채널별 시간적 필터링을 적용합니다. 이는 차별적 신호가 채널 간 관계에 존재할 때를 목표로 합니다.
3. PW-First+SE: PW-First에 혼합 단계와 필터링 단계 사이에 삽슐된 스퀴즈-앤-익사이테이션(Squeeze-and-Excitation, SE) 게이트를 추가하여 보강합니다. 이를 통해 펄스별로 혼합된 채널에 대한 적응적 재가중치(adaptive re-weighting)를 부여함으로써, 네트워크가 입력 펄스에 따라 특정 채널 조합에 대한 의존도를 동적으로 전환할 수 있게 합니다.

모든 변형 모델은 동일한 백본(너비 32, 64, 128, 64인 4개의 컨볼루션 블록), 분류 헤드 및 훈련 프로토콜을 공유합니다. 모델은 공개 HVCM 데이터셋에서 가중치 적용 이진 교차 엔트로피 손실(weighted binary cross-entropy loss)을 사용하여 클래스 불균형 문제를 해결하며 지도 학습 방식으로 훈련됩니다.

주요 기여

• 아키텍처 인수 분해: 본 논문은 컨볼루션 연산을 시간적 성분과 채널 혼합 성분으로 명시적으로 분해하는 세 가지 경량 CNN 변형(DS, PW-First, PW-First+SE)을 제별하고, 이를 표준 조인트 믹싱 베이스라인과 대조하여 평가합니다.
• 포괄적 벤치마킹: 제안된 변형 모델들을 4개 모든 SNS 서브시스템에 대해 기존의 HVCM 특화 모델(지도 학습 CNN+LSTM 포함), 비지도 학습 오토인코더 및 다중 모듈 CVAE, 그리고 전통적인 머신러닝 베이스라인(KNN, RF, SVM)과 벤치마킹합니다.
• 어블레이션 및 민감도 분석: 어떤 입력 채널이 성능을 주도하는지, 그리고 서로 다른 아키텍처가 물리적 센서 그룹에 대한 의존성을 어떻게 분배하는지 식별하기 위해 광범위한 어블레이션 연구(센서 그룹 및 채널별 제로-아웃)를 포함합니다.
• 결함 유형별 통찰: 성능 변화를 결함 전조의 특성과 연결하여, 개별 채널의 진폭 변화로 나타나는 결함과 공동 채널 표현이 필요한 결함을 구분합니다.

결과

공개 HVCM 데이터셋의 4개 서브시스템에서 평가한 결과, PW-First+SE 변형 모델이 통합 AUC-PR 0.816, AUC-ROC 0.934로 가장 우수한 전체 성능을 달 기록했습니다.

• 성능 순위: 변형 모델 간에 단조로운 개선이 관찰되었습니다: Standard < DS < PW-First < PW-First+SE. 가장 큰 이득은 소수 클래스에 민감한 지표(Recall, G-Mean, AUC-PR)에서 나타났습니다.
• 서브시스템별 차이: PW-First+SE는 RFQ, DTL, CCL에서 다른 변형 모델보다 우수한 성능을 보였습니다. SCL 서브시스템에서는 PW-First가 PW-First+SE를 근소하게 앞섰는데, 이는 적응형 게이팅 메커니즘이 채널 특이적 단서가 약할 때(CCL의 경우처럼) 여러 신호로부터 증거를 결합해야 하는 상황에서 가장 유용함을 시사합니다.
• 최신 기술(SOTA)과의 비교: 제안된 방법은 모든 서브시스템에서 가장 강력한 공개 지도 학습 베이스라인(Zhou 등의 CNN+LSTM)보다 F1, Recall, G-Mean 측면에서 더 나은 성능을 보였습니다. 또한 가장 어려운 결함 유형(FLUX, Driver, IGBT, SCR)에 대해 비지도 학습 베이스라인(RAEs, CVAE)보다 높은 AUC-ROC를 달성했습니다.
• 채널 중요도: 어블레이션 연구를 통해 C-Flux, Mod-V, CB-I가 세 가지 주요 입력 채널임을 확인했습니다. DV/DT 채널은 대체로 중복되는 것으로 나타났습니다. DS 변형 모델은 Flux 그룹에 더 많이 의존한 반면, 조인트 믹싱 변형 모델은 Power 그룹에 더 많이 의존했습니다.

의의 및 주장

본 논문은 시간적 필터링과 교차 채널 혼합의 순서가 중립적인 설계 결정이 아니라, 다채널 물리 센서 데이터를 위한 핵심적인 아키텍처 선택이라고 주장합니다. 결과는 다음을 시사합니다:

1. 유도 편향의 중요성: 시간적 연산과 채널 연산을 명시적으로 분리하면 모델이 레짐 의존적 상호작용을 더 잘 포착할 수 있습니다.
2. 적응형 게이팅의 유용성: PW-First+SE의 SE 블록은 결함 전조가 미묘하여 단일 채널의 강한 진폭 변화에 의존하기보다 여러 채널 간의 정보 통합이 필요할 때 상당한 이점을 제공합니다.
3. 지도 학습 vs 비지도 학습: 여기서 사용된 지도 학습 기반의 조인트 채널 접근 방식은, 특히 CVAE(단일 채널 재구성 오차에 의존하는 방식)가 어려움을 겪는 결함 유형에 대해 비지도 학습 재구성 방식보다 경쟁력 있거나 더 우수한 결과를 달성합니다.

저자들은 제안된 경량 CNN이 HVCM 이상 탐지를 위한 견고한 솔루션을 제공하지만, 향후 연구에서는 펄스 궤적에 조건화된 공간/시간적 어텐션 메커니즘이나 모듈레이터의 물리적 배선 토폴로지를 인코딩하는 그래프 기반 아키텍처를 탐구할 수 있다고 결론짓습니다.