Robustness Evaluation of Machine Learning Models for Fault Classification and Localization In Power System Protection

전력망을 거대하고 북적이는 전기의 도시라고 상상해 보세요. 수년 동안 "교통 경찰"(보호 시스템)은 단순한 규칙 책을 사용해 왔습니다. 빛이 특정 방식으로 깜빡이면 선을 차단하는 식이었죠. 하지만 이제 도시는 변하고 있습니다. 태양광 패널과 풍력 터빈이 곳곳에 생겨나면서 전기의 흐름이 거칠고 예측 불가능해졌습니다. 기존의 규칙 책은 혼란에 빠지고 있습니다.

여기에 머신러닝(ML)이 등장합니다. 이는 도시 전체를 관찰하며 "아, 북쪽 구역에 단락(short circuit)이 발생했군!"이라고 말할 수 있는, 매우 똑똑하고 데이터에 굶주린 탐정입니다. 하지만 여기에는 함정이 있습니다. 현실 세계의 탐정들은 항상 완벽한 단서를 얻지는 못합니다. 때로는 무전기가 지지직거리기도 하고, 센서가 고장 나기도 하며, 상황의 몇 초를 놓치기도 합니다.

이 논문은 결정적인 질문을 던집니다. 만약 우리 AI 탐정이 감각 중 일부를 잃는다면, 여전히 범죄를 해결할 수 있을까요, 아니면 패닉에 빠질까요?

탐정의 두 가지 임무

연구진은 고도의 기술이 집약된 시뮬레이션(전력망을 구현한 매우 정확한 비디오 게임)을 사용하여 AI 모델을 두 가지 특정 작업에 대해 테스트했습니다.

1. 고장 분류 (Fault Classification, FC): 어떤 종류의 문제가 발생하고 있는지 식별하는 것 (예: "단일 전선이 지면에 닿은 것인가, 아니면 세 선 모두 닿은 것인가?").
2. 고장 위치 추적 (Fault Localization, FL): 전선 상의 정확히 어느 지점에서 문제가 발생하고 있는지 찾아내는 것.

"고장 난 센서" 실험

연구팀은 단순히 AI가 강인하기를 바란 것이 아니라, 일부러 고장을 일으켜 AI가 고통을 어떻게 처리하는지 확인했습니다. 그들은 세 가지 유형의 재난을 시뮬레이션했습니다.

• 감각 상실: 만약 AI가 전압을 볼 수 없다면 어떻게 될까요? 전류를 볼 수 없다면요? 혹은 단 하나의 특정 상(phase, 예를 들어 'A' 채널)만 잃어버린다면 어떨까요?
• 슬로우 모션: 만약 데이터가 선명하고 빠른 스트림 대신, 버퍼링이 걸리는 비디오처럼 느리게 들어온다면 어떨까요?
• 무전기 블랙아웃: 만약 제어 센터와의 연결이 몇 밀리초 동안 끊어진다면 어떨까요?

대반전: "유형" vs "위치"

여기서 가장 놀라운 이야기가 나옵니다. AI 탐정은 고장의 유형을 식별할 때는 카멜레온 같지만, 위치를 찾는 데 있어서는 취약합니다.

1. "무엇"은 강인하다 (고장 분류)
연구진이 전압 데이터를 숨기거나 전류 데이터를 숨겼을 때도, "이것은 단락이다!"라고 말하는 AI의 능력은 거의 흔들리지 않았습니다. AI는 0.99라는 점수(1.0이 완벽)로 매우 견고한 상태를 유지했습니다. 심지어 전기의 한 상(phase) 전체를 잃어버려도, 점수는 약 0.85~0.87 정도로 약간 하락했을 뿐입니다.

• 핵olog: AI는 단서의 절반을 잃더라도 고장의 "지문"을 인식하는 데 탁월합니다. 이는 마치 가사가 잘려 나가더라도 비트만으로 노래를 알아차리는 것과 같습니다.

2. "어디"는 민감하다 (고장 위치 추적)
하지만 정확히 어디에서 고장이 났는지 찾아내는 문제에 있어서 AI는 눈을 크게 뜨고 있어야 했습니다.

• 만약 전류 데이터를 숨기면, 위치를 찾는 오차는 71% 급증했습니다 (평균 오차 7.80에서 13.36으로).
• 만약 전압 데이터를 숨기면, 오차는 163% 폭발했습니다 ( 20.56까지 치솟았습니다).
• 핵심 요약: 전압은 이 AI에게 GPS와 같습니다. 전압 없이는 탐정이 어둠 속을 헤매게 됩니다. 논문은 AI가 전압 없이도 문제의 유형은 추측할 수 있지만, 문제가 어디에 있는지 알기 위해서는 반드시 전압이 필요하다고 제안합니다.

"슬로우 모션" 테스트

연구팀은 또한 데이터 스트림을 6,400 Hz 대신 100 Hz로 보는 것처럼 느리게 만들었습니다.

• "무엇"에 대하여: AI는 속도가 100 Hz까지 떨어지기 전까지는 별로 신경 쓰지 않았습니다. 400 Hz에서도 여전히 챔피언이었습니다.
• "어디"에 대하여: AI는 더 빨리 비틀거리기 시작했습니다. 800 Hz에서는 괜찮았지만, 200 Hz에 도달하자 오차가 눈에 띄게 커졌습니다.
• 핵olog: 무슨 일이 일어났는지 알기 위해 초고속 카메라가 필요한 것은 아니지만, 정확히 어디에서 일어났는지 알기 위해서는 빠른 프레임 레이트가 필요합니다.

"무전기 블랙아웃" 테스트

마지막으로, 연구팀은 AI가 몇 밀리초(5~40 ms) 동안 연결을 잃는 상황을 시뮬레이션했습니다.

• 결과: AI는 믿기 힘들 정도로 회복력이 좋았습니다. 20 ms 이하의 데이터 손실은 성능에 아무런 영향을 주지 않았습니다. 사실, 아주 짧은 순간 동안 위치 오차가 오히려 약간 개선되기도 했는데 (7.80에서 7.48로), 저자들은 이것이 마법 같은 기술이 아니라 시뮬레이션상의 운 좋은 결과였을 가능성이 높다고 언급했습니다. 블랙아웃이 40 ms에 달했을 때 비로소 오차가 다시 상승하기 시작했습니다.

이것이 미래에 의미하는 바

논문은 우리가 단순히 아무 AI나 전력망에 던져놓고 행운을 빌어서는 안 된다고 결론짓습니다. 만약 우리가 이 시스템들을 안전하게 만들고 싶다면:

• 전압이 왕이다: AI가 항상 전압 데이터를 받을 수 있도록 보장해야 합니다. 전압 센서가 고장 나면 "위치"를 찾는 부분이 무너집니다.
• 중복성이 중요하다: 한 상(A, B 또는 C)을 잃는 것이 성능에 해를 끼치므로, 세 개의 상이 모두 그리드를 감시하도록 해야 합니다.
• 속도가 중요하다: 모든 것을 위해 가능한 가장 빠른 데이터가 필요한 것은 아니지만, 고장을 찾는 데 있어서는 최소 800 Hz가 필요합니다.

저자들은 이 결과가 특정 그리드 설정을 바탕으로 한 시뮬레이션에서 나온 것임을 주의 깊게 밝히고 있습니다. 아직 실제 물리적인 전력망에서 테스트를 거치지는 않았습니다. 하지만, 만약 이 비디오 게임의 결과가 현실 세계에서도 유효하다면, 이는 엔지니어들에게 명확한 청사진을 제공합니다: 데이터가 누락될 상황을 대비한 AI를 구축하되, 전압 센서는 절대 놓치지 마십시오.