Byzantine-Resilient Federated Multi-Agent Optimization Framework for Cyber-Secure Interconnected Microgrids

기술 요약: 사이버 보안이 강화된 상호 연결형 마이크로그리드를 위한 BR-FedMAPPO

1. 문제 정의

배전망의 급격한 디지털화는 상호 연결된 마이크로그리드(MG) 클러스터를 은밀한 허위 데이터 주입 공격(S-FDIA)에 취약한 복잡한 사이버-물리 시스템으로 변화시켰습니다. 무작위 노이즈와 달리, 이러한 공격은 잔차 테스트를 트리거하지 않고 상태 추정을 조작함으로써 기존의 불량 데이터 검출기(BDD)를 우회하도록 정교하게 설계되었습니다. 이러한 위협은 상호 연결된 MG 환경에서 더욱 심화되는데, 한 유닛이 침해될 경우 타이라인(tie-line)과 공유 제어 알고리즘을 통해 오염된 측정값이 전파될 수 있기 때문입니다.

기존의 방어 체계는 세 가지 주요 한계점에 직면해 있습니다:

• 중앙 집중식 제어: 전통적인 이동 표적 방어(MTD) 전략은 종종 중앙 집중식 조율에 의존하며, 이는 다수 소유자 간의 프라이버시 제약 조건을 위반합니다.
• 정적 방어: 고전적인 탐지 기법은 역사적 데이터를 기반으로 대리 모델(surrogate model)을 학습하여 딥러닝 탐지기를 우회하려는 공격자들에 대해 불충분합니다.
• 연합 학습의 취약성: 연합 학습(FL)은 프라이버시를 보존하는 협업을 제공하지만, 표준 집계 규칙(예: Federated Averaging)은 단일 침해된 참여자가 전체 정책을 망가뜨릴 수 있는 비잔틴 결함(Byzantine faults)에 취약합니다. 또한, 현재의 연합 다중 에이전트 강화 학습(MARL) 접근 방식은 종종 MG 간의 물리적 결합을 무시하며, 장치 배치에 관한 구조적 프라이버시나 적응형 아이랜딩(islanding) 메커니즘이 부족합니다.

2. 방법론: BR-FedMAPPO

본 논문은 비잔틴 탄력적 연합 다중 에이전트 근사 정책 최적화(BR-FedMAPPO) 프레임워크를 제안합니다. 이 시스템은 각 MG가 로컬 Actor-Critic 에이전트를 호스팅하는 부분 관측 가능한 마르코프 게임(partially observable Markov game)으로 협력적 방어 문제를 모델링합니다.

핵심 아키텍처 구성 요소:

• 3중 표면 이동 표적 방어(MTD): 공격 표면을 동적으로 변경하기 위해 액션 공간을 세 가지 물리적 제어 표면으로 분할합니다:
  1. 리액턴스 제어(Reactance Control): D-FACTS 선로의 리액턴스를 섭동시켜 측정 자코비안(Jacobian)을 변화시킴으로써, 미리 계산된 공격 벡터를 무효화합니다.
  2. 저장 장치 디스패치(Storage Dispatch): 배터리 에너지 저장 장치(BES)의 주입을 재지정하여 전력 주입 시그니처를 변경합니다.
  3. MG 간 교환(Inter-MG Exchange): 타이라인 전력 교환을 재구성하여 준정적(quasi-static) 공격자 모델을 교란합니다.
  • 참고: 액션 벡터에는 계단식 히스테리시스 규칙을 통해 바이너리 격리 상태를 트리거하는 연속적인 아이랜딩 신호($\alpha_{iso}$)가 포함되어 연쇄 고장을 방지합니다.
• 구조적 프라이버시를 갖춘 연합 아키텍처:
  • 공유 인코더: 모든 MG에 걸쳐 글로벌 인코더($\Phi$)를 연합하여 그리드 상태의 공통 표현을 학습합니다.
  • 프라이빗 헤드(Private Heads): 각 MG는 개별적인 프라이빗 Actor 및 Critic 헤드($\psi_i$)를 유지합니다. 이 설계는 어떤 MG도 자신의 특정 D-FACTS 선로, BES 유닛 또는 타이라인 용량의 카디널리티, 위치 또는 구성을 노출하지 않도록 보장하여 구조적 프라이버시를 유지합니다.
• 비잔틴 탄력적 집계:
  • 서버는 2단계 강건 집계 규칙을 사용합니다.
  • 1단계: 극단적인 이상치를 제거하기 위한 코디네이트 단위의 $\beta$-절단 평균(trimmed-mean) 필터링을 수행합니다.
  • 2단계: 새로운 보상 가중 집계(Reward-Weighted Aggregation) 계수($w_i$)를 적용합니다. 이 가중치는 클라이언트의 에피소드 보상과 F1-score 및 허위 양성률(FPR)을 결합한 탐지 품질 점수($\eta_{q,i}$)를 기반으로 계산됩니다. 과도한 허위 알람을 생성하는 클라이언트는 자동으로 가중치가 낮아져 글로벌 모델을 오염시키는 것을 방지합니다.
• 차분 프라이버시(Differential Privacy, DP): 프라이버시를 추가로 보호하기 위해, 전송 전 인코더 업데이트에 $\ell_2$ 노름으로 클리핑된 가우시안 노이즈를 추가합니다.
• 적응형 아이랜딩(Adaptive Islanding): 임계 침해가 감지되면(다중 통계 투표 탐지기를 통해), 로컬 에이전트는 MG를 격리합니다. 히스테리시스 메커니즘은 급격한 스위칭 진동을 방지하기 위해 최소 유지 시간($T_{iso,min}$)을 강제하며, 국부적인 전력 균형을 유지하기 위해 비례 부하 차단(load shedding)을 적용합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

1. 비잔틴 탄력적 프레임워크: 3중 표면 MTD(리액턴스, 저장, 교환)를 적응형 아이랜딩과 통합하여 분산형 MG 클러스터에 특화된 통합 프레임워크를 제시합니다.
2. 프라이버시를 갖춘 연합 아키텍처: 로컬 방어 장치의 배치를 노출하지 않으면서도 협력적 학습을 가능하게 하는 공유 인코더/프라이빗 헤드 설계를 제공합니다.
3. 보상 가중 집계 규칙: 허위 알람을 발생시키거나 침해된 행동을 보이는 클라이언트에 페널티를 부여하는 새로운 집계 메커니즘을 도입하여, 표준 중앙값(median) 또는 절단 평균(trimmed-mean) 필터보다 우수한 모델 포이즈닝(poisoning) 저항성을 제공합니다.
4. 자율 적응형 격리: 다중 통계 탐지기와 히스테리시스 제어에 의해 관리되는 지능형 아이랜딩 메커니즘을 통해, 중앙 집중식 명령 없이도 위협을 격리합니다.

4. 실험 결과

프레임워크는 두 가지 테스트 시스템(IEEE 30-bus MG 4개 클러스터 및 IEEE 118-bus MG 4개 클러스터)에서 평가되었습니다.

• 연합 학습 vs. 분산형: 연합 방식은 분산형 베이스라인에 비해 평균 재현율(recall)을 118-bus에서 1.33%p, 30-bus에서 0.61%p 향상시켰습니다. 결정적으로, 학습 경험이 없는 MG에 적용했을 때 FL 정책은 재현율 저하가 0.891.61%p에 불과했던 반면, 분산형 정책은 1.175.36%p의 훨씬 높은 저하를 보여 강력한 교차 MG 일반화 성능을 입증했습니다.
• 비잔틴 탄력성: 심각한 포이즈닝 조건(예: 베이스라인의 130배 편차를 가진 스케일드 가우시안 공격) 하에서, 표준 집계 방식(FedAvg, Krum)은 실패하거나 막대한 오류를 겪었습니다. 제안된 보상 가중 규칙은 집계 오류를 98.62% 감소시켰습니다.
• 허위 양성 제어: 표준 강건 필터(Trimmed Mean, Median)는 참 양성(True Positives)을 극대화하기 위해 공격적으로 작동하여 허위 양성률(FPR)을 높였습니다. 반면, 보상 가중 규칙은 시스템 안정성을 우선시하여 허위 알람을 효과적으로 억제했습니다(예: 118-bus 시스템에서 Median 방식의 914개 대비 520개의 FP 발생).
• 공격 완화: 프레임워크는 모든 MG에서 은밀한 FDI 공격에 대해 최소 **95%의 버스트 재현율(burst recall)**을 달ch했습니다. MTD 메커니즘은 사전 계산된 공격 벡터를 유효한 상태 공간 밖으로 밀어내는 데 성공했습니다.
• 아이랜딩 동작: 적응형 아이랜딩은 단순한 반사 작용이 아닌 상관 제어 액션으로 작동했습니다. 118-bus 시스템에서 아이랜딩 이벤트의 77.8%가 실제 공격과 일치했습니다. 히스테리시스 메커니즘은 급격한 스위칭을 성공적으로 방지했으며, 인접 MG가 함께 아이랜딩되는 경우는 20.3%에 그쳐 연쇄 고장을 방지했습니다.
• 비용 영향: 프레임워크는 비연합 베이스라인 대비 운영 비용 증가를 30-bus에서 최대 39.33%, 118-bus에서 12.34%까지 줄였습니다. 방어적 격리 활성화로 인한 인접 네트워크의 총 운영 비용 증가는 1.66%로 미미했습니다.

5. 의의 및 주장

본 논문은 BR-FedMAPPO가 구조적 프라이버시, 비잔틴 탄력성, 그리고 다중 표면 물리적 방어를 단일 분산 프레임워크 내에 통합함으로써 사이버-물리 보안의 핵심적 공백을 해결한다고 주장합니다.

저자들은 본 프레임워크가 다음과 같은 이유로 중요하다고 강조합니다:

• 물리적 공격 표면(자코비안 행렬)과 제어 토폴로지를 동적으로 변경함으로써 반응적 탐지를 넘어 선제적 방어로 나아갑니다.
• 다수 소유자 MG의 프라이버시 역설을 해결하여, 민감한 토폴로지나 장치 구성을 노출하지 않고도 협력적 학습을 가능하게 합니다.
• 연합 집계에 행동 피드백 루프를 도입하여, 서버가 실시간 탐지 품질에 따라 클라이언트의 영향력을 동적으로 조절함으로써 복잡한 암호화 오버헤드 없이도 악의적인 행위자를 효과적으로 무력화합니다.
• 적응형 아이랜딩이 히스테리시스 메커니즘이 제공된다면, 파괴적인 연쇄 고장을 일으키지 않으면서 사이버-물리적 위협을 억제하는 협력적 제어 액션으로서 학습될 수 있음을 입증합니다.

연구는 결론적으로, 본 프레임워크가 실제 공격 중에 아이랜딩 활동을 증가시키지만(필요한 방어적 지출), 탐지 정밀도와 운영 안정성 사이의 높은 평형을 유지함으로써 기존의 정적 방어로는 탐지할 수 없는 은밀한 취약성을 효과적으로 무력화한다고 밝히고 있습니다.