Federated Causal Representation Learning in State-Space Systems for Decentralized Counterfactual Reasoning

1. 문제 정의 (Problem Statement)

• 배경: 석유 정제소, 수처리 네트워크, 분산 공정 플랜트와 같은 복잡한 산업 시스템은 물리적 프로세스와 제어 입력을 통해 긴밀하게 결합된 여러 자산 (클라이언트) 으로 구성됩니다. 한 클라이언트의 제어 변경 (예: 펌프 조정) 이 다른 클라이언트의 성능과 안전에 인과적으로 영향을 미칠 수 있습니다.
• 핵심 질문: "다른 클라이언트의 제어 입력이 다르게 변경되었다면, 내 클라이언트의 출력은 어떻게 변했을까?"라는 반사실 (Counterfactual) 추론이 필요합니다.
• 주요 장애물:
  1. 데이터 프라이버시 및 고차원성: 각 클라이언트의 데이터는 고차원 센서 데이터이며, 조직 간 공유가 불가능하거나 비용이 많이 듭니다.
  2. 전통적 모델의 한계: 기존 그랜저 인과성 (Granger Causality) 은 예측에 초점을 맞추어 개입 (Intervention) 에 대한 반사실 질문을 답할 수 없으며, 내재적 동역학과 제어 입력의 영향을 혼동합니다.
  3. 폐쇄적 로컬 모델: 각 클라이언트는 자체적으로 훈련된 독점 (Proprietary) 모델을 보유하고 있으며, 이를 변경하거나 원시 데이터를 중앙 서버에 전송할 수 없습니다.

2. 제안 방법론 (Methodology)

저자들은 선형 시불변 (LTI) 상태 공간 시스템을 기반으로 한 연방 학습 (Federated Learning) 프레임워크를 제안합니다. 이 프레임워크는 원시 데이터를 이동시키지 않으면서 클라이언트 간의 인과적 상호의존성을 학습하고 반사실 추론을 가능하게 합니다.

핵심 아키텍처 및 프로세스

1. 클라이언트 측 (Client Side):

   • 독점 모델 유지: 각 클라이언트는 자신의 로컬 상태 전이 행렬 ($A_{mm}$), 입력 행렬 ($B_{mm}$), 출력 행렬 ($C_{mm}$) 을 기반으로 한 기존 칼만 필터 (Kalman Filter) 를 유지합니다.
   • 증강 모델 (Augmented Model): 독점 모델의 예측 오차를 보정하기 위해 학습 가능한 매개변수 ($\theta_m, \phi_m$) 를 추가합니다.
     • $\theta_m$: 측정값 ($y_t$) 을 통해 상태 추정치를 보정.
     • $\phi_m$: 외부 클라이언트들의 입력 영향 (Exogenous effects) 을 포착하는 은닉 변수.
   • 데이터 전송: 고차원 원시 데이터 ($y_t$) 대신 저차원의 잠재 상태 추정치 ($\hat{h}_t$) 와 제어 입력 ($u_t$) 만 서버로 전송합니다.

2. 서버 측 (Server Side):

   • 글로벌 구조 추정: 서버는 모든 클라이언트로부터 받은 잠재 상태와 입력을 기반으로 클라이언트 간 상호작용을 나타내는 오프-대각선 행렬 ($A_{mn}, B_{mn}, n \neq m$) 을 추정합니다.
   • 손실 함수 및 분해 (Disentanglement): 서버는 클라이언트 간의 내재적 동역학 ($A_{mn}$) 과 외생적 입력 효과 ($B_{mn}$) 를 분리하기 위해 특수한 페널티 항이 포함된 손실 함수를 최소화합니다.
   • 그라디언트 피드백: 서버는 원시 데이터를 보내지 않고, 추정된 구조에 기반한 그라디언트만 클라이언트에 전송하여 클라이언트의 로컬 매개변수를 업데이트하도록 유도합니다.

3. 반사실 추론 (Counterfactual Reasoning):

   • Pearl 의 Abduction-Action-Prediction (AAP) 프레임워크를 적용합니다.
   • 서버: 특정 클라이언트의 입력 변경이 다른 클라이언트의 상태 ($h_t$) 에 미치는 영향을 계산합니다.
   • 클라이언트: 다른 클라이언트들의 입력 변화가 자신의 출력 ($y_t$) 에 미치는 평균 치료 효과 (ATE) 를 계산합니다.
   • 핵심 식: $ATE = C_{mm} B_{mn} (u_1 - u_0)$로, $B_{mn}$ 행렬을 통해 인과적 영향을 정량화합니다.

3. 주요 기여 (Key Contributions)

1. 분산형 반사실 추론의 최초 구현: 원시 데이터 공유 없이, 각 클라이언트가 독점 모델을 유지한 채로 다른 클라이언트의 개입에 대한 반사실 시나리오를 추론할 수 있는 첫 번째 프레임워크를 제안했습니다.
2. 인과적 표현 학습 (Causal Representation Learning):
   • Pearl 의 AAP 프레임워크를 연방 환경에 적용하여 평균 치료 효과 (ATE) 를 공식적으로 유도했습니다.
   • 서버가 명시적으로 상태 전이 및 입력 행렬을 추정하고, 클라이언트가 암시적 영향을 학습하도록 하여, 고차원 데이터를 이동시키지 않고 인과 구조를 학습합니다.
3. 분리 (Disentanglement) 보장:
   • 반복적 최적화 기법을 통해 클라이언트 간 내재적 동역학 ($A_{mn}$) 과 외생적 입력 효과 ($B_{mn}$) 를 수학적으로 분리 (Disentangle) 하는 것을 증명했습니다. 이는 반사실 추론의 핵심 전제 조건입니다.
4. 수렴성 및 프라이버시 보장:
   • 제안된 분산 프레임워크가 모든 고차원 데이터에 접근할 수 있는 중앙 집중식 오라클 (Centralized Oracle) 로 수렴함을 증명했습니다.
   • 통신되는 양에 가우시안 노이즈를 추가하여 차분 프라이버시 (Differential Privacy) 를 보장하고, 민감도 분석을 통해 프라이버시 보호 메커니즘을 제시했습니다.

4. 실험 결과 (Results)

• 합성 데이터 (Synthetic Data):
  • 성능: 증강된 클라이언트 모델 (ACM) 은 기존 독점 모델 (PCM) 보다 예측 오차가 현저히 낮았으며, 중앙 집중식 오라클과 유사한 성능을 보였습니다.
  • 분리 검증: 서버와 클라이언트 모두에서 $A_{mn}$과 $B_{mn}$의 분리가 성공적으로 이루어졌음을 확인했습니다.
  • 전달 함수 (Transfer Function): 추정된 시스템의 극점 (Poles) 이 단위 원 내부에 위치하여 안정성을 유지하며, 주파수 응답 특성이 실제 시스템과 유사함을 보였습니다.
• 실제 산업 데이터 (Real-world Datasets):
  • HAI (Steam Turbine) 및 SWaT (Water Treatment) 데이터셋에서 실험을 수행했습니다.
  • 실제 산업 제어 시스템에서도 프레임워크가 안정적으로 수렴하며, 클라이언트 간 상호의존성을 효과적으로 포착하고 반사실 추론이 가능함을 입증했습니다.
• 확장성 (Scalability): 클라이언트 수와 측정 차원이 증가하더라도 시스템이 확장 가능하며, 분해 오차는 낮게 유지되었습니다.

5. 의의 및 중요성 (Significance)

• 산업 안전 및 의사결정: 분산된 산업 시스템에서 발생할 수 있는 연쇄 고장 (Cascading failures) 을 예방하고, "만약 다른 설비가 다르게 작동했다면?"이라는 시나리오를 사전에 분석하여 적극적인 개입 계획 (Proactive intervention planning) 을 수립할 수 있게 합니다.
• 프라이버시와 효율성의 균형: 민감한 산업 데이터를 중앙에 모으지 않으면서도, 전 시스템의 인과적 구조를 파악할 수 있는 새로운 패러다임을 제시했습니다.
• 이론적 엄밀성: 단순한 상관관계 분석을 넘어, Pearl 의 인과 이론을 상태 공간 모델에 적용하고 연방 학습 환경에서 수렴성과 프라이버시를 수학적으로 증명했다는 점에서 학술적, 실용적 가치가 높습니다.

이 논문은 분산된 환경에서도 인과적 추론이 가능함을 보여주며, 차세대 지능형 산업 제어 시스템 (ICS) 및 사이버 - 물리 시스템 (CPS) 의 안전성 강화에 중요한 기여를 할 것으로 기대됩니다.