Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions

기술 요약: 이질적 시간 해상도 하의 스파이킹 신경망 연방 학습

문제 제기
연방 학습 (FL) 은 데이터 프라이버시를 보호하면서 탈중앙화된 엣지 장치 간에 협력적 모델 훈련을 가능하게 합니다. 그러나 시계열 응용 분야에서 엣지 장치는 종종 다양한 하드웨어 및 에너지 제약 하에 운영되어 서로 다른 시간 해상도 (샘플링 속도) 로 데이터를 수집합니다. 이러한 시간적 이질성은 근본적인 과제를 제기합니다: 한 시간 해상도의 데이터로부터 학습된 매개변수가 반드시 다른 해상도로 직접 이전되지는 않기 때문입니다. 결과적으로, 모델 매개변수를 단순하게 집계하는 표준 연방 평균화 (FedAvg) 는 서로 다른 시간 척도로 작동하는 모델들을 혼동하게 하여 전역 모델의 성능을 저하시킬 수 있으므로 비효율적이 됩니다. 기존 문헌은 데이터 분포 이질성 (예: 클래스 불균형) 과 비연방 스파이킹 신경망 (SNN) 의 시간 해상도 변화를 다루고 있지만, 상태 유지 심층 네트워크 및 SNN 을 위한 연방 설정 내에서 시간 해상도 불일치를 구체적으로 해결하는 데는 공백이 존재합니다.

방법론
저자들은 이질적인 시간 해상도에서 훈련된 모델을 집계 전에 정렬하도록 설계된 FedTA(시간 해상도 적응을 통한 연방 학습) 프레임워크를 제안합니다.

• 프레임워크 구조: FedTA 는 표준 FedAvg 루프에 적응 메커니즘을 통합합니다. 로컬 모델이 서버에서 집계되기 전에, 클라이언트별 시간 해상도 ($T_k$) 에서 중앙 서버 해상도 ($T_c$) 로 적응됩니다. 반대로, 업데이트된 전역 모델은 배포되기 전에 $T_c$ 에서 각 클라이언트의 로컬 해상도 $T_k$ 로 다시 적응됩니다.
• 적응 범위: 적응은 뉴런의 동적 매개변수($\phi$) 에만 적용됩니다 (예: 막 감쇠율, 상태 전이 행렬). 시냅스 가중치 ($W$) 와 정규화 통계량 ($\psi$) 은 이 과정에서 변경되지 않습니다.
• 뉴런 모델: 연구는 두 가지 뉴런 계열을 평가합니다:
  1. 누적 누출 방출 (LIF): 표준 SNN 모델.
  2. 선형 동역학 대각 상태 공간 모델 (LD-SSM): 선형 상태 전이를 가진 비스파이킹 기준선.
     각 계열에 대해 저자들은 동적 매개변수를 직접 훈련하는 표준 변형과 로컬 시간 해상도를 학습 가능한 매개변수 ($\Delta_{log}$) 로 명시적으로 매핑하기 위해 exp-log 재매개변수화를 사용하는 $\Delta$-변형을 비교합니다.
• 적응 알고리즘: 세 가지 특정 적응 방법이 통합됩니다:
  1. FedTA-Int (적분): 선형 SSM 이론에서 유도된 이 방법은 적분 변환 ($A_{r2} = A_{r1}^\rho$) 을 사용하여 매개변수를 적응시킵니다.
  2. FedTA-Eul (오일러): 선형 SSM 에서 유도된 1 차 근사 ($A_{r2} = I + \rho(A_{r1} - I)$).
  3. FedTA-$\Delta$: $\Delta$-변형을 위해 특별히 설계된 이 방법은 시간 해상도 비율 $\rho$에 대해 로그 시간 해상도 매개변수에 가산적 시프트를 적용합니다 ($\Delta_{log, r2} = \Delta_{log, r1} + \ln(\rho)$).

주요 기여

1. 새로운 프레임워크: 이 논문은 SNN 과 상태 유지 심층 네트워크의 시간 해상도 이질성을 명시적으로 다루는 최초의 연방 학습 프레임워크를 소개합니다.
2. 적응 전략: 클라이언트별 및 전역 시간 해상도 간의 격차를 해소하기 위해 세 가지 고유한 동역학 적응 방법 (적분, 오일러, $\Delta$-시프트) 을 제안하고 통합합니다.
3. 종합적 평가: 이 프레임워크는 두 가지 뉴로모픽 벤치마크 데이터셋 (SHD 및 DVS-Gesture) 에서 두 가지 클라이언트 시나리오 (해상도당 다양한 수의 클라이언트) 와 여러 뉴런 모델 구성을 통해 평가되었습니다.

결과

• 정확도 회복: 제안된 적응 방법들은 시간 불일치로 인해 손실된 정확도를 상당 부분 회복시킵니다. SHD 데이터셋에서 Standard-SSM 과 FedTA-Int의 조합은 모든 시나리오와 해상도에서 가장 높은 정확도를 달성했습니다. DVS-Gesture 데이터셋에서는 성능이 다양했는데, $\Delta$-LIF 와 FedAvg의 조합이 종종 최상의 결과를 보였으나, FedTA 변형들은 일반적으로 이질적인 환경에서 단순 FedAvg 보다 우수한 성과를 거두었습니다.
• 방법 비교:
  • 선형 동역학 (SSM) 의 경우, 오일러 방법은 덜 정확한 1 차 근사라는 이론적 기대와 일치하게 **적분 방법 (FedTA-Int)**이 오일러 방법보다 현저히 우수했습니다.
  • 비선형 동역학 (LIF) 의 경우, 적분 및 오일러 방법 모두 근사치로 작용했습니다. $\Delta$-변형들은 혼합된 결과를 보였으며, 목표 해상도 ($T_c$) 에 따라 FedAvg 와 비슷하거나 약간 낮은 성능을 보였습니다.
• 중앙 해상도 영향: 성능은 중앙 서버 해상도 ($T_c$) 가 가장 정밀한 클라이언트 해상도 ($T_c=1$) 나 중간 해상도 ($T_c=2$) 와 일치할 때 일반적으로 가장 높았으며, 이는 평균 불일치를 최소화했습니다.
• 계산 오버헤드: 적응 단계 (FedTA-Int, FedTA-Eul, FedTA-$\Delta$) 의 계산 비용은 기준 FedAvg 에 비해 무시할 수 있었습니다. 훈련 시간은 기준선의 한 표준 편차 이내로 유지되었습니다.
• 에너지 효율성: $\Delta$-LIF 와 FedAvg는 SSM 기반 모델에 비해 훨씬 낮은 에너지 소비와 빠른 훈련 시간을 달성하면서 높은 정확도를 제공하여 매력적인 절충안을 제시했습니다. 이는 SNN 의 희소하고 이진적인 특성을 활용했습니다.

의의 및 주장
이 논문은 FedTA 가 각 클라이언트가 로컬 시간 해상도에서 훈련하면서도 전역 모델과 호환되도록 하여, 연방 설정에서 시간 정렬 문제를 효과적으로 해결한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• FedTA-Int는 적응 방법의 가정이 모델 구조와 일치하므로 선형 상태 동역학을 가진 모델에 특히 효과적입니다.
• **LIF 기반 모델 (SNN)**은 다양한 설정에서 견고성을 보여주며, 에너지 효율성과 정확도 간의 우수한 절충안을 제공하여 자원 제약이 있는 엣지 장치에 매력적입니다.
• 이 프레임워크는 시간 이질성 하의 견고한 연방 학습을 향한 유망한 단계이지만, 저자들은 비선형 동역학 (예: LIF) 에 대한 적응 방법이 근사치임을 겸손하게 지적하며, 향후 연구는 비선형 뉴런 동역학에 맞춘 적응과 클래스 불균형과 같은 다른 형태의 데이터 이질성과의 상호작용을 탐구해야 한다고 덧붙였습니다.