기술 요약: MURMURA – 탈중앙화 연동 학습에서의 증거 기반 신뢰 인식 모델 개인화

1. 문제 제기

탈중앙화 연동 학습 (DFL) 은 중앙 조정자 없이 에지 장치 간에 협력적 모델 훈련을 가능하게 하여 단일 장애점에 대한 복원력을 제공합니다. 그러나 사용자 다양성, 센서 배치, 환경적 맥락으로 인해 로컬 데이터 분포가 크게 달라지는 통계적 이질성(비 IID 데이터) 으로 인해 근본적인 도전 과제가 발생합니다.

이러한 이질성은 긴장 관계를 조성합니다: 노드는 로컬 분포에 맞춤화된 모델이 필요하지만, 호환되지 않는 피어와의 단순한 협력은 성능을 저하시킬 수 있습니다. 기존 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 전역 모델 강제: 표준 방법은 종종 특정 노드에는 적합하지 않은 단일 전역 모델을 강요합니다.
2. 휴리스틱 피어 선택: 현재 개인화된 DFL 방법은 매개변수 거리, 그래디언트 노름과 같은 유사성 지표에 의존하는데, 이는 유해한 비유사성(호환되지 않는 데이터 분포) 과 유익한 다양성(고품질이지만 다른 데이터) 을 구분하지 못합니다. 또한, 표준 신경망은 예측이 어떻게 이루어졌는지 설명하지 않고 예측 결과만 출력하므로, 유사한 데이터를 본 적이 없는 모델 (호환되지 않는 피어) 과 본질적으로 어려운 데이터를 발견한 모델 (잠재적으로 가치 있는 피어) 을 구분하는 것이 불가능합니다.

2. 방법론: MURMURA 프레임워크

저자들은 신뢰 인식 모델 개인화를 가능하게 하기 위해 **증거 기반 딥러닝 **(EDL)을 활용하는 MURMURA 프레임워크를 제안합니다. 핵심 통찰은 인지적 불확실성(지식 부족으로 인한 불확실성) 이 직접적으로 피어 호환성을 나타낸다는 것입니다.

A. 증거 기반 불확실성 정량화

MURMURA 는 표준 소프트맥스 출력을 디리클레 기반 증거 모델로 대체합니다. 이러한 모델은 디리클레 분포를 매개화하는 증거 값을 출력하여 불확실성을 두 가지 명확한 유형으로 분해할 수 있게 합니다:

• 인지적 불확실성 ($u$): 데이터 분포에 대한 지식 부족을 측정합니다. 높은 인지적 불확실성은 모델이 훈련 중에 유사한 데이터를 본 적이 없음을 의미하며, 평가 노드와의 분포 불일치를 나타냅니다.
• 알레토릭 불확실성: 본질적인 데이터 모호성 (예: 노이즈가 있거나 과도기적인 센서 읽기) 을 측정합니다. 높은 알레토릭 불확실성은 반드시 호환 불가능함을 의미하지는 않습니다.

B. 신뢰 인식 집계 메커니즘

이 프레임워크는 노드가 교차 평가를 기반으로 협력할 피어를 자율적으로 결정하는 탈중앙화 훈련 프로토콜을 통해 작동합니다:

1. 교차 평가: 노드 $i$는 자신의 로컬 검증 데이터에서 피어 $j$의 모델을 평가합니다.
2. 호환성 점수화: 예측 정확도와, 결정적으로 평균 인지적 불확실성을 기반으로 신뢰 점수가 계산됩니다.
   • 피어 모델이 로컬 데이터에서 높은 인지적 불확실성을 보이면 호환되지 않는 것으로 간주되어 제외됩니다.
   • 불확실성이 낮으면 예측이 완벽했는지 여부와 관계없이 피어는 호환 가능한 것으로 간주됩니다 ("알지 못하는 데이터"와 "어려운 데이터"를 구분함).
3. 적응형 임계값: 신뢰 임계값은 정적이지 않습니다. 초기 훈련 라운드 (모든 모델이 불확실한 상태) 에는 관대하게 설정되었다가 모델이 수렴함에 따라 적응적으로 강화되어 피어의 조기 거부를 방지합니다.
4. 개인화된 집계: 노드는 신뢰 점수로 가중치를 부여하여 신뢰할 수 있는 피어로부터만 업데이트를 집계하면서 로컬 모델의 일부분을 유지합니다 (자기 가중치 매개변수로 제어됨). 임계값을 통과하는 피어가 없으면 노드는 로컬 모델을 유지하여 고립된 학습으로 우아하게 저하되도록 합니다.

C. 시스템 아키텍처

MURMURA 는 다양한 네트워크 토폴로지 (링, 완전 연결 등) 를 지원하는 모듈식 Python/PyTorch 프레임워크로 구현되었습니다. 네트워크 오케스트레이션과 노드 수준 의사 결정을 분리하여 토폴로지 효과와 독립적으로 개인화 전략을 체계적으로 평가할 수 있게 합니다. 디리클레 분할 및 자연 분할 (예: 대상 ID 기준) 을 통한 제어된 이질성 시뮬레이션을 지원합니다.

3. 주요 기여

1. 탈중앙화 개인화에서의 EDL 최초 통합: MURMURA 는 완전한 탈중앙화 환경에서 증거 기반 불확실성 정량화와 신뢰 인식 개인화를 결합한 최초의 프레임워크로, 비 IID 환경에서 노드가 선택적 협력을 통해 개인화된 모델을 유지할 수 있게 합니다.
2. 적응형 신뢰 인식 알고리즘: 저자들은 로컬 데이터에 대한 교차 평가를 통해 피어 호환성을 평가하고 훈련이 진행됨에 따라 강화되는 적응형 신뢰 임계값을 적용하는 집계 알고리즘을 개발했습니다.
3. 개방형 및 확장 가능한 프레임워크: MURMURA 는 여러 토폴로지, 기준 집계 방법, 다양한 이질성 수준 하의 체계적 평가를 지원하는 오픈 소스 프레임워크로 제공됩니다.
4. 계산 효율성: 이 접근 방식은 평가당 단일 순방향 통과로 불확실성을 계산하여 앙상블 방법이나 몬테카를로 드롭아웃의 무거운 계산 오버헤드를 피하면서도 포인트 추정치보다 풍부한 정보를 제공합니다.

4. 실험 결과

이 프레임워크는 UCI HAR, PAMAP2, PPG-DaLiA라는 세 가지 웨어러블 IoT 데이터셋에서 평가되었습니다.

• 이질성에 대한 강건성: 높은 이질성 (디리클레 $\alpha = 0.1$) 하에서 MURMURA 는 기준 방법들에 비해 성능 저하를 현저히 줄였습니다. IID 에서 비 IID 조건으로의 정확도 하락은 MURMURA 의 경우 **0.9%**에 불과한 반면, 표준 FedAvg 는 **19.3%**였습니다.
• 수렴 속도: MURMURA 는 피크 정확도에 도달하는 데 4.0 라운드가 소요되어 FedAvg(29.5 라운드) 대비 7.4 배 빠른 수렴을 달성했습니다. 이는 호환되지 않는 피어로부터의 노이즈가 있는 업데이트를 배제했기 때문입니다.
• 안정성: 이 프레임워크는 다양한 하이퍼파라미터 선택 (예: 자기 가중치, 신뢰 임계값) 에서 안정적인 정확도를 유지했으며, 대부분의 데이터셋에서 표준 편차가 1% 미만으로, 장치별 광범위한 튜닝 필요성을 줄였습니다.
• 분산 감소: MURMURA 는 FedAvg 대비 노드 간 평균 정확도가 높고 분산이 낮아, 개인화가 일부 노드를 희생하여 다른 노드를 개선하는 것이 아니라 모든 노드에 혜택을 준다는 것을 나타냅니다.

5. 중요성 및 주장

이 논문은 MURMURA 가 탈중앙화 이질 환경에서 호환성 인식 개인화를 위한 원칙적 기초로서 증거 기반 불확실성을 확립한다고 주장합니다.

• 호환 불가능성과 난이도 구분: 인지적 불확실성과 알레토릭 불확실성을 분리함으로써, 이 프레임워크는 "피어 호환성 문제"를 해결하여 노드가 진정으로 호환되지 않는 데이터 분포를 가진 피어와 도전적이지만 호환 가능한 데이터를 가진 피어를 구분할 수 있게 합니다.
• 자율적 의사 결정: 이는 중앙 감독이나 모델 품질과 분포적 차이를 혼동하는 휴리스틱 유사성 지표에 의존하지 않고, 완전한 탈중앙화 노드가 원칙적인 호환성 결정을 내릴 수 있게 합니다.
• 실용적 타당성: 결과는 증거 기반 신뢰 인식 집계가 리소스 제약이 있는 웨어러블 IoT 장치에 대한 실용적인 해결책임을 시사합니다. 복잡한 하이퍼파라미터 튜닝 없이 더 빠른 수렴 (에너지 및 대역폭 사용 감소) 과 극단적인 데이터 이질성에 대한 강건성을 제공합니다.

저자들은 MURMURA 가 잘 작동하지만, 극단적인 생리학적 변동성 (예: PPG-DaLiA) 이 있는 시나리오에서는 보수적인 필터링이 호환 가능한 피어가 거의 없을 때 거의 고립된 훈련으로 이어질 수 있다고 지적합니다. 그들은 향후 연구가 적당히 호환 가능한 피어로부터 가치를 추출하기 위해 점진적 신뢰 메커니즘을 탐구할 수 있다고 제안합니다.