Proof of Reasoning for Privacy Enhanced Federated Blockchain Learning at the Edge

기술 요약: 에지 환경에서의 프라이버시 강화된 연합 블록체인 학습을 위한 추론 증명(Proof of Reasoning)

문제 정의
본 논문은 특히 의료 분야의 사물인터넷(IoT) 환경 내에서 연합 학습(Federated Learning, FL)을 배포할 때 발생하는 핵심적인 과제들을 다룹니다. 딥러닝은 상당한 잠재력을 제공하지만, 에지 장치에서 직접 학습하는 것은 계산적으로 매우 부담스러운 경우가 많습니다. 또한, 기존의 연합 학습 방식은 이분법적 문제에 직면해 있습니다. 즉, 중앙 집중식 집계는 서버에 대한 신뢰를 요구하며, 탈중앙화된 블록체인 기반 연방 학습은 데이터 프라이버시를 저해하는 투명성을 초зо합니다. 표준 블록체인 합의 메커니즘(예: 작업 증명(PoW), 지분 증명(PoS))은 연합 학습을 위해 설계되지 않았습니다. 이러한 방식은 원본 데이터나 모델 가중치를 역전 공격(Inversion Attack)에 노출하지 않으면서 모델 기여도의 품질을 검증하는 데 실패합니다. 또한, 악의적인 모델과 비정형 데이터 분포(non-IID)로 인한 비적합 모델을 구분하는 것은 여전히 어려우며, 동형 암호화나 차분 프라이버시와 같은 현재의 프라이버시 보존 기술은 높은 계산 비용을 초래하거나 모델 정확도를 저하시키는 경우가 많습니다.

방법론: 추론 증명 (Proof of Reasoning, PoR)
저자들은 블록체인 상의 연합 학습에 특화된 새로운 합의 메커니즘인 **추론 증명(PoR)**을 제안합니다. PoR은 프라이버시를 보존하면서 검증 가능한 집계를 가능하게 하도록 설계된 3단계 프로세스를 통합합니다:

1. 마스크드 오토인코더(MAE)를 통한 프라이러시 보존 데이터 인코딩:

   • 표준 MAE가 추론 시 입력의 마스킹을 해제하는 것과 달리, PoR은 다운스트림 분류 단계에서도 높은 비율(예: 75~90%)의 입력 패치를 계속해서 마스킹하는 학습된 인코더 트랜스포머를 활용합니다.
   • 시스템은 경량화된 인코더(에지에 배치)와 더 큰 디코더(사전 학습 중에만 사용)를 사용합니다.
   • 인코더는 마스킹되지 않은 패치로부터 특징 맵(Feature Map)을 생성합니다. 이 인코딩된 데이터는 난독화되어, 디코더가 공유되지 않고 입력 패치가 원본 이미지를 재구성하기에 불충분하므로 인간의 재구성과 모델 역전 공격에 저항력을 갖습니다.

2. 에지에서의 다운스트림 분류기 학습:

   • 인코딩된 특징 맵을 사용하여 에지에서 경량 다운스트림 분류기를 학습시킵니다.
   • 참여자는 로컬에서 학습하거나, 분산된 IoT "미스트(Mist)" 네트워크를 활용하거나, 원본 입력이 아닌 인코딩된 데이터와 모델 가중치만을 공유한다는 조건 하에 외부 기관에 학습을 외주 줄 수 있습니다.
   • 연합 설정에서의 데이터 부족 및 변동성을 처리하기 위해, 저자들은 전이 학습(ImageNet 또는 ChestMnist와 같은 도메인 특화 데이터셋에서의 사전 학습)을 사용하고 분류기 아키텍처에 잔차 병목 레이어(Residual Bottleneck Layer)를 도입합니다.

3. 블록체인 통합 및 합의:

   • 참여자는 인코더-디코더 인터페이스(EDI) 트랜잭션을 블록체인에 업로드합니다. 이 트랜잭션에는 다음이 포함됩니다:
     • 다운스트림 분류기의 가중치 ($\omega_i$).
     • 인코딩된 데이터 포인트 ($\kappa_i$).
     • 해당 데이터 포인트에 대한 분류기의 출력값 ($\hat{y}_i$).
     • 실제 정답 레이블 ($y_i$).
   • 결정적으로, 트랜잭션에는 원본 입력 ($x_i$)이나 인코더 가중치 ($\lambda_i$)가 포함되지 않으므로, 인코딩의 단방향성이 역전을 방지합니다.
   • PoR 검증: 합의 메커니즘은 각 네트워크의 출력이 인코딩된 데이터 포인트에 대해 지정된 허용 오차($\epsilon$) 범위 내에 있는지 검증합니다.
   • 순위 지정 및 집계: 점수 함수($S_\pi$)는 업로드된 모든 인코딩된 데이터 포인트에 대한 각 분류기의 성능을 평가합니다. 축약 함수($R_\pi$)는 이 점수들을 집계하여 참여자들의 순위를 매깁니다. 글로벌 모델은 검증 불가능한 샘플 수가 아닌, 검증된 성능에 따라 가중치를 부여하는 복잡한 집계 정책을 통해 업데이트됩니다.

주요 기여

• 새로운 합의 메커니즘: 일반적인 합의(PoW/PoS)를 대체하여, 인코딩된 데이터에 대한 실제 성능을 바탕으로 모델 기여도를 검증함으로써 비적합하지만 유용한 모델을 배제하지 않으면서도 악의적인 모델의 영향을 완화하는 PoR을 도입했습니다.
• MAE를 통한 강력한 프라이버시: 마스크드 오토인코더가 재구성 정확도를 떨어뜨리지 않으면서도 높은 마스킹 비율(최대 90%)을 유지할 수 있음을 입증하여, 검증을 위한 인코딩된 데이터를 사용하면서도 모델 역전을 방지할 수 있음을 보여주었습니다.
• 검증 가능한 집계: PoR 프레임워크는 검증 불가능한 메타데이터에 의존하는 대신, EDI 트랜잭션을 통해 투명하고 검증 가능한 성능 지표를 제공함으로써 더 정교한 집계 방법을 가능하게 합니다.
• 에지 최적화 아키텍처: 무거운 인코더는 사전 학습하여 공유하고 로컬에서는 다운스트림 분류기만 학습하도록 함으로써 에지에서의 계산 복잡도를 최소화하는 시스템 설계를 구현했습니다.

실험 결과
저자들은 Cifar-10, Cifar-100, ImageNet, ChestMnist, PneumoniaMnist 데이터셋을 사용하여 프레임워크를 평가했습니다:

• 마스킹 효능: Cifar-10 실험 결과, 높은 마스킹 비율(예: 90%)이 재구성 정확도는 낮추었음에도 불구하고 다운스트림 분류 정확도는 향상시켰으며, 이는 인코더가 분류를 위한 효과적인 표현을 학습했음을 나타냅니다. 랜덤 마스킹이 상관관계 기반 마스킹보다 우수한 성능을 보였습니다.
• 전이 학습: ImageNet에서 MAE를 사전 학습하고 가중치(인코더 트랜스포머 제외)를 고정한 것이 처음부터 학습하는 것보다 Cifar-10에 대한 연합 성능을 크게 향상시켰습니다.
• 의료 영상: PneumoniaMnist 데이터셋(이진 분류)에서 연합 PoR 방식은 비연합 베이스라인보다 최소 2.56% 높은 성능을 보였습니다. 시스템은 적은 에포크(Epoch) 횟수 사이에서도 높은 정밀도(최대 98.97%)와 재현율(최대 97.95%)을 달축성했습니다.
• 확장성: 시스템은 대규모 IoT 네트워크에 적합한 낮은 지연 시간과 관리 가능한 스토리지 증가량을 보여주었습니다.

의의 및 주장
본 논문은 PoR이 의료 분야의 프라이버시 민감한 탈중앙화 AI를 위한 균형 잡힌 솔루션을 제공한다고 주장합니다. 데이터의 노출 없이 모델 품질을 검증함으로써, PoR은 서로 다른 목표(예: 민간 병원 vs 공공 병원)를 가진 기관 간의 안전한 협업을 가능하게 합니다. 저자들은 이 접근 방식이 다음과 같은 이점을 제공한다고 단언합니다:

• 악의적인 공격 및 포이즈닝(Poisoning)에 대한 연합 네트워크의 견고성 강화.
• 경량 분류기로 로컬 학습을 제한하여 에지에서의 계산 복잡도 감소.
• 검증 불가능한 메타데이터에 의존하는 표준 연합 평균(FedAvg)에 대한 검증 가능한 대안 제공.
• 진화하는 데이터 규제 및 네트워크 조건에 적응하여 동적인 IoT 환경에서의 지속적인 학습 지원.

저자들은 인코더를 완전히 연합하는 것이 멀티 채널 시나리오에서 프라이버시 트레이드오프를 발생시키지만, 연합 학습 전에 인코더 가중치를 집계하는 것이 실행 가능한 절충안이라고 결론지었습니다. 또한 향후 연구로서 단일 채널 이미지 처리 및 도메인 특화 사전 학습을 통해 프라이버시와 성능을 더욱 최적화할 것을 제안합니다.