FoggyTrust: Robust Federated Learning with Hierarchical Trust Networks

기술 요약: FoggyTrust

문제 정의

연합 학습(Federated Learning, FL)은 클라이언트의 데이터를 노출하지 않고 분산된 모델 학습을 가능하게 하지만, 이러한 프라이버시 보존 기능은 비잔틴 공격(Byzantine attacks)에 대한 취약성을 생성합니다. 악의적인 클라이언트는 로컬 데이터를 오염시키거나 모델 업데이트를 조작하여 글로벌 모델의 성능을 저하시킬 수 있습니다. Krum이나 Trimmed Mean과 같은 강력한 집계 방법이 존재하지만, 이들은 정교하게 설계된 공격(예: Krum 공격, Trim 공격)에 취약한 통계적 기법에 의존하고 있습니다. 이러한 공격들은 해당 통계적 특성을 악용합니다.

최신 기술인 FLTrust에서 식별된 특정 한계점은 신뢰 점수(trust scores)를 계산하기 위해 단일한 전역 서버 측 루트 데이터셋(root dataset)에 의존한다는 점입니다. FL-Trust는 클라이언트 데이터가 상대적으로 독립적이고 동일하게 분포(IID)되어 있다고 가정합니다. 그러나 실제 세계의 FL 애플리케이션은 매우 이질적인 데이터 분포(non-IID)를 포함하는 경우가 많습니다. 이러한 시나리오에서 전역 루트 데이터셋은 모든 클라이언트 그룹을 대표하지 못할 수 있으며, 이는 취약한 신뢰 점수로 이어집니다. 이로 인해 FLTrust는 독특한 데이터 분포를 가진 선량한 업데이트를 잘못 처벌하는 동시에, unrepresentative한 루트 데이터셋과 일치하는 악의적인 업데이트는 탐지하지 못하는 결과를 초래할 수 있습니다. 또한, 표준 FL 방식은 non-IID 환경에서 로컬 업데이트가 글로벌 목적 함수에서 벗어나는 "클라이언트 드리프트(client drift)" 현상을 해결하는 데 어려움을 겪습니다.

방법론: FoggyTrust

저자들은 데이터의 전역적 이질성을 활용하면서도 국지적 동질성을 이용하도록 설계된, FLTrust의 계층적 확장 모델인 FoggyTrust를 제안합니다. 이 프레임워크는 다음과 같은 2단계 구조를 도입합니다:

1. 로컬 레벨 (포그 노드 - Fog Nodes): 모든 클라이언트를 관리하는 단일 글로벌 서버 대신, 중간 단계인 "포그 노드"를 활용합니다. 클라이언트는 국지적 동질성(예: 지리적 위치 또는 유사한 데이터 분포)을 기준으로 클러스터링됩니다. 각 포그 노드는 자체적인 작고 대표성 있는 루트 데이터셋을 유지합니다.

   • 클라이언트는 각자의 포그 노드로 로컬 업데이트를 보냅니다.
   • 포그 노드는 (FLTrust와 유사하게 코사인 유사도를 사용하여) 로컬 루트 데이터셋을 통해 이 업데이트들에 대한 신뢰 점수를 계산합니다.
   • 업데이트는 이 로컬 신뢰 점수에 따라 ReLU-클리핑 및 정규화 과정을 거친 후, 하나의 "포그 노드 업데이트"로 집계됩니다.

2. 글로벌 레벨 (서버): 글로벌 서버는 포그 노드들로부터 집계된 업데이트를 받습니다.

   • 로컬 레벨과 달리, 글로벌 서버는 루트 데이터셋을 기반으로 신뢰 점수를 계산하지 않습니다.
   • 서버는 이질성과 클라이언트 드리프트를 처리하기 위해 설계된 고급 연합 집계 규칙(예: FedAvg, FedAdam, 또는 SCAFFOLD)을 사용하여 포그 노드의 업데이트를 집계합니다.

이러한 계층적 접근 방식은 신뢰 추정과 글로벌 집계를 분리합니다. 신뢰는 데이터가 동질적인 로컬 영역에서 계산되어 정확한 점수 산출을 보장하며, 글로벌 레이어는 이질적인 그룹 간의 수렴을 최적화하는 데 집중합니다.

주요 기여

본 논문은 베이스라인인 FLTrust와 비교하여 세 가지 주요 기여를 명시합니다:

1. 국지적 신뢰 계산: 저자들은 단일 글로벌 서버 대신 여러 포그 노드에 걸쳐 루트 데이터셋을 운용합니다. 이를 통해 신뢰 점수를 집계되는 특정 그룹에 더 적합한 국지적 범위로 한정함으로써, 참조 데이터가 해당 그룹을 대표하도록 보장합니다.
2. 강력한 옵티마이저를 갖춘 계층적 집계: 이 프레임워크는 두 번째 레벨의 집계기(포그 노드와 글로벌 서버 사이)를 클라이언트 드리프트를 완화하기 위한 SCAFFOLD나 적응성을 개선하기 위한 FedAdam과 같은 이질성 인식 옵티마이저로 교체할 수 있는 계층적 구조를 도입하여, 표준 FedAvg의 약점을 해결합니다.
3. 실제 환경 검증: 제안된 방법은 표준 벤치마크뿐만 아니라 다양한 생물 군계(biomes)에 걸친 야생 동물 모니터링을 다루는 실제 데이터셋인 Snapshot Safari를 통해 평가되어, 안전이 중요한 사회적 영향력이 큰 설정에서의 적용 가능성을 입증했습니다.

실험 결과

저자들은 MNIST, Fashion-MNIST, CIFAR-10, Snapshot Safari의 네 가지 데이터셋에 대해 다양한 공격(Label Flipping, Krum, Trim, Scaling) 하에서 FLTrust 및 기타 베이스라인들과 FoggyTrust를 비교 평가했습니다.

• CIFAR-10 (높은 이질성): FoggyTrust는 여기서 가장 강력한 성능 향상을 보여주었습니다. Krum 및 Trim 공격 상황에서 Foggy much는 FLTrust 대비 50% 이상의 정확도 향상을 달atik했습니다. 구체적으로, SCAFFOLD를 결합한 FoggyTrust는 공격이 없는 경우, Trim, Scaling 시나리오 모두에서 일관된 이득을 보였으며, FedAdam을 결합한 FoggyTrust는 Krum 공격 하에서 가장 우수한 성능을 보였습니다.
• MNIST 및 Fashion-MNIST: FoggyTrust는 일반적으로 Trim 및 Scaling 공격 하에서 베이스라인보다 우수한 성능을 보였습니다. 그러나 MNIST의 Label Flipping 및 Krum 공격 상황, 그리고 Fashion-MNIST의 Label Flipping 상황에서는 FLTrust가 경쟁력이 있거나 더 우세했습니다.
• Snapshot Safari: 이 실제적인 이질적 환경에서는 가장 단순한 방법인 FedAvg가 전반적으로 가장 좋은 성능을 보였습니다. 그러나 FoggyTrust는 FedAvg와 FLTrust 사이의 성능 격차를 성공적으로 메웠습니다. 특히, Trim 공격 하에서 FogbyTrust는 FLTrust(0.6383에서 0.4297로 하락)에 비해 더 완만한 정확도 하락(0.6455에서 0.6029로 하락)을 보여주었습니다.
• 한계점: 논문은 FoggyTrust가 Label Flipping (데이터 포이즈닝) 공격에 대해서는 성능을 크게 개선하지 못한다고 언급합니다. 저자들은 이를 그래디언트가 수학적으로 그럴듯하게 유지되는 "조용한(silent)" 공격의 특성과, 글로벌 FLTrust(100명)에 비해 포그 노드당 클라이언트 수가 적음(10명)으로써 발생하는 신뢰 추정의 통계적 여유 부족 때문으로 분석했습니다.

의의 및 주장

본 논문은 FoggyTrust가 이질적인 애플리케이션에 특화된 최초의 비잔틴 강건 집계 방법이라고 주장합니다. 그 의의는 다음과 같습니다:

• 이질성에 대한 신뢰성: 신뢰 계산을 국지화함으로써, non-IID 환경에서 FLTrust를 저하시키는 참조 데이터셋과 클라이언트 데이터 간의 분포 불일치 문제를 완화합니다.
• 모듈성: 이 두 단계 설계는 글로벌 레이어에서 서로 다른 집계 전략을 통합할 수 있게 하여, 특정 문제(예: 클라이언트 드리프트)를 해결하기 위해 강력한 메커니즘과 이질성 인식 최적화를 결합할 수 있게 합니다.
• 실제 적용 가능성: Snapshot Safari에 대한 평가는 계층적 신뢰 네트워크가 데이터가 지리적 또는 환경적으로 구조화된(비록 그룹 내 변동성이 크더라도) 분산된 안전 중심 시스템(예: 야생 동물 모니터링)에 유망하다는 것을 시사합니다.

저자들은 결론적으로, FoggyTrust가 시스템 복잡성을 증가시키기는 하지만, 로컬 신뢰 추정과 글로벌 집계를 분리함으로써 이질적이고 적대적인 환경에서 상당한 이득을 얻을 수 있으며, 구조화된 데이터 이질성을 다루기 위한 원칙적인 프레임워크를 제공한다고 밝히고 있습니다.