기술 요약: 견고한 연방 추론

문제 정의

본 논문은 로컬 데이터나 모델 가중치에 접근하지 않고 중앙 서버가 여러 클라이언트가 보유한 모델(예: 원샷 연방 학습, 엣지 앙상블, 연방 앙상블 등을 통해) 의 예측을 집계하는 연방 추론 패러다임 내의 견고성 측면에서 존재하는 중요한 격차를 다룹니다. 기존 문헌은 이러한 앙상블의 정확도에 초점을 맞추고 있지만, 비잔틴 장애와 중독된 출력에 대한 취약성은 크게 간과해 왔습니다.

저자들은 견고한 연방 추론 문제를 다음과 같이 공식화합니다:

• 설정: $n$개의 클라이언트로 구성된 시스템으로, 각 클라이언트는 입력을 확률 심플렉스 $\Delta_K$로 매핑하는 로컬 확률값 분류기 $h_i$를 보유합니다.
• 위협 모델: 추론 시점에 최대 $f < n/2$개의 클라이언트 (숨겨진 신원) 가 임의로 손상된 확률값 벡터를 반환할 수 있습니다.
• 목표: 크기 $f$의 모든 가능한 손상 패턴에 대한 최악의 경우 예측 오차를 의미하는 견고한 연방 추론 리스크($R_{adv}$) 를 최소화하면서 글로벌 데이터 분포에서의 정확도를 유지하는 집계 방식 $\psi$를 설계하는 것입니다.

본 논문은 두 가지 유형의 집계기를 구분합니다:

1. 선형 (평균 기반): 서버는 argmax 를 취하기 전에 클라이언트 확률값의 견고한 평균 (예: 좌표별 잘린 평균 - CWTM) 을 계산합니다.
2. 비선형 (학습 기반): 서버는 클라이언트 확률값을 결합하기 위해 훈련된 신경망 집계기를 사용하며, 이는 손상되지 않은 환경에서 우수한 성능을 보이지만 견고성 보장은 부족합니다.

방법론

1. 평균 기반 집계기 분석

저자들은 먼저 CWTM 과 같은 견고한 평균 방식을 기준선으로 분석합니다. 그들은 견고한 평균이 $\ell_2$-노름 측면에서 정직한 확률값들의 평균과 가까운 출력을 보장하지만, argmax 연산자의 비연속성으로 인해 올바른 분류를 보장하지는 못함을 입증합니다.

• 이론적 통찰: 그들은 집계기의 오차가 다음 세 가지 요소에 의존함을 보여주는 견고성 증명서를 유도합니다:
  1. 손상 비율 ($f/n$).
  2. 정직한 클라이언트 출력 간의 비유사성 ($\sigma_x$).
  3. 상위 두 예측 클래스 간의 마진.
• 결론: 통계적 의미에서 집계가 견고하더라도 마진이 작거나 클라이언트 모델이 매우 이질적인 경우, 견고한 평균만으로는 부족합니다.

2. 적대적 ML 문제로서의 견고한 추론

비선형 집계기의 경우, 저자들은 확률값 벡터 공간에서의 적대적 학습 문제로 문제를 재구성합니다.

• 과제: 가능한 적대적 부분집합 ( $n$개 중 $f$개의 악성 클라이언트 선택) 의 집합이 높은 카디널리티 ($\binom{n}{f} \times f!$) 를 가지므로, 표준 적대적 훈련은 계산적으로 처리 불가능합니다.
• 해결책 (DeepSet): 저자들은 치환 불변성 (permutation-invariant) 을 가진 DeepSet 아키텍처 (Zaheer 등, 2017) 를 사용할 것을 제안합니다. 이 속성은 검색 공간을 순열에서 조합 ($\binom{n}{f}$) 으로 축소하여 문제를 더 처리 가능하게 만듭니다.
• 근사: 모든 적대적 부분집합을 나열하는 대신, 훈련 중에 무작위 적대자 구성 $N$개를 샘플링하고 ($N \ll \binom{n}{f}$), 선택된 적대자의 확률값을 교란하기 위해 다단계 Fast Gradient Sign Method (FGSM) 를 적용합니다.

3. DeepSet-TM 구성

견고성을 더욱 강화하기 위해, 저자들은 추론 시점에 적대적 훈련과 견고한 평균을 결합한 새로운 구성을 도입합니다:

• 아키텍처: 입력 확률값이 신경망 집계기로 입력되기 전에 먼저 견고한 평균 연산자 (CWTM) 로 처리되는 DeepSet 모델입니다.
• 훈련 전략: 모델은 견고한 특징을 학습하기 위해 CWTM 없이 원시 확률값에 대해 적대적으로 훈련됩니다.
• 추론 전략: 테스트 시점에 클라이언트 입력에 DeepSet 추론 전에 견고한 평균 (CWTM) 이 적용됩니다. 이는 훈련 비용을 추론 시점의 견고성 메커니즘과 분리하여 훈련 과정이 과도하게 비싸지는 것을 방지합니다.

주요 기여

1. 공식화: 비잔틴 손상 하의 연방 추론 문제에 대한 최초의 공식 정의 및 견고성 분석.
2. 이론적 경계: 선형 (평균) 및 비선형 (DeepSet) 집계기에 대한 공식적인 견고성 증명서 유도. 오차율을 손상 비율, 모델 비유사성, 예측 마진과 연결.
3. 알고리즘적 혁신: 치환 불변 신경망과 적대적 훈련 및 테스트 시점 견고한 평균을 결합한 DeepSet-TM 방법 제안. 이는 임의의 적대자 부분집합에 대한 훈련의 계산적 처리 불가능성을 해결합니다.
4. 새로운 공격: 집계 결정 뒤집기를 위해 두 번째로 확률이 높은 클래스를 악용하는 새로운 화이트박스 및 블랙박스 공격인 가장 강력한 역전 공격 (SIA) 도입. 이를 통해 방어책을 엄격하게 평가.

실험 결과

저자들은 다양한 모델 계열 (ResNet-8, ViT-B/32, DistilBERT) 과 다양한 수준의 데이터 이질성 ($\alpha \in \{0.3, 0.5, 0.8\}$) 을 사용하여 CIFAR-10, CIFAR-100, AG-News에서 접근법을 평가했습니다.

• 성능: DeepSet-TM 은 기존 견고한 집계 기준선 (CWTM, CWMed, Geometric Median) 과 최첨단 방어책 (COPUR, Manifold Projection) 을 일관되게 능가합니다.
• 개선: 다양한 벤치마크와 공격 유형에서 최악의 경우 정확도 점수가 **4.7% 에서 22.2%**까지 개선되었습니다.
• 강력한 공격에 대한 견고성: 제안된 SIA 및 PGD-cw 공격 하에서 기준선 방법은 종종 3540 점의 정확도 하락을 겪는 반면, DeepSet-TM 은 하락을 2030 점으로 제한합니다. AG-News 의 경우, DeepSet-TM 은 PGD-cw 하에서 83.2% 의 정확도를 유지하는 반면 기준선은 약 53% 에 그칩니다.
• 확장성: 이 접근법은 클라이언트 수 ($n=10, 17, 25$) 와 적대자 수 ($f=3, 4, 5$) 가 증가함에 따라 효과적으로 확장되며 시스템이 커짐에 따라 우수한 성능을 유지합니다.
• 효율성: 적대적 훈련은 일회성 비용 (약 1.5 시간) 을 수반하지만, 추론 지연 시간은 낮게 유지됩니다 (배치당 약 0.3ms). 이는 크로스-실로 환경에 적합합니다.

중요성 및 주장

본 논문은 견고한 연방 추론이 단순히 기존 비잔틴 견고 훈련 기법이나 정제 방법 (COPUR 등) 을 적용함으로써 해결될 수 없는 고유하고 중요한 문제라고 주장합니다. 이러한 방법들은 종종 확률값 공간이나 강력한 공격 하에서 실패합니다.

이 연구의 중요성은 다음과 같습니다:

1. 격차 해소: 데이터를 중앙 집중화하지 않고 독점 모델 (LLM 포함) 을 활용하는 성장하는 패러다임인 연방 추론을 보호하기 위한 최초의 포괄적인 프레임워크 제공.
2. 새로운 구성: 적대적 ML 문헌의 적대적 훈련과 견고한 통계/비잔틴 ML 문헌의 견고한 평균을 결합함으로써, 이 두 분야가 시너지 효과를 내어 최첨단 견고성을 달성할 수 있음을 입증.
3. 실용성: 제안된 DeepSet-TM은 정교한 공격에 대한 높은 견고성과 허용 가능한 계산 오버헤드 사이의 균형을 잡은 실용적인 솔루션을 제공하며, 클라이언트는 정적이지만 추론 요청은 동적인 크로스-실로 시나리오에 특히 적합합니다.

저자들은 그들의 방법이 연방 추론에 대한 새로운 최첨단 기준을 설정하여, 악의적인 행위자의 존재 하에 기술적 우위가 심각한 취약점으로 변하는 것을 효과적으로 방지한다고 결론지었습니다.