Federated ADMM from Bayesian Duality

이 논문은 변분 베이지안 최적화의 이중성 구조를 활용하여 페더레이티드 ADMM 을 일반화하고, 등방성 가우시안 가정 하에서 기존 ADMM 을 재현하면서도 다른 지수족 분포에 대해서는 1 단계 수렴 뉴턴 방식이나 최대 7% 의 정확도 향상을 보이는 Adam 방식과 같은 새로운 확장 알고리즘을 제안합니다.

핵심

1. 배경: "비밀 레시피"를 공유하는 요리사들

상상해 보세요. 전 세계에 흩어진 100 명의 요리사 (클라이언트) 가 있습니다. 각자 자신만의 비법 재료 (데이터) 는 가지고 있지만, 그 재료를 다른 사람에게 보여줄 수는 없습니다. 대신, 모두 함께 **하나의 완벽한 글로벌 레시피 (글로벌 모델)**를 만들고 싶어 합니다.

• 기존 방식 (ADMM):
  • 중앙의 '메인 셰프 (서버)'가 현재까지의 레시피를 각 요리사에게 보냅니다.
  • 각 요리사는 자신의 비법 재료를 섞어 레시피를 수정하고, "어떻게 변했는지" (기울기/Gradient) 를 메인 셰프에게 알려줍니다.
  • 메인 셰프는 이 정보들을 모아서 새로운 레시피를 만듭니다.
  • 문제점: 이 과정이 너무 단순합니다. 만약 어떤 요리사가 아주 이상한 재료를 쓰거나 (이상치), 다른 요리사들과 너무 다른 스타일을 가진다면 (데이터 편향), 전체 레시피가 엉망이 되거나 완성되는 데 시간이 너무 오래 걸립니다. 마치 "이 소금 양은 10g 이야"라고 숫자만 주고, "왜 10g 인지"에 대한 맥락은 무시하는 것과 비슷합니다.

2. 이 논문의 핵심 아이디어: "불확실성까지 공유하는 Bayesian Duality"

이 논문은 **"단순한 숫자 (기울기) 가 아니라, '분포 (확률)'와 '불확실성'을 공유하자"**고 제안합니다.

• 새로운 접근법 (Bayesian-ADMM):
  • 이제 요리사들은 단순히 "레시피를 고쳤어요"라고 말하는 대신, **"이 레시피가 이 정도일 확률이 높고, 저 정도일 확률도 있어요. 그리고 이 부분은 제가 확신하지 못해요 (불확실성)"**라고 말합니다.
  • 이를 수학적으로 **'베이지안 이중성 (Bayesian Duality)'**이라고 부릅니다.
  • 비유: 기존 방식이 "이 소금 양은 10g 입니다"라고 말한다면, 새로운 방식은 "소금 양은 보통 10g 정도지만, 8g~12g 사이일 수도 있고, 만약 10g 을 쓰면 요리가 실패할 확률이 5% 정도 있어요"라고 설명하는 것입니다.

3. 두 가지 놀라운 결과 (새로운 요리 도구)

이 새로운 방식을 적용하자, 기존에는 불가능했던 두 가지 강력한 효과가 나타났습니다.

① 뉴턴 스타일 (Newton-like): "한 번에 끝내는 마법"

• 상황: 만약 요리가 매우 단순한 경우 (예: 물과 소금만 섞는 것, 수학적으로 '2 차 함수' 문제), 기존 방식은 몇 번이나 섞어봐야 정확한 양을 맞춥니다.
• 새로운 방식: 불확실성을 고려한 '뉴턴 스타일' 알고리즘을 쓰면, 서로 한 번만 대화해도 (1 라운드) 완벽한 레시피가 나옵니다.
• 비유: 복잡한 계산 없이, "아, 이 정도면 딱 맞네!"라고 직관적으로 바로 해결해 버리는 것입니다.

② 아담 스타일 (Adam-like): "혼란스러운 상황에서도 7% 더 잘하는 지혜"

• 상황: 요리사들이 서로 다른 재료를 쓰고, 각자 다른 스타일을 가진 복잡한 상황 (딥러닝, 이질적인 데이터) 이라면 기존 방식은 엉망이 되기 쉽습니다.
• 새로운 방식: 'IVON-ADMM'이라는 새로운 도구를 개발했습니다. 이는 각 요리사의 '불확실성'을 잘 조절해 주는 역할을 합니다.
• 결과: 실험 결과, 기존 최고의 방법들보다 정확도가 최대 7% 까지 높아졌습니다.
• 비유: 마치 요리사들이 서로의 실수를 예측하고, "네가 그 재료를 너무 많이 넣었을 것 같으니 내가 조금 덜 넣을게"라고 서로를 보완해주어, 전체적인 맛을 훨씬 더 좋게 만든 것입니다.

4. 왜 이것이 중요한가요?

• 비용은 그대로, 성능은 UP: 이 새로운 방식은 기존 방식과 통신 비용이나 계산 비용이 거의 똑같습니다. 다만, "숫자" 대신 "숫자 + 불확실성"을 조금 더 정교하게 다룰 뿐입니다.
• 유연성: 데이터가 엉망이거나 (이상치), 요리사들이 너무 다를 때 (이질성) 기존 방식은 무너지지만, 이 방식은 "불확실성"을 인정하고 유연하게 대처하기 때문에 훨씬 더 강건합니다.
  • 예시: 한 요리사가 이상한 재료를 넣어도, 다른 요리사들이 "저건 이상하니까 무시하자"라고 판단할 수 있는 '지능'이 생깁니다.

5. 요약

이 논문은 **"연방 학습을 할 때, 단순히 정보만 주고받는 게 아니라, '우리가 얼마나 확신하는지'까지 공유하면 훨씬 더 똑똑하고 빠르고 정확한 AI 를 만들 수 있다"**는 것을 증명했습니다.

기존의 ADMM이라는 오래된 요리 도구를, **베이지안 (확률론)**이라는 새로운 식재료를 섞어 Bayesian-ADMM이라는 초고급 요리 도구로 업그레이드한 셈입니다. 덕분에 복잡한 상황에서도 AI 가 더 잘 배우고, 더 빠르게 수렴할 수 있게 되었습니다.

기술 요약

이 논문은 ICLR 2026에 발표된 "FEDERATED ADMM FROM BAYESIAN DUALITY"로, 연방 학습 (Federated Learning) 의 핵심 알고리즘 중 하나인 **교대 방향 승자법 (ADMM)**을 새로운 베이지안 관점에서 일반화하고 확장하는 방법을 제안합니다.

저자들은 변분 베이지안 (Variational Bayesian, VB) 목적 함수의 해가 가지는 이중성 (Duality) 구조를 분석하여, 기존 ADMM 의 고정점 방정식과 유사하지만 이를 자연스럽게 일반화하는 베이지안 이중성 (Bayesian Duality) 구조를 도출했습니다. 이를 바탕으로 Bayesian-ADMM이라는 새로운 알고리즘을 제안하고, 이를 통해 기존 ADMM 의 한계를 극복하는 두 가지 새로운 변형 (뉴턴 스타일 및 Adam 스타일) 을 개발했습니다.

아래는 논문의 상세한 기술 요약입니다.

---

1. 문제 정의 (Problem)

• 배경: 연방 학습은 서버가 클라이언트의 로컬 데이터에 직접 접근하지 않고 글로벌 모델을 학습하는 분산 최적화 문제입니다. ADMM 은 이러한 문제를 해결하기 위한 강력한 프레임워크로 널리 사용되고 있습니다.
• 한계: 기존 ADMM 은 1970 년대 제안된 이후 기본 구조가 크게 변하지 않았습니다. 클라이언트 간 이질성 (Heterogeneity) 이 심하거나 데이터가 누락된 현대적인 딥러닝 연방 학습 환경에서는 기존 ADMM 의 경직된 구조가 성능 저하를 일으킬 수 있습니다.
• 기존 연구의 부족: 최근 Swaroop et al. (2025) 은 연방 ADMM 과 분산 변분 베이지안 (PVI) 사이의 유사성을 발견했으나, ADMM 을 VB 의 특수한 경우로 엄밀하게 유도하거나 VB 의 이중성 구조를 활용해 ADMM 을 일반화하는 데는 한계가 있었습니다.

2. 방법론 (Methodology)

2.1 베이지안 이중성 (Bayesian Duality)

저자들은 VB 목적 함수의 해가 가지는 구조를 분석하여 베이지안 이중성을 정의했습니다.

• 기존 ADMM: 원시 변수 (Primal, $\theta$) 와 이중 변수 (Dual, $v$) 간의 관계를 통해 최적화합니다. 여기서 이중 변수는 로컬 그라디언트 ($-\nabla \ell_k$) 와 일치합니다.
• 베이지안 접근: 매개변수 $\theta$ 대신 확률 분포 $q(\theta)$를 최적화합니다. 지수족 (Exponential Family) 분포를 사용할 때, **자연 그라디언트 (Natural Gradient)**와 **기대 매개변수 (Expectation Parameter, $\mu$)**를 도입합니다.
• 핵심 발견: VB 의 최적성 조건은 ADMM 의 고정점 방정식과 구조적으로 유사하지만, 그라디언트 대신 자연 그라디언트를 사용하고, 분포 간의 KL 발산을 사용하여 업데이트됩니다. 이를 통해 ADMM 을 VB 의 특수한 경우 (등방성 가우시안) 로 유도할 수 있음을 증명했습니다.

2.2 Bayesian-ADMM 알고리즘

이론적 발견을 바탕으로 새로운 알고리즘 Bayesian-ADMM을 제안했습니다.

• 클라이언트 업데이트: 로컬 손실 함수에 자연 그라디언트 기반의 선형 항과 KL 발산 (정규화 항) 을 추가하여 분포 $q_k$를 업데이트합니다.
• 서버 업데이트: 모든 클라이언트의 분포를 종합하여 글로벌 분포 $q_g$를 업데이트합니다.
• 이중 업데이트: 기존 ADMM 의 그라디언트 업데이트 대신, **자연 매개변수 (Natural Parameter, $\lambda$)**의 차이를 사용하여 이중 변수를 업데이트합니다. 이는 지수족 분포에서 나눗셈에 해당하는 연산으로, 확률 분포의 관점에서 더 자연스러운 업데이트를 보장합니다.

2.3 새로운 확장 알고리즘

Bayesian-ADMM 프레임워크를 특정 분포에 적용하여 두 가지 새로운 알고리즘을 도출했습니다.

1. 뉴턴 스타일 변형 (Full Covariance Gaussian):

   • 공분산 행렬을 전체 (Full) 로 가정합니다.
   • 특징: 2 차 목적 함수 (Quadratic objectives) 에서는 단일 통신 라운드에서 수렴합니다. 이는 뉴턴 법 (Newton's method) 의 특성을 가지며, 기존 ADMM 이 여러 라운드가 필요한 것과 대조적입니다.
   • 효과: 이상치 (Outlier) 가 있는 데이터나 이질적인 환경에서 불확실성 (Uncertainty) 을 고려하여 빠르게 적응합니다.

2. Adam 스타일 변형 (IVON-ADMM):

   • 공분산 행렬을 대각 행렬 (Diagonal) 로 제한하여 확장성을 높였습니다.
   • 구현: Shen et al. (2024) 의 IVON (Improved Variational Online Newton) 옵티마이저를 클라이언트 서브문제 해결에 활용합니다.
   • 특징: 기존 ADMM 과 유사한 계산 비용과 런타임을 유지하면서, Adam 과 유사한 적응형 학습률 특성을 갖습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 일반화 프레임워크: ADMM 을 베이지안 이중성 구조를 통해 일반화하는 새로운 이론적 틀을 제시했습니다.
2. ADMM 의 엄밀한 유도: 등방성 가우시안 분포를 가정할 때, 제안된 Bayesian-ADMM 이 기존 ADMM 으로 자연스럽게 축소됨을 증명했습니다.
3. 고성능 알고리즘 개발:
   • Newton-like variant: 2 차 문제에서 1 회 통신으로 수렴하는 빠른 알고리즘.
   • IVON-ADMM: 딥러닝 환경에서 기존 방법 대비 최대 7% 의 정확도 향상을 이루는 확장성 있는 알고리즘.
4. 이론과 실증의 연결: 베이지안 이론이 실제 연방 학습의 성능 향상 (정확도, 수렴 속도, 이질성 처리) 으로 이어짐을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 수렴 속도: 2 차 목적 함수 (Ridge Regression) 에서는 제안된 뉴턴 스타일 Bayesian-ADMM 이 기존 ADMM 및 Bregman-ADMM 보다 훨씬 빠르게 (1 라운드) 수렴했습니다.
• 이질성 및 이상치 처리: 이상치가 포함된 데이터셋에서 기존 ADMM 은 수렴에 5 라운드가 소요된 반면, Bayesian-ADMM 은 불확실성을 활용하여 2 라운드 만에 해결했습니다.
• 딥러닝 벤치마크 (MNIST, CIFAR-10/100):
  • IVON-ADMM은 FedAvg, FedProx, FedDyn, FedLap 등 주요 베이스라인을 압도적으로 능가했습니다.
  • 특히 CIFAR-100에서 100 라운드 학습 시 기존 최상위 방법 (FedDyn) 대비 약 6.7% 의 정확도 향상을 기록했습니다.
  • 비용 효율성: 분산 공분산을 추정하는 FedLap-Cov 와 달리, IVON-ADMM 은 대각 공분산만 추정하여 메모리 및 계산 오버헤드가 거의 없으며, FedAvg 와 유사한 속도를 유지합니다.

5. 의의 및 결론 (Significance)

이 논문은 연방 학습의 핵심 알고리즘인 ADMM 을 단순히 개선하는 것을 넘어, **베이지안 추론의 원리 (자연 그라디언트, 지수족, 이중성)**를 통해 근본적으로 재해석하고 확장했습니다.

• 이론적 의의: ADMM 과 VB 사이의 간극을 메우며, 원시 - 이중 (Primal-Dual) 방법론을 베이지안 관점에서 일반화하는 새로운 길을 열었습니다.
• 실용적 의의: 제안된 IVON-ADMM은 추가적인 계산 비용 없이 딥러닝 연방 학습의 성능을 크게 향상시킬 수 있는 실용적인 솔루션을 제공합니다. 이는 데이터 이질성이 심한 현대적인 연방 학습 환경에서 매우 중요한 기여로 평가됩니다.

요약하자면, 이 연구는 "ADMM 을 베이지안 이중성으로 일반화하면 더 강력하고 효율적인 연방 학습 알고리즘을 만들 수 있다"는 명제를 이론과 실험으로 입증한 획기적인 작업입니다.