🤖 machine learning

Federated Learning with Energy-Based Structured Probabilistic Inference

본 논문은 비독립 동일 분포(non-IID) 데이터 이질성 환경에서 글로벌 모델의 수렴을 개선하기 위해, 개별 신뢰도와 클라이언트 간 상호작용을 모두 모델링함으로써 클라이언트 집계 가중치를 동적으로 최적화하는 조건부 랜덤 필드(Conditional Random Fields)를 활용한 연합 학습 프레임워크를 제안한다.

원저자: Dario Fenoglio, Daniil Kirilenko, Martin Gjoreski, Marc Langheinrich

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dario Fenoglio, Daniil Kirilenko, Martin Gjoreski, Marc Langheinrich

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 문제가 있는 선생님과 함께하는 조별 과제

선생님(서버)이 10명의 학생(클라이언트)으로부터 받은 노트를 바탕으로 완벽한 에세이(글로벌 모델)를 쓰려고 하는 교실을 상상해 보세요.

기존의 방식(연합 학습, Federated Learning)에서는 선생님이 모든 학생에게 각자의 개인 노트를 바탕으로 한 단락을 써오라고 요청합니다. 그런 다음, 선생님은 단순히 그 단락들을 모두 평균 내어 최종 버전을 만듭니다.

문제점:
현실 세계에서 학생들은 서로 다른 노트를 가지고 있습니다. 어떤 학생은 훌륭한 노트를 가지고 있지만, 어떤 학생은 엉망인 낙서를 하고 있고, 또 어떤 학생은 완전히 다른 주제에 대해 쓰고 있습니다(이를 Non-IID 데이터 또는 "이질성"이라고 합니다).

만약 학생 A가 100페이지의 노트를 가지고 있고 학생 B가 단 1페이지만 가지고 있다면, 선생님은 보통 학생 A의 의견에 더 많은 비중을 둡니다. 왜냐하면 페이지 수가 더 많기 때문입니다.
하지만 만약 학생 A의 100페이지가 사실 틀린 내용이라면 어떨까요? 혹은 학생 B의 1페이지가 매우 훌륭하지만 다른 의견들에 묻혀버린다면 어떨까요?
현재의 방법들은 "아웃라이어(너무 튀는 학생)"를 무시함으로써 이 문제를 해결하려 하지만, 이 과정에서 좋은 정보까지 함께 버려버리는 경우가 많습니다. 이들은 경직된 "일률적인" 규칙을 사용합니다.

해결책: 천리안을 가진 "스마트 편집자"

이 논문은 선생님이 각 학생을 얼마나 신뢰할지 결정하는 새로운 방법을 제안합니다. 단순히 페이지 수를 세거나 아웃라이어를 맹목적으로 무시하는 대신, 선생님은 **조건부 랜덤 필드(CRF)**를 기반으로 한 스마트 편집자를 사용합니다.

CRF를 학생들의 노트 자체뿐만 아니라, 학생들 사이의 관계를 살피는 탐정이라고 생각해보세요.

"스마트 편집자"가 작동하는 방식

편집자는 다음 두 가지 종류의 단서를 사용하여 누가 다음 단락의 "주도 작가"가 될 자격이 있는지 결정합니다.

1. 단독 검사 (Unary Potentials)
먼저, 편집자는 각 학생을 개별적으로 살펴봅니다.

비유: 선생님에게 "표준 가이드북"이 있다고 상상해 보세요. 편집자는 다음과 같이 확인합니다: "학생 A의 노트가 이 책에 어울리는 내용인가? 너무 이상하지 않은가? 너무 짧거나 길지는 않은가?"
만약 학생의 노트가 이상하거나 일반적인 분위기와 맞지 않는다면, 그 학생은 낮은 "신뢰 점수"를 받게 됩니다.

2. 그룹 검사 (Pairwise Potentials)
이 부분이 영리한 부분입니다. 편집자는 학생들이 서로와 어떻게 관계를 맺고 있는지 살펴봅니다.

비유: 학생들이 원형으로 둘러앉아 있다고 상상해 보세요. 만약 학생 A와 학생 B가 모두 매우 유사하고 합리적인 내용을 쓰고 있다면, 편집자는 이렇게 생각합니다: "오, 이 둘은 서로 의견이 일치하는군! 아마도 자신들이 무엇에 대해 말하고 있는지 잘 알고 있을 거야."
하지만 학생 C가 다른 모든 학생과 완전히 다른 내용을 쓰고 있다면, 편집자는 의심을 품습니다. "학생 C는 섬처럼 떨어져 있네. 아마 혼란스러워하고 있는 것 같아."
시스템은 서로 동의하는 학생들에게 함께 더 높은 신뢰 점수를 얻도록 유도합니다.

결과: 더 나은 최종 에세이

편집자는 이 탐정 업무를 마친 후, 단순히 노트를 똑같이 평균 내지 않습니다. 대신 맞춤형 가중치 시스템을 만듭니다.

개별적으로 신뢰할 수 있으면서 동시에 신뢰할 수 있는 동료들과 의견이 일치하는 학생에게는 더 많은 가중치를 줍니다.
내용이 이상하거나 고립된 학생에게는, 설령 데이터가 많더라도 더 적은 가중치를 줍니다.

실험 결과

저자들은 학생들이 매우 엉망이고 서로 다른 노트(Non-IID 데이터)를 가진 세 가지 "교실"(데이터셋: MNIST, CIFAR-10, CIFAR-100)에서 이 "스마트 편집자"를 테스트했습니다.

기존 방식 (FedAvg): 선생님은 단순히 모든 것을 평균 냈습니다. 쉬운 작업에서는 괜찮았지만, 학생들이 매우 다를 때는 어려움을 겪었습니다.
새로운 방식 (CRF 기반): 선생님은 탐정의 논리를 사용했습니다.
- 가장 어려운 작업(예: CIFAR-100)에서, 새로운 방식은 훨씬 더 나은 최종 에세이(높은 정확도)를 만들어냈습니다.
- 기존 방식보다 더 빠르게 학습했으며, 쉽게 정체되지 않았습니다.

이 연구가 중요한 이유 (논문에 따르면)

이 논문은 클라이언트의 업데이트를 단순히 평균을 내야 할 숫자로 취급해서는 안 된다고 주장합니다. 우리는 이를 하나의 **그룹 역학(Group Dynamic)**으로 취급해야 합니다.

기존 논리: "데이터가 많으니 더 중요해." 또는 "너무 다르니 무시하자."
새로운 논리: "당신은 개인적으로 신뢰할 수 있고, 또한 신뢰할 수 있는 친구들과도 의견이 일치하므로, 지금 이 순간 가장 중요한 목소리입니다."

언급된 한계점

저자들은 "스마트 편집자"가 모든 학생을 서로 비교해야 하기 때문에 선생님의 컴퓨터(서버)에 다소 부담이 된다는 점을 인정합니다. 만약 학생이 수천 명이라면 시간이 많이 걸릴 것입니다. 그들은 향에 규모가 큰 그룹을 위해 "그룹 검사" 과정을 단순화해야 할 수도 있다고 제 제안했습니다.

요약하자면: 이 논문은 AI 서버가 개인의 성과와 집단의 합의를 모두 살펴봄으로써, 더 똑똑하고 정확한 모델을 구축할 수 있는 더 나은 '사람 보는 눈'을 갖추도록 가르칩니다.

기술 요약: 에너지 기반 구조적 확률 추론을 이용한 연합 학습

문제 정의
연합 학습(Federated Learning, FL)은 일반적으로 클라이언트의 로컬 샘플 수에 비례하는 가중치를 사용하여 서버가 클라이언트 모델 업데이트를 집계하는 연합 평균(Federated Averaging, FedAvg)에 의존한다. 이 방식은 단순하지만, 클라이언트들이 이질적인 데이터 분포(non-IID)를 가진 경우 하위 최적(suboptimal)이 된다. 이러한 환경에서 고정된 가중치 규칙은 모든 스케일링된 업데이트를 동일하게 신뢰할 수 있는 것으로 취급하여, 클라이언트 드리프트(client drift), 느린 수렴 또는 불안정한 학습을 초래한다. FedProx와 같은 근사 항(proximal terms), SCAFFOLD와 같은 제어 변수(control variates), 또는 강건한 집계 규칙(예: 절단 평균, 기하 평균)과 같은 기존 솔루션들은 특정 실패 모드를 해결하지만, 일반적으로 고정된 휴리스틱에 의존한다. 이들은 개별 클라이언트의 신뢰도와 클라이언트 간의 상호작용을 통합된 추론 프레임워크 내에서 명시적으로 모델링하는 데 실패한다.

방법론
저자들은 서버 측 집계 문제를 조건부 무작위 필드(Conditional Random Fields, CRFs)를 사용하는 에너지 기반 구조적 확률 추론 작업으로 재구성할 것을 제안한다. 핵심 아이디어는 단순히 샘플 수에 의존하는 대신, 로컬 모델 업데이트를 기반으로 각 클라이언트에 대한 이산적 "신뢰도 라벨(reliability labels)"을 추론하는 것이다.

그래프 정식화:
- 노드(Nodes): 통신 라운드에 참여하는 클라이언트들.
- 관측값( $x$ ): 로컬 모델 업데이트 벡터(델타) 및 샘플 수.
- 잠재 변수( $y$ ): 이산적 신뢰도 라벨(예: $\{0, 0.25, 1\}$ ), 값이 높을수록 해당 업데이트에 대한 신뢰도가 높음을 의미함.
에너지 함수:
CRF는 두 가지 포텐셜로 구성된 에너지 함수 $E(y|x)$ 를 정의한다.
- 단항 포텐셜(Unary Potentials, $\psi_u$ ): 개별 클라이언트의 신뢰도를 측정한다. 서버는 강건한 참조 업데이트(모든 클라이언트 델타의 좌표별 중앙값)를 계산한다. 그 후 각 클라이언트에 대해 세 가지 정규화된 통계량(참조와의 코사인 일치도, 참조로부터의 상대적 거리, 강건한 업데이트 노름 이상치 점수)을 도출한다. 이들은 시그모이드 함수를 통해 결합되어 신뢰도 점수를 생성하며, 이는 단항 포텐셜을 초기화한다.
- 쌍항 포텐셜(Pairwise Potentials, $\psi_p$ ): 유사한 업데이트를 가진 클라이언트 간의 일관성을 장려한다. 클라이언트 $i$ 와 $j$ 사이의 친화도는 개별 신뢰도 점수의 최솟값에 의해 게이팅된 업데이트의 코사인 유사도로 정의된다. 친화도가 높은 클라이언트들이 서로 다른 신뢰도 라벨을 할당받을 경우 페널티를 받는다.
추론 및 집계:
- 완전 연결 그래프(fully connected graph)에서 정확한 최대 사후 확률(Maximum a Posteriori, MAP) 추론은 계산적으로 불가능하므로, 저자들은 **평균장 근사(mean-field approximation)**를 사용한다. 이는 단항 점수와 이웃으로부터의 기대 비용을 바탕으로 각 클라이언트의 신뢰도 라벨에 대한 사후 분포를 반복적으로 업데이트한다.
- 최종 집계 가중치는 기본 FedAvg 가중치(샘플 수)와 추론된 기대 신뢰도의 곱이다. 이 정교화된 가중치가 새로운 글로벌 모델을 계산하는 데 사용된다.

주요 기여

정식화: 본 논문은 FL 서버 집계를 클라이언트 신뢰도 변수에 대한 에너지 기반 구조적 추론 문제로 정식화한다.
구체화: 강건한 업데이트 통계(중앙값 기반)로부터 유도된 단항 포텐셜과 업데이트 친화도로부터 유도된 쌍항 포텐셜을 갖는 클라이언트 수준의 완전 연결 CRF를 구현한다.
알고리즘: 클라이언트 측 최적화에 변경을 요구하지 않으면서 표준 FedAvg 훈련 루프와 호환되는 평균장 집계 알고리즘을 제안한다.
평가: 제안된 방법은 MNIST, CIFAR-10, CIF리어-100 환경에서 표준 FL 베이스라인(FedAvg, FedProx, FedNova) 및 강건한 집계 방법(Krum, trimmed mean, geometric median, RFA)을 대상으로 평가되었다.

실험 결과
저자들은 심각한 non-IID 조건(Dirichlet label skew, $\alpha=0.003$ 및 $\alpha=0.1$ ) 하에서 MNIST, CIFAR-10, CIFAR-100에 대해 접근 방식을 평가했다.

성능: CRF-guided 방식(CRF-FedAvg 및 CRF-FedProx)은 모든 데이터셋에서 고정 및 강건한 집계 베이스라인보다 일관되게 우수한 성능을 보였다.
이득의 유의성: MNIST에서의 개선은 완만했지만(대부분의 방법이 높은 정확도에 도달했기 때문), CIFAR-10 및 CIFAR-100에서의 이득은 더 두드러졌다. CRF-FedProx는 CIFAR-10에서 가장 높은 정확도를 달성했고, CRF-FedAvg는 CIFAR-100에서 가장 높은 정확도를 달성했다.
수렴: 검증 손실 곡선은 CRF-guided 집계가 강건한 베이스라인들보다 더 빠르게, 그리고 안정적으로 수렴함을 나타냈으며, 특히 통신 라운드가 진행됨에 따라 그러했다. 이는 이 방법이 유용한 업데이트 방향은 보존하면서도 신뢰할 수 없는 업데이트는 효과적으로 억제하여, 기하 평균(geometric median)과 같은 방법에서 나타나는 보수적인 정체 현상을 피한다는 것을 시사한다.

의의 및 주장
본 논문은 집계를 구조적 추론 문제로 다루는 것이 고정된 휴리스틱보다 뚜렷한 이점을 제공한다고 주장한다. 개별 업데이트의 신뢰도와 클라이언트 간의 적합성을 명시적으로 모델링함으로써, 서버는 현재 라운드의 업데이트 기하학에 적응하는 가중치를 할당할 수 있다.

저자들은 이 접근 방식이 클라이언트 측 최적화 기술(예: FedProx)과 상보적임을 강조한다. FedProx가 로컬 드리프트를 제어한다면, CRF-guided 집계는 훈련 후 업데이트를 결합하는 방식을 정교화한다.
이 방법은 클라이언트 훈련이나 통신 프로토콜을 변경하지 않는 서버 측 플러그인으로 제시된다.
저자들은 한계점으로서 학습된 포텐셜(대신 수동으로 설계된 포텐셜 사용), 실험 전반의 고정된 하이퍼파라미터, 그리고 매우 대규모의 연합 환경에서는 희소화(sparsification)가 필요할 수 있는 완전 연결 그래프의 계산 비용( $O(m^2)$ )을 언급한다. 또한 현재의 평가는 적대적(Byzantine) 강건성보다는 통계적 이질성에 초점을 맞추고 있다고 밝힌다.