📊 statistics

Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning

이 논문은 데이터가 부족한 조건에서의 연합 학습 내 희소 모델 발견을 위해 엔트로피 정규화된 확률적 게이팅 메커니즘을 제안하며, 이는 조기 수렴을 방지하기 위해 파라미터 불확실성을 유지함으로써 Fed-IHT 및 FedAvg와 같은 기존 방식들보다 우수한 통계적 성능과 희소성 회복을 달성한다.

원저자: Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell

게시일 2026-07-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: 비밀 암호가 있는 팀 프로젝트

학생들(클라이언트)이 각자 고유한 숙제 문제를 가지고 있다고 상상해 보세요. 그들은 거대하고 어려운 퍼즐을 함께 풀어내어 하나의 "전 세계 공통 정답지"(글로벌 모델)를 만들고 싶어 합니다. 하지만 두 가지 엄격한 규칙이 있습니다:

개인정보 보호: 자신의 숙제를 다른 누구에게도 보여줄 수 없습니다.
효율성: 학생들은 자신의 노트 전체를 우편으로 보내는 대신, 선생님(서버)에게 짧은 문자 메시지 요약본만 보낼 수 있습니다.

이것이 바로 **연합 학습(Federated Learning, FL)**입니다. 문제는 학생들이 서로 다른 종류의 숙제(어떤 학생은 수학, 어떤 학생은 역사)를 가지고 있으며, 매일 모든 학생이 수업에 출석하는 것도 아니라는 점입니다.

문제점: "너무 많은 선택지"의 함정

연구자들은 학생들이 희소(sparse) 모델을 학습하기를 원했습니다. 여기서 "희소하다"는 것은 퍼즐을 풀기 위해 수많은 도구 중 오직 몇 가지 필수적인 도구만을 사용하는 것을 의미합니다. 이렇게 하면 "정답지"가 더 작아지고, 전송 속도가 빨라지며, 이해하기 쉬워집니다.

하지만 학생들이 사용할 수 있는 도구의 수에 비해 숙제 문제의 양이 매우 적을 때(이를 데이터 희소성 상황이라고 합니다), 학습 과정은 엉망이 됩니다.

기존 방식 (Pruning/가지치기): 학생들은 먼저 모든 것을 배우려고 노력한 뒤, 선생님이 "자, 이제 도구의 90%를 버리세요"라고 말하는 방식입니다. 문제는, 어떤 도구가 실제로 중요한지 알 만큼 충분히 연습하지 못했기 때문에, 잘못된 도구를 버릴 수도 있다는 점입니다. 이들은 너무 일찍 "나쁜 추측"에 갇혀버리게 됩니다.
결과: 최종 모델은 본 적 없는 새로운 테스트 문제에 대해 성능이 매우 떨어지게 됩니다.

해결책: "여유 공간" 전략 (E-FLoPS)

저자들은 E-FLoPS라고 불리는 새로운 방법을 제안합니다. 학생들에게 어떤 도구를 유지할지 즉시 결정하도록 강요하는 대신, "확률적 게이트(probabilistic gate)"를 제공합니다.

비유: 안개 낀 문
도구 상자에 있는 모든 도구 앞에는 문이 있다고 상상해 보세요.

기존 방식: 문은 활짝 열려 있거나(도구 유지), 완전히 잠겨 있거나(도구 폐기) 둘 중 하나입니다. 초기에 실수를 하면 되돌릴 수 없습니다.
E-FLoPS 방식: 문 앞에 안개가 끼어 있습니다. 때로는 문이 80% 확률로 열려 있고, 때로는 20% 확률로 열려 있습니다. 학생들은 문을 당분간 "안개 낀 상태(불확실한 상태)"로 유지하도록 권장됩니다.

여기에서 **엔트로피 정규화(Entropy Regularization)**가 등장합니다. "엔트로피"를 혼란 또는 불확실성의 척도로 생각하세요.

연구자들은 다음과 같은 규칙을 추가합니다: "너무 빨리 확신하지 마세요!"
그들은 학생들이 문을 즉시 쾅 닫아버리기보다, 문을 안개 낀 상태로 유지하며(다양한 도구의 조합을 탐색하며) 탐색하는 것에 보상을 줍니다.
이를 통해 팀은 어떤 도구가 정말 최선인지 최종 결정을 내리기 전에, 솔루션의 여러 가지 버전을 "샘플링(시도)"해 볼 수 있습니다.

실제 작동 방식

탐색 단계 (Exploration Phase): 학생들은 로컬에서 학습하되, 자신들의 "게이트"(어떤 도구를 사용할지에 대한 결정)를 유연하게 유지합니다. 이들은 다양한 희소 구성(sparse configurations)을 탐색합니다.
합의 (Consensus): 학생들은 업데이트 내용을 선생님에게 보냅니다. 선생님은 이를 평균 내어 더 나은 전체적인 관점을 만듭니다.
최종 컷 (Final Cut): 팀이 충분히 탐색하고 최선의 경로를 찾으면, 비로소 안개가 걷힙니다. 그들은 가장 좋은 도구들을 확정하고 나머지는 버림으로써, 매우 효율적이고 희소한 모델을 만들어냅니다.

실험 결과

연구진은 세 가지 다른 "퍼즐"을 통해 테스트를 진행했습니다:

합성 데이터 (Synthetic Data): 정답을 알고 있는 가상의 수학 문제.
MNIST (손글씨 숫자): 0~9까지의 숫자를 인식하는 것.
백혈병 데이터 (Leukemia Data): 유전자 데이터를 사용하여 두 종류의 혈액암을 구별하는 의료 데이터셋.

결과:

더 높은 정확도: E-FLoPS는 특히 데이터가 부족한 상황에서 기존 방식(Fed-IHT 및 표준 FedAvg)보다 일관되게 퍼즐을 더 잘 풀었습니다.
더 나은 도구 선택: 백혈병 실험에서 E-FLoPS는 암과 관련이 있다고 알려진 특정 유전자(도구)들을 다른 방법들보다 더 자주 정확하게 식별해 냈습니다. 단순히 추측한 것이 아니라, 더 신뢰할 수 있게 "옳은" 유전자를 찾아낸 것입니다.
효율성: 더 많은 옵션을 탐색하고 있음에도 불구하고, 주고받는 데이터의 양은 기존의 가장 효율적인 방법들과 유사하게 낮은 수준을 유지했습니다.

핵심 요약

데이터가 부족하고 개인정보 보호가 중요한 세상에서는 결론을 너무 서둘러서는 안 됩니다. E-FLoPS는 시스템이 최종 결정을 내리기 전에 호기심을 갖고 다양한 가능성을 탐색하도록(문의 안개를 유지하도록) 가르칩니다. 이는 팀이 잘못된 솔루션에 갇히는 것을 방지하고, 가장 효율적이며 정확한 경로를 찾을 수 있도록 보장합니다.

기술 요약: 희소 데이터 연합 학습에서의 희소 모델 발견을 위한 엔트로피 정규화 확률론적 게이트

문제 정의
연합 학습(Federated Learning, FL)은 파라미터 수( $d$ )가 총 샘플 수( $N$ )를 훨씬 초과하는 고차원 데이터 결핍 환경( $d \gg N$ )에서 운영될 때 상당한 어려움에 직면합니다. 이러한 설정에서 표준 최적화 방식은 종종 미지의 테스트 데이터에 대해 일반화에 실패하는 파라미터 구성을 생성합니다. 희소 모델(Sparse models)은 통신 및 계산 효율성 측면에서 이점을 제공하지만, 데이터 이질성과 부분적인 클라이언트 참여 조건 하에서 이러한 희소 구조를 발견하는 것은 어렵습니다. 크기 기반 프루닝(Magnitude-based pruning)이나 연합 반복적 경계 임계값 결정(Fed-IHT)과 같은 기존 접근 방식은 파라미터 공간을 충분히 탐색하지 못해, 최적이 아닌 희소 서포트(Support)에 조기에 고착되는 문제를 겪는 경우가 많습니다. 또한, 기존의 L1/L2 정규화 기법은 특정 파라미터 밀도를 강제하기보다는 파라미터의 크기에 의존하므로, 원하는 희소도 $\rho$ 를 가진 모델을 발견하는 데 한계가 있습니다.

방법론
본 논문은 $L_0$ 밀도 제약 조건 하에서 불확실성 탐색을 유지하며 희소 모델을 학습하도록 설계된 분산 알고리즘인 E-FLoPS(Entropy-Regularized Federated Learning with Probabilistic Gates)를 제안합니다.

확률론적 게이트 및 재매개변수화(Reparameterization): 이 방법은 확률론적 게이트 $z \in \{0,1\}^d$ 프레임워크를 채택하며, 유효 파라미터는 $\theta = \tilde{\theta} \odot z$ 로 정의됩니다. 경사 하강법 기반 최적화를 가능하게 하기 위해, 이산 게이트를 베르누이 분포의 연속적 완화 형태인 Hard Concrete 분포를 사용하여 근사합니다. 이를 통해 $L_0$ 유사 노름(Pseudo-norm, 비제로 파라미터의 개수)을 활성 게이트의 기대값 $\mathbb{E}_q[z_j]$ 로 근사할 수 있습니다.
엔트로피 정규화: 핵심적인 혁신은 최적화 목적 함수에 엔트로피 정규화 항을 도입한 것입니다. 라그랑주 함수에는 게이트 분포의 상대적 엔트로피를 처벌하는 쿨백-라이블러(KL) 발산 항 $KL(q(z_j) || p(z_j))$ 가 포함됩니다. 이 메커니즘은 게이트 분포가 너무 일찍 결정론적인 0 또는 1 상태로 붕괴되는 것을 방지하여, 훈련 과정 중 경쟁적인 희소 구성들을 탐색하도록 장려합니다. 온도 매개변수 $T$ 는 이 처벌의 강도를 조절합니다.
연합 최적화: 알고리즘은 중앙 서버의 오케스트레이션 하에 작동합니다. 클라이언트는 원시 파라미터 $\tilde{\theta}$ $\tilde{θ}$ , 게이트 파라미터 $\phi = \log \alpha$ $ϕ = lo g α$ , 그리고 타겟 밀도 $\rho$ $ρ$ 를 강제하는 라그랑주 승수 $\lambda$ $λ$ 에 대해 로컬 확률적 경사 하강법(SGD) 업데이트를 수행합니다.
- 서버는 업데이트를 동기적으로 집계합니다.
- 통신 효율성을 보장하기 위해, 알고리즘은 훈련 중에 프루닝 메커즘을 사용합니다. 파라미터와 그에 대응하는 게이트 통계량 중 상위 $m$ 개의 인덱스( $m = \lfloor \rho \cdot |\theta| \rfloor$ )만을 직렬화하여 통신합니다.
- 수신 시, 서버는 전역 모델을 재구성하고 집계된 게이트 값으로부터 노이즈 성분을 제외한 게이트 파라미터를 복구합니다.

주요 기여

정식화: 저자들은 연합 환경에 특화된 미분 가능한 엔트로피 정규화 $L_0$ 제약 목적 함수를 정식화했습니다. 이 정식화는 $L_0$ 노름의 비미분성과 $d \gg N$ 환경에서의 최적화 불안정성을 해결합니다.
알고리즘 (E-FLoPS): 본 논문은 확률론적 게이트와 엔트로피 정규화를 통합한 연합 평균(Federated Averaging)의 변형을 소개합니다. 이를 통해 사용자가 정의한 타겟 희소도를 유지하면서도, 최적이 아닌 지역 최솟값으로의 조기 수렴을 피하기 위한 불확실성 탐색을 가능하게 합니다.
통신 효율성: 이 방법은 희소 서포트와 필수적인 게이트 통계량만을 전송함으로써 상당한 통신 압축을 달성하며, 이는 반복적 경계 임계값 결정법과 유사한 수준이지만 훈련 후 프루닝 오버헤드는 발생하지 않습니다.

실험 결과
저자들은 합성 데이터 및 실제 벤치마크를 통해 E-FLoPS를 Fed-IHT 및 사후 훈련 프루닝이 적용된 밀집 연합 평균(Dense FedAvg)과 비교 평가했습니다.

합성 선형 회귀: 고차원 설정에서 다양한 샘플 대비 파라미터 비율( $N/|\theta|$ )에 대해, E-FLoPS는 특히 가장 데이터가 희소한 환경에서 Fed-IHT 및 FedAvg보다 일관되게 높은 테스트 $R^2$ 점수와 더 나은 희소성 복구 정확도(실제 특징 복구 비율로 측정)를 달성했습니다.
MNIST 이미지 분류: 97.5%의 타겟 희소도를 가진 CNN 태스크에서, E-FLoPS는 Fed-IHT와 유사한 테스트 시점 성능 및 통신 효율성을 보여주었습니다. 그러나 추론 시 곱셈-누산 연산(MACs)의 감소 폭이 더 커서, 우수한 계산 효율성을 입증했습니다.
백혈병 분류: Golub 유전자 발현 데이터셋(샘플 72개, 특징 3571개, $N/|\theta| \approx 0.02$ )을 사용하여, E-FLoPS는 30개의 서로 다른 무작위 시드에 대해 Fed-IHT 및 FedAvg를 유의미하게 능가하는 테스트 정확도를 기록했습니다. 결정적으로, E-FLoPS가 선택한 유전자(예: cystatin C 및 myeloperoxidase)는 암 전이에 관한 기존 실험 연구와 일치하는 반면, 다른 방법들은 덜 생물학적으로 관련 있는 특징들을 선택했습니다.

의의 및 주장
본 논문은 E-FLoPS가 연합 학습에서 희소 모델 발견을 위한 견고한 메커니즘을 제공하며, 특히 소규모 샘플, 고차원 환경에서 나타나는 불안정성을 해결한다고 주장합니다. 엔트로피 정규화를 활용함으로써, 이 방법은 최적이 아닌 희소 서포트에 조기에 고착되는 것을 방지하여 더 나은 일반화 성능과 실제의 희소 구조에 대한 더 정확한 복구를 이끌어냅니다. 저자들은 이 접근 방식이 기존의 희소 방법인 Fed-IHT와 대등한 통신 비용을 유지하면서도 이러한 통계적 이득을 달ach할 수 있다고 단언합니다. 이는 개인정보 보호가 중요하고 자원이 제한된 학습 환경에서 실질적인 솔루션이 될 수 있음을 시사합니다. 본 연구는 크기 기반 프루닝 기술에서 흔히 간과되는 요소인 '불확실성 탐색'의 중요성을 강조합니다.