🤖 machine learning

Subspace-Constrained Federated Learning with Low-Rank Adaptation

본 논문은 LoRA 미세 조정 과정에서 발생하는 이질적인 클라이언트 데이터 간의 기하학적 불일치를 완화하기 위해 부분 공간 정규화된 연합 학습 목적 함수를 제안하며, RoBERTa-large 및 SmolLM-360M에 대한 광범위한 실험을 통해 이 접근 방식이 클라이언트 간의 거의 완벽한 기저 중첩을 강제함으로써 수렴 속도와 정확도를 크게 향상시킨다는 것을 입증한다.

원저자: Neranjan Senarath, Rohit Muralitharan, Sadia Asif

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Neranjan Senarath, Rohit Muralitharan, Sadia Asif

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

10명의 친구가 함께 새로운 댄스 루틴을 배우려고 노력하는 상황을 상상해 보세요. 하지만 이들은 모두 서로 다른 방에 있습니다 (이것이 **연합 학습(Federated Learning)**입니다). 그들은 자신의 연습 영상을 공유할 수 없으며 (개인정보 보호), 중앙 코치에게는 오직 자신들의 동작을 설명하는 짧은 텍스트 메시지만 보낼 수 있습니다 (통신 제한).

시간과 대역폭을 아끼기 위해, 그들은 전체 댄스 루틴을 보내는 대신, 더 나은 춤을 만들기 위해 스스로 고안해 낸 몇 가지 핵심적인 "동작"이나 "수정 사항"만을 보냅니다. 이것은 사람들이 거대한 과업을 배울 때 아주 작고 효율적인 부분만을 조정하게 해주는 기술인 **LoRA (Low-Rank Adaptation)**와 유사합니다.

문제점: 서로 다른 방향으로 춤추기

이 논문은 숨겨진 문제를 지적합니다. 각 친구가 서로 다른 노래나 스타일에 맞춰 연습하기 때문에 (데이터의 이질성), 그들이 만들어낸 동작들이 완전히 다른 방향을 향하게 된다는 것입니다.

친구 A는 왼쪽으로 회전하는 동작을 만듭니다.
친구 B는 오른쪽으로 회전하는 동작을 만듭니다.
친구 C는 앞으로 점프하는 동작을 만듭니다.

코치가 이 모든 동작을 모아 하나의 "글로벌 댄스"를 만들 때, 이 동작들은 서로를 상쇄해 버립니다. 왼쪽 회전은 오른쪽 회전을 상쇄하고, 점프는 혼란 속에서 사라집니다. 논문은 이를 **"침묵의 상쇄(Silent Cancellation)"**라고 부릅니다. 코치는 모두의 노력을 보게 되지만, 동작들이 서로 충돌하기 때문에 최종 결과물은 약해집니다.

해결책: "공유된 기준" 규칙

저자들은 Subspace-Regularized LoRA라는 새로운 규칙을 제안합니다.

모두가 연습을 시작하기 전에 코치가 모두에게 "이상적인" 동작이 담긴 공유된 기준 영상을 준다고 상상해 보세요. 규칙은 다음과 같습니다: "당신만의 새로운 동작을 만들어도 좋지만, 반드시 이 공유된 기준 영상의 방향과 매우 가깝게 유지해야 합니다."

이것이 바로 **서브스페이스 제약(Subspace Constraint)**입니다. 이는 학습을 막는 것이 아니라, 그저 그들의 "댄스 플로어"가 다른 모든 사람과 일치하도록 부드럽게 유도하는 것입니다.

친구 A가 무작정 왼쪽으로 회전하고 친구 B가 무작정 오른쪽으로 회전하는 대신, 두 사람 모두 코치의 기준 방향에 더 가깝게 회전을 조정합니다.
이렇게 하면 코치가 그들의 동작을 결합할 때, 동작들이 서로를 상쇄하는 대신 서로를 강화하게 됩니다.

무엇을 테스트했는가

연구진은 두 가지 "댄서"(AI 모델)를 대상으로 이 아이디어를 테스트했습니다:

RoBERTa-large: 매우 크고 복잡한 모델.
SmolLM-360M: 더 작고 컴팩트한 모델.

그들은 10명의 친구(클라이언트)를 시뮬레이션했고, 확실성을 기하기 위해 실험을 24번 반복했습니다.

결과

1. "정렬" 점수 (그들이 함께 춤을 추었는가?)
팀은 친구들의 동작이 얼마나 잘 정렬되었는지 측정했습니다.

기존 방식: 친구들의 동작은 어느 정도 정렬되어 있었습니다 (약 96%에서 99%의 중첩).
새로운 방식: 친구들의 동작은 거의 완벽하게 정렬되었습니다 (99.99% 중첩). 그들은 모두 정확히 같은 "플로어" 위에서 춤을 추고 있었습니다.

2. "성능" 점수 (춤이 멋졌는가?)

대형 모델 (RoBERTa)의 경우: 새로운 방식은 엄청난 성공이었습니다. 동작들이 완벽하게 정렬되었기 때문에, 최종 댄스는 이전보다 훨씬 더 좋아졌습니다. 정확도가 크게 뛰어올랐고, "실수"(손실)는 줄어들었습니다.
소형 모델 (SmolLM)의 경우: 여기서 결과는 놀라웠습니다. 새로운 방식이 99.99%라는 완벽한 정렬을 달성했음에도 불구하고, 최종 댄스 점수는 기존 방식에 비해 크게 개선되지 않았습니다. 작은 모델은 약간의 불일치가 있어도 충분히 잘 해내는 것처럼 보였습니다.

핵심 요점

이 논문은 기하학적 정렬(모두가 같은 일반적인 방향으로 움직이도록 만드는 것)이 실제로 가능하며, 그들의 새로운 규칙을 통해 달성될 수 있음을 증명합니다.

하지만 논문은 또한 완벽한 정렬이 항상 더 나은 최종 점수를 보장하는 것은 아니라는 점도 경고합니다.

크고 복잡한 모델의 경우, 정렬이 더 나은 성능을 끌어내기 위한 핵심이었습니다.
작은 모델의 경우, 정렬은 완벽하게 이루어졌지만, 그것이 엄청난 점수 상승으로 이어지지는 않았습니다.

요약하자면: 저자들은 AI 모델들이 학습 업데이트의 방향에 대해 "합의"하도록 강제하는 시스템을 구축했습니다. 이는 모델들이 서로 싸우는 것을 막아줍니다. 이 방식은 큰 모델에는 눈부시게 효과적이지만, 작은 모델의 경우에는 단순히 방향에 합의하는 것만이 높은 점수를 얻기 위한 유일한 요소는 아닙니다.

기술 요약: 저계수 적응(Low-Rank Adaptation)을 이용한 부분 공간 제약 연합 학습

1. 문제 정의

연합 학습(Federated Learning, FL)은 원시 데이터를 공유하지 않고도 분산된 클라이언트 간의 협력적 학습을 가능하게 하지만, 클라이언트 데이터 분포가 이질적인 경우 상당한 어려움에 직면합니다. 표준 연합 평균(FedAvg)에서는 통계적 이질성으로 인해 "클라이언트 드리프트(client drift)"가 발생하며, 이는 로컬 모델 업데이트가 서로 발산하여 불안정성과 느린 수렴을 초와합니다.

대규모 파운데이션 모델의 부상과 함께, 저계수 적응(Low-Rank Adaptation, LoRA)은 FL을 위한 인기 있는 매개변수 효율적 미세 조정 기법이 되었습니다. LoRA는 가중치 업데이트( $\Delta W$ )를 저계수 분해($BA$)로 제한하여 통신 및 계산 비용을 줄입니다. 그러나 본 논문은 이질적인 데이터 분포 하에서 서로 다른 클라이언트들이 서로 다른 부분 공간(subspaces)을 점유하는 저계수 업데이트를 학습한다는 가설을 세웁니다. 이러한 기하학적으로 정렬되지 않은 업데이트를 서버에서 단순히 결합하면, 서로 상쇄되어 버리는 현상이 발생할 수 있으며, 이를 **"침묵의 상쇄(silent cancellation)"**라고 명명합니다. 이러한 구조적 상쇄는 개별 클라이언트가 실질적인 로컬 진전을 이루더라도 유효한 글로벌 업데이트의 크기를 감소시켜 수렴을 방해합니다.

2. 방법론

저자들은 로컬 클라이언트 업데이트를 공유된 글로벌 참조 부분 공간과 정렬하도록 설계된 프레임워크인 **부분 공간 정규화 LoRA(Subspace-Reg)**를 제안합니다.

2.1 목적 함수

각 클라이언트 $k$ 는 근사 정렬 페널티를 포함하는 부분 공간 정규화된 목적 함수를 최적화합니다. 목적 함수는 다음과 같습니다:
$L_k^{SR}(w_k) = \min_{A_k, B_k} \left\{ L_k(w_k) + \frac{\mu}{2} \|B_k A_k - \Delta W_g^{(t)}\|_F^2 + \frac{\lambda}{2} (\|A_k\|_F^2 + \|B_k\|_F^2) \right\}$
여기서:

$L_k(w_k)$ 는 로컬 손실(loss)입니다.
$\Delta W_g^{(t)}$ 는 현재의 글로벌 저계수 업데이트(서버 참조값)입니다.
$\mu$ 는 부분 공간 정렬의 강도를 제어합니다.
$\lambda$ 는 저계수 인자(factors)를 정규화합니다.
프로베니우스 노름(Frobenius norm) 항은 로컬 업데이트가 서버의 참조 업데이트 근처에 머물도록 제한하여 건설적인 집합(aggregation)을 유도합니다.

2.2 알고리즘

학습은 수정된 표준 FL 구조를 따릅니다:

초기화: 서버는 직교 열을 가진 글로벌 저계수 기저(global low-rank basis) $B_g$ 를 초기화합니다.
서버 단계: 서버는 클라이언트를 샘플링하고, 이전 클라이언트 업데이트들의 가중 합에 대한 SVD를 통해 글로벌 참조 업데이트를 계산한 후, 모델과 참조 기저를 브로드캐스트합니다.
클라이언트 단계: 각 클라이언트는 로컬 인자를 글로벌 참조로 초기화하고 $E$ $E$ 번의 로컬 에포크를 수행합니다. 로컬 경사 하강법은 다음을 포함하는 부분 공간 정규화된 손실을 최소화합니다:
- 주요 태스크 손실.
- 곱 $B_k A_k$ 가 글로벌 참조 $B_g A_g$ 로부터 벗어나는 것을 처벌하는 항.
- 기저 $B_k$ 가 $B_g$ 로부터 벗어나는 것을 처벌하는 선택적 항.
집합(Aggregation): 클라이언트는 업데이트( $\Delta W_k = B_k A_k$ )를 서버로 보내며, 서버는 이를 집합하여 글로벌 모델을 업데이트합니다.

3. 이론적 분석

본 논문은 이질성 하에서 부분 공간 정렬이 수렴에 어떻게 영향을 미치는지 이해하기 위해 이론적 분석을 제공합니다.

기하학적 상쇄 경계(Geometric Cancellation Bound): 저자들은 집합된 업데이트의 제곱 노름이 클라이언트 업데이트 간의 교차 항(cross-terms)에 의존함을 도출했습니다. 이질성 하에서 업데이트가 정렬되지 않으면 이 교차 항이 음수가 되어 유효한 업데이트 크기를 감소시킵니다(침묵의 상쇄).
수렴 보장: 표준적인 가정(매끄러움, 유계된 이질성, 유계된 분산, 유계된 저계수 업데이트) 하에서, 본 논문은 평균 제곱 경사 노름에 대한 수렴 경계를 증명합니다.
- 경계에는 정렬 페널티를 나타내는 $C_1 \sigma^2 / \mu^2$ 항이 포함됩니다.
- 고정된 상쇄 항으로 고통받는 표준 LoRA-FedAvg와 달리, Subspace-Reg는 정렬 파라미터 $\mu$ 를 증가시킴으로써 이 페널티를 임의로 작게 만들 수 있습니다.
- 저자들은 목표 경사 정확도 $\epsilon$ 을 달 ঘু기 위한 $\mu$ 와 통신 라운드 수 $T$ 에 대한 조건을 도출했습니다.

4. 실험 결과

제안된 방법은 두 개의 사전 학습된 모델(RoBERTa-large 및 SmolLM-360M)과 HellaSwag 데이터셋을 사용하여 비-IID 설정(10개 클라이언트, 디리클레 $\beta=0.5$ )에서 평가되었습니다. 실험은 3개의 무작위 시드(42, 43, 44)에 대해 수행되었으며 총 24회의 실행을 거쳤습니다.

4.1 RoBERTa-large에서의 성능

Subspace-Reg는 모든 베이스라인(FedAvg, SVD 재분배, FedSVD)을 크게 능가했습니다:

정확도: 가장 높은 평균 최고 정확도(0.454 ± 0.023)와 평균 최종 정확도(0.429 ± 0.011)를 달성했으며, 가장 우수한 베이스라인인 FedSVD보다 최고 정확도 면에서 약 0.118의 차이로 앞섰습니다.
손실: 가장 낮은 최종 손실(1.363)을 달성했습니다.
정렬: 베이스라인의 0.958–0.991과 비교하여 거의 완벽한 기저 중첩(Basis Overlap)(≈0.9999)을 달성했습니다.

4.2 SmolLM-360M에서의 성능

SmolLM-360M에 대한 결과는 정확도 이득이 모델 의존적임을 보여주었습니다:

정확도: FedAvg가 가장 높은 정확도(0.581)를 기록했으며, Subspace-Reg는 2위(0.564)를 차지했습니다.
정렬: 정확도 향상이 없음에도 불구하고, Subspace-Reg는 거의 완벽한 기저 중첩(0.99989)을 유지했으며, 이는 RoBERTa 결과와 일치합니다.
결론: 기하학적 정렬은 성공적이었으나, 이 특정 모델에 대해서는 다운스트림 정확도 향상으로 이어지지 않았습니다.

4.3 주요 진단 결과

기저 중첩 vs 코사인 유사도: SVD 기반 방법들이 더 높은 코사인 기반 지표(클라이언트-글로벌 코사인, 쌍별 코사인)를 달성했음에도 불구하고, Subspace-Reg만큼의 정확도 향상을 이끌어내지는 못했습니다. 저자들은 코사인 유사도보다 기저 중첩(직접적인 부분 공간 정렬)이 더 중요한 진단 지표임을 확인했습니다.
강건성: 거의 완벽한 기저 중첩은 모든 시드와 두 모델 모두에서 일관되게 나타났으며, 이는 다운스트림 성능이 변하더라도 기하학적 정렬 가설이 유효함을 입증합니다.

5. 의의 및 주장

본 논문은 다음과 같은 기여와 의의를 주장합니다:

침묵의 상쇄 식별: 부분 공간의 불일치가 LoRA 기반 FL에서 파괴적인 집합을 초래한다는, 이전에 깊이 탐구되지 않았던 현상을 밝혀냈습니다.
부분 공간 정규화 목적 함수: 로컬 업데이트가 글로벌 참조 부분 공간 근처에 머물도록 명시적으로 권장하는 근사 정렬 페널티를 제안하여, 매개변수 크기에서 기하학적 구조로 FedProx의 개념을 확장했습니다.
이론적 개선: 이질성 하에서 정렬 페널티를 조절 가능하다는 것을 보여주는 수렴 경계를 제공함으로써, 표준 LoRA-FedAvg보다 엄격히 더 나은 보장을 제공합니다.
경험적 검증: 제안된 방법이 일관되게 거의 완벽한 기저 중첩(≈0.9999)을 달성함을 입증했습니다. RoBERTa-large의 경우, 이는 상당한 정확도 향상으로 이어졌습니다. SmolLM-360M의 경우, 기하학적 정렬이 다운스트림 정확도와 독립적으로 달성될 수 있음을 확인시켜 주었으며, 이는 정렬의 이점이 모델 의존적임을 시사합니다.
진단적 통찰: 본 연구는 연합 LoRA 설정에서 코사인 유사도보다 기저 중첩이 집합 품질에 더 관련 있는 지표임을 확립했습니다.

저자들은 부분 공간 정렬이 강력한 기하학적 메커니즘이지만, 이것이 최종 태스크 성능에 미치는 영향은 특정 모델 아키텍처와 용량에 따라 달라지므로, 왜 이러한 이점이 모델마다 다르게 나타나는지에 대한 추가 연구가 필요하다고 결론지었습니다.