🤖 machine learning

Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach

이 논문은 새로운 랭크 인지 공유 부공간 충분성(Rank-Aware Shared-Subspace Sufficiency, RSS) 지표를 기반으로 클라이언트 간에 입력 측 또는 출력 측 LoRA 요소를 공유할지 여부를 적응적으로 선택함으로써, 투영 잔차를 최소화하고 미세 조정 성능을 향상시키는 연합 학습 프레임워크인 FedAS-LoRA를 제안한다.

원저자: Xinyi Xu, Bingnan Xiao, Shuang Qin, Gang Feng, Tony Q. S. Quek

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinyi Xu, Bingnan Xiao, Shuang Qin, Gang Feng, Tony Q. S. Quek

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 초지능형 컴퓨터(대규모 언어 모델이라고 불리는)가 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 우리 시대의 새로운 천재가 된 세상을 상상해 보세요. 하지만 여기에는 함정이 있습니다. 이 천재들은 너무 거대해서 단 하나의 스마트폰이나 노트북에 담을 수 없으며, 새로운 기술을 가르치기 위해 모든 사람의 개인적인 일기 데이터를 하나의 중앙 집중식 두뇌로 복사해서 붙여넣을 수도 없습니다. 바로 그 지점에서 "연합 학습(Federated Learning)"이 등장합니다. 이것은 마치 친구들이 각자의 거실을 떠나지 않고도 함께 새로운 춤을 배우려고 노력하는 것과 같습니다. 그들은 각자의 데이터로 연습하고, 음악이나 방 전체를 보내는 대신 오직 자신들의 '춤 동작'만을 중앙 코치에게 보냅니다. 그러면 코치는 이 동작들을 모두 섞어서 더 나은 그룹 안무를 만들어냅니다.

이 댄스 레슨을 효율적으로 만들기 위해, 과학자들은 "LoRA(Low-Rank Adaptation)"라는 영리한 기술을 사용합니다. 거대한 두뇌 전체를 다시 훈련시키는 대신, 그들은 모델에 두 개의 작고 유연한 "보조 바퀴"(Factor A와 Factor B라고 부릅시다)를 부착합니다. Factor A는 입력을 (춤 음악을) 비밀 코드로 변환하는 번역가와 같고, Factor B는 그 코드를 실제 동작으로 바꾸는 무용수와 같습니다. 연구자들이 던진 핵심 질문은 이것이었습니다. 그룹 댄스를 출 때, 모두가 동일한 번역기(Factor A)를 공유하고 각자의 무용수(Factor B)를 가질 것인가, 아니면 동일한 무용수를 공유하고 각자의 번역기를 가질 것인가? 오랫동안 사람들은 한 가지 방식을 선택하면 그것이 항상 최선이라고 가정하며 그 방식만을 고수해 왔습니다. 하지만 이 논문은 이러한 가정이 마치 모든 사람이 인간이라는 이유만으로 모두가 같은 크기의 신발을 신어야 한다고 가정하는 것과 같다고 지적합니다.

저자인 쉬신이(Xinyi Xu)와 그 팀은 이 '훈련용 보조 바퀴'를 공유하는 데 있어 단 하나의 "최선의 방법"은 없다는 것을 발견했습니다. 결국, 번역기를 공유해야 할지 아니면 무용수를 공유해야 할지는 전적으로 그룹이 다루는 특정 데이터와 댄스 스텝의 복잡도("rank")에 달려 있다는 것이 밝혀졌습니다. 그들은 만약 사람들이 정말로 무용수를 공유해야 할 때 번역기를 공유하도록 강요하거나, 그 반대의 경우를 강요한다면, 그룹의 결과물이 서툴고 맞지 않는 안무가 될 것이라는 점을 발견했습니다. 이를 해결하기 위해 그들은 FedAS-LoRA라는 새로운 방법을 발명했습니다. 훈련이 시작되기 전, 이 방법은 "정찰병"(RSS라고 부르는 지표)을 사용하여 데이터를 살짝 엿보고 다음과 같이 결정합니다. "좋아, 이 특정 그룹과 이 특정 작업에 대해서는 Factor A를 공유해야겠어," 또는 "아니, 이번에는 Factor B를 공유해야 해."

이것을 똑똑한 댄스 코치에 비유해 봅시다. 코치는 음악이 시작되기 전, 무용수들과 노래를 살펴보고 누가 신발을 공유하고 누가 안무 노트를 공유해야 할지 결정합니다. 만약 노래가 각 무용수의 스타일에 매우 특화되어 있다면, 코치는 "각자의 노트를 유지하되, 우리 모두 같은 리듬 가이드를 사용하자"라고 말할 것입니다. 만약 노래는 일반적이지만 무용수들의 동작이 매우 다양하다면, 코치는 "우리 모두 같은 안무를 사용하되, 각자의 리듬 가이드는 따로 갖자"라고 말할 것입니다. 이렇게 동적으로 선택을 내림으로써, 그들의 방식은 기존의 경직된 방식들보다 일관되게 우수한 성능을 보였습니다. 다양한 언어 작업 테스트에서, 이 적응형 방식은 이전의 최고 방식보다 거의 1퍼센트 포인트 높은 **90.77%**의 평균 정확도를 달ino 성과를 거두었습니다. 또한 그들은 이 유연한 접근 방식이 수학적으로 안정적이며, 일부 무용수가 연습을 빠지거나 늦게 합류하더라도 그룹이 무너지지 않는다는 것을 증명했습니다. 이 논문은 모델의 일부를 공유하는 방식에 있어 "하나의 정답(one-size-fits-all)"이라는 규칙은 깨졌으며, 효율적인 AI 학습의 미래는 주어진 작업에 맞는 전략을 선택할 수 있는 유연함에 있다는 것을 보여줍니다.

기술 요약: Federated LoRA에서의 Factor Sharing에 대한 재고

문제 정의
연합 학습(Federated Learning, FL)에서 저계수 적응(Low-Rank Adaptation, LoRA)을 통한 대규모 언어 모델(LLM) 미세 조정은 "집계 불일치(aggregation mismatch)"라고 알려진 결정적인 문제에 직면해 있습니다. 표준 LoRA는 모델 업데이트를 두 개의 저계수 인자(factor)의 곱인 $\Delta W_i = B_i A_i$ 로 표현합니다. $N$ 개의 클라이언트로 구성된 연합 환경에서, 단순히 인자들을 독립적으로 평균내는 것( $\frac{1}{N}\sum B_i \cdot \frac{1}{N}\sum A_i$ )은 업데이트의 평균( $\frac{1}{N}\sum B_i A_i$ )과 일치하지 않습니다.

이를 완화하기 위한 기존 접근 방식들은 종-종 모든 클라이언트가 공통의 인자 $A$ 를 공유하고 $B$ 는 로컬로 유지하는(Share-A/Local-B) 방식이나, 그 반대인(Share-B/Local-A) 방식과 같은 "하드코딩된" 인자 공유 전략을 채택합니다. 그러나 본 논문은 두 전략 모두 보편적으로 최적은 아니라는 점을 입증합니다. 어떤 인자를 공유할지에 대한 선택은 특정 데이터 분포, LoRA 랭크(rank), 그리고 시스템 설정에 따라 달라집니다. 고정된 할당은 서로 다른 클라이언트에게 요구되는 입력 측(input-side) 및 출력 측(output-side) 표현 공간 사이의 구조적 비대칭성을 고려하지 못하기 때문에 하위 최적(suboptimal)의 성능을 초래할 수 있습니다.

방법론
저자들은 훈련 시작 전에 공유 전략을 적응적으로 선택하는 프레임워크인 FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)를 제안합니다.

이론적 통찰 (최소제곱 대리 모델):
본 논문은 최소제곱 대리 모델(least-squares surrogate)을 사용하여 LoRA 인자의 구조적 비대칭성을 분석합니다. 이를 통해 다음을 밝혀냈습니다:
- Share-A/Local-B는 모든 클라이언트에 대해 공통의 랭크- $r$ 입력 측 공간을 부과합니다. 이 방식의 성능는 원하는 업데이트를 공유된 입력 공간으로 투영할 때 발생하는 투영 잔차(projection residual)에 의해 제한됩니다.
- Share-B/Local-A는 공통의 랭크- $r$ 출력 측 공간을 부과합니다. 이 방식의 성능는 공유된 출력 공간으로의 투영 잔차에 의해 제한됩니다.
  선호되는 전략은 클라이언트 전체에 걸쳐 집계된 투영 잔차를 최소화하는 전략입니다.
랭크 인식 공유 부공간 충분성(Rank-Aware Shared-Subspace Sufficiency, RSS) 지표:
훈련 없이 최적의 공유 측을 결정하기 위해, 저자들은 RSS 지표를 설계했습니다. 이 지표는 동결된(frozen) LLM 백본에서 추출된 표현(representation)을 사용하여, 전역 랭크- $r$ 입력 부공간이 로컬 데이터 분포를 포착하기에 충분한지 평가합니다.
- 이 지표는 글로벌 랭크- $r$ 부공간이 포착하는 "표현 에너지(representation energy)"(2차 변동성에 의해 포착됨)를 클라이언트별 랭크- $r$ 부공간이 보유한 에너지와 비교합니다.
- 임계값 $\tau(r)$ 은 추정 오차를 고려하기 위해 무작위 샘플 재할당 및 부트스트랩 리샘플링을 사용하여 보정됩니다.
- 결정 규칙: 만약 전역 입력 부공간을 사용함에 따른 에너지 손실(RSS 결핍)이 임계값을 초과하면, 시스템은 Share-B/Local-A를 선택합니다. 그렇지 않으면 Share-A/Local-B를 선택합니다.
수렴 분석:
본 논문은 임의의 클라이언트 참여(부분 참여) 상황에서도 FedAS-LoRA가 정체 구역(stationary neighborhood)으로 수렴한다는 이론적 증명을 제공합니다. 이 분석은 두 가지 공유 전략 모두에 적용되며, 반복 횟수, 로컬 스텝, 클라이언트 샘플링 드리프트에 의존하는 수렴 경계(convergence bound)를 만족함을 보여줍니다.

주요 기여

투영 기반 비교: 본 논문은 Share-A/Local-B와 Share-B/Local-A를 최초로 공식 비교하여, 이들이 각각 입력 측 및 출력 측 투영 잔차에 대응함을 밝혀냈습니다. 이는 왜 고정된 전략이 다양한 연합 환경에서 실패하는지를 설명합니다.
적응형 프레임워크 (FedAS-LoRA): 정책을 하드코딩하는 대신 데이터 특성에 따라 공유 인자를 동적으로 선택하는 새로운 프레임워크를 제안합니다.
훈련이 필요 없는 지표 (RSS): 동결된 백본 표현만을 사용하여 최적의 공유 측을 효율적으로 결정하는 RSS 지표를 설계하여, 예비 훈련의 필요성을 없앴습니다.
수렴 보장: 일반적인 선행 연구들의 완전 참여 가정에서 벗어나, 임의의 클라이언트 참여 조건에서도 제안된 방법의 수렴을 입증하는 이론적 증명을 제공합니다.

실험 결과
실험은 자연어 이해(GLUE 벤치마크: MNLI, SST-2, QNLI, QQP, RTE) 및 자연어 생성(LLaMA3-8B를 이용한 GSM8K) 태스크에서 수행되었습니다.

성능: FedAS-LoRA는 다양한 태스크에서 베이스라인(표준 LoRA, FFA-LoRA, FedDPA-LoRA, FedSA-LoRA 포함)을 지속적으로 능가했습니다. GLUE 벤치마크에서 FedAS-LoRA는 평균 **90.77%**의 정확도를 달성하여, FedSA-LoRA보다 0.93 퍼센트 포인트 높은 성능을 보였습니다.
강건성: 본 방법은 다음과 같은 다양한 조건에서도 우수한 성능을 입증했습니다:
- 클라이언트 샘플링: 균등(uniform) 및 비균등(non-uniform) 샘플링 설정.
- 데이터 이질성: IID 및 non-IID (Dirichlet) 분포.
- LoRA 랭크: 성능이 랭크 $r \in \{2, 4, 8, 16\}$ 전반에 걸쳐 경쟁력을 유지하여, 단일 공유 정책이 모든 랭크에 최적은 아님을 검증했습니다.
일반성: 이 접근 방식은 다양한 LoRA 변형(rsLoRA, VeRA)과 모델 크기(RoBERTa-large, LLaMA3-8B)에 대해 효과적이었습니다.

의의
본 논문의 의의는 단일 인자 공유 전략이 모든 연합 LoRA 시나리오에 충분하다는 가정에 도전했다는 점에 있습니다. 최적의 전략이 데이터 분포와 LoRA 랭크 사이의 상호작용에 달려 있음을 입증함으로써, 저자들은 원칙적이고 적응적인 솔루션을 제공합니다. RSS 지표는 자원이 제한된 연합 환경에서 미세 조정 성능을 향상시키기 위한 실용적이고 훈련이 필요 없는 메커니즘을 제공하며, 공유된 인자가 클라이언트 데이터의 근본적인 구조적 요구사항과 일치하도록 보장합니다.

유사한 논문