🤖 machine learning

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

본 논문은 자원이 제한된 클라이언트가 SVD 기반의 압축된 자기 완결적 모델과 2단계 집계 프로토콜을 사용하여 파운데이션 모델을 미세 조정할 수 있게 함으로써, 표현 충실도를 유지하면서도 메모리 요구 사항을 크게 줄이는 동시에 우수한 성능을 달성하는 새로운 연합 학습 프레임워크인 FedSLM을 제안한다.

원저자: Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

게시일 2026-08-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가장 똑똑한 컴퓨터가 방 안의 누구의 주머니에도 들어갈 수 없을 만큼 거대한 세상을 상상해 보십시오. 이것들은 "파운데이션 모델(Foundation Models)"로, 언어, 이미지, 그리고 주변 세계를 이해하기 위해 바다와 같은 방대한 데이터로 훈련된 거대한 인공지능 두뇌입니다. 이들은 믿을 수 없을 정도로 강력하지만, 동시에 메모리를 탐하는 식탐꾼이기도 하여 이를 실행하기 위해 거대하고 비싼 서버를 필요로 합니다. 한편, 환자 기록을 가진 의사나 금융 데이터를 가진 은행처럼 실제로 가장 가치 있고 비밀스러운 정보를 보유한 사람들은 이 거대한 두뇌를 불러오기조차 버거운 평범한 컴퓨터만을 가지고 있는 경우가 많습니다. 이는 좌절스러운 교착 상태를 만듭니다. 전문가들은 데이터를 가지고 있지만 두뇌가 부족하고, 두뇌는 데이터를 볼 수 없는 서버에 갇혀 있는 것입니다.

이를 해결하기 위해 과학자들은 "연합 학습(Federated Learning)"이라는 기술을 사용합니다. 이것은 마치 학생들이 자신의 조각을 선생님에게 절대 보여주지 않으면서 함께 퍼즐을 풀려고 노력하는 것과 같습니다. 데이터를 중앙의 한 곳으로 보내는 대신, 학생들은 자신의 "아이디어"나 "조정값"만을 선생님에게 보내며, 선생님은 이를 결합하여 더 똑똑한 그룹의 두뇌를 만듭니다. 하지만 "선생님"이 10억 개의 파라미터를 가진 거대 모델일 때, 학생들의 컴퓨터가 거대 모델의 아주 작은 조각조차 담을 수 없을 정도로 약하다면 조정값만을 보내는 것조차 물류적인 악몽이 됩니다. 과제는 이 약한 컴퓨터들이 자신의 하드웨어를 망가뜨리거나 거대 모델의 마법 같은 지식을 잃어버리지 않으면서도, 거대 모델으로부터 학습할 수 있도록 하는 방법을 찾아내는 것입니다.

여기에 연구자들이 제안한 새로운 방법인 FedSLM이 등장하며, 이는 영리한 번역가이자 숙련된 요리사 역할을 합니다. 이들이 다루는 핵심 문제는 "자원 비대칭성"입니다. 즉, 최고의 데이터를 가진 기관(병원, 은행)이 메모리 문제로 인해 전체 AI 모델을 실행할 수 없다는 점입니다. 기존의 해결책들은 모델의 크기를 줄이려 시도했으나(이는 때때로 지능을 손상시켰습니다), 혹은 아주 작은 부분만을 훈련시키려 시도했습니다(이는 여전히 전체 모델을 로드해야 하므로 메모리를 낭비했습니다). FedSLM은 이와 다른, 더 구조적인 접근 방식을 취합니다.

연구자들의 주요 발견은 **특이값 분해(Singular Value Decomposition, SVD)**라는 수학적 기법을 사용하여 거대한 AI 모델을 작고 독립적인 조각들로 나눌 수 있다는 것입니다. 거대한 모델을 정교하고 복잡한 태피스트리라고 상상해 보십시오. 전체를 작은 베틀로 복제하려 하는 대신, FedSLL은 태피스트리를 필수적인 실(저차원 부공간)로 자르고, 각 클라이언트에게 그 실들만 포함된 작고 관리 가능한 베틀을 제공합니다. 그러면 클라이언트는 자신의 특정 데이터로부터 학습하기 위해 자신의 베틀 위에 아주 작고 가벼운 "어댑터(새로운 실의 작은 패치)"를 짤 뿐입니다. 모든 클라이언트가 동일한 원래의 태피스트리에서 유래한 베틀 위에서 작업하기 때문에, 그들의 패턴은 완벽하게 서로 맞물립니다.

클라이언트들이 패치를 다 짜고 나면, 서버는 이를 수집합니다. 여기서 영리한 부분이 등장합니다. 서버는 단순히 작은 패치들을 붙이는 것이 아닙니다. 서버는 먼저 각 클라이언트 그룹으로부터 전체 크기의 패턴을 재구성한 다음, 이를 하나의 일관된 글로벌 모델로 혼합합니다. 마지막으로, 최종 결과물이 단순히 작은 패치들의 흐릿한 복사본이 되지 않도록, 서버는 "약한-강한(weak-to-strong)" 교수법을 사용합니다. 서버는 결합된 작은 모델들을 "약한 스승"으로 취급하고, 특수한 신뢰도 손실(confidence-loss) 기법을 사용하여 "강한 학생"(전체 규모의 서버 모델)이 약한 스승의 실수나 "압축 아티팩트(compression artifacts)"를 그대로 복사하지 않고 새로운 지식을 학습하도록 가르칩니다.

이 논문은 모든 클라이언트에 전체 모델을 로드해야 한다거나(이는 많은 이들에게 불가능합니다), 텍스트 출력만을 보내야 한다고(이는 너무 많은 뉘앙스를 잃게 됩니다) 주장하는 견해에 명시적으로 반대합니다. 연구자들은 자신들의 방법이 모델의 구조적 무결성을 유지하면서도 클라이언트가 전체 모델에 필요한 **GPU 메모리의 약 50%**만으로 작동할 수 있음을 보여줍니다. 자연어 및 시각-언어 작업에 대한 실험에서, FedSLM은 데이터가 지저도 불균형하게 분포된 상황에서도 기존의 방법들을 지속적으로 능가했습니다. 연구자들은 클라이언트가 압축된 모델을 사용할 때 약 절반의 메모리 비용으로 실행할 수 있으면서도 강력한 성능을 달ей하며, 종종 원래의 압축되지 않은 모델의 정확도를 회복하거나 심지어 능가한다는 것을 측정했습니다.

이러한 결과에 대한 확신은 ARC, HellaSwag, 그리고 의료 데이터셋과 같은 벤치마크에 대한 광범한 테스트를 통해 입증되었습니다. 여기서 이 방법은 다른 연합 학습 접근 방식들에 비해 명확한 개선을 보여주었습니다. 저자들은 이 접근 방식이 프라이버시, 하드웨어의 한계, 그리고 강력하고 전문화된 AI에 대한 욕구 사이의 간극을 성공적으로 메웠다고 제안하며, 슈퍼컴퓨터가 없어도 슈퍼 브레인에 기여할 수 있음을 증명했습니다.

기술 요약: FedSLM – 이질적 압축 클라이언트를 활용한 연합 파운데이션 모델 미세 조정

1. 문제 정의

파운데이션 모델(FM)의 연합 학습(Federated Learning, FL)은 근본적인 **자원 비대칭성 역설(resource-asymmetry paradox)**에 직면해 있습니다. 가장 가치 있는 도메인 특화 데이터(예: 병원, 금융사)를 보유한 기관들은 종-수십억 개의 파라미터를 가진 모델을 호스팅하거나 미세 조정하는 데 필요한 GPU 메모리 예산을 갖추지 못한 경우가 많습니다. 기존의 이질적 연합 학습 방식들은 이러한 격차를 해소하려 시도하지만, 다음 세 가지 핵심 요구사항을 동시에 충족하지는 못합니다:

배포 가능성(Deployment Feasibility): 클라이언트 모델은 자원이 제한된 기기에 적합할 만큼 충분히 경량화되어야 합니다.
구조적 정렬(Structural Alignment): 이질적인 클라이언트 업데이트가 아키텍처적 불일치 없이 하나의 일관된 글로벌 모델로 융합될 수 있어야 합니다.
충실도(Fidelity): 서버는 압축 아티팩트(compression artifacts)를 상속받거나 "모방 오류(imitation fallacy, 강력한 모델이 노이즈가 섞인 약한 감독자의 모델을 모방함으로써 성능이 저하되는 현상)"를 겪지 않으면서 연합된 도메인 지식을 흡수해야 합니다.

현재의 방법론들은 이러한 속성들 사이에서 절충안을 선택합니다. LoRA와 같은 매개변수 효율적 미세 조정(PEFT)은 학습 가능한 파라미터 수를 줄여주지만, 여전히 전체 베이스 모델을 로드해야 합니다. 구조적 추출(예: HeteroFL) 방식은 트랜스포머의 사전 학습된 어텐션 패턴을 방해하며, 데이터 중심 접근법은 어휘 불일치(vocabulary misalignment)나 은닉 표현 손실(hidden representation loss) 문제를 겪습니다.

2. 방법론: FedSLM

저자들은 FedSLM을 제안하며, 이는 클라이언트 측 어댑터, 서버 측 재구성된 글로벌 가중치, 그리고 최종적인 강력한 서버 모델이라는 세 가지 변수에 대한 결합 최적화 문제로 이 문제를 다룹니다. 이 프레임워크는 네 단계로 작동합니다.

A. SVD 기반 모델 유도 (단계 1)

서버는 무작위 초기화 대신, **특이값 분해(Singular Value Decomposition, SVD)**를 사용하여 사전 학습된 파운데이션 모델(FM)로부터 구조적으로 호환 가능한 일련의 압축 모델들을 유도합니다.

과정: 선택된 레이어들에 대해, 가중치 행렬 $W$ 를 다양한 압축 비율( $r_i$ )에서의 저계수 인자(low-rank factors) $U$ 와 $V$ 로 분해합니다.
구조: 그룹 $C_i$ 에 속한 클라이언트는 고정된 저계수 기저(bases) $\{U_i, V_i\}$ 와 학습 가능한 어댑터 $\Sigma_{i,c} \in \mathbb{R}^{r_i \times r_i}$ 를 전달받습니다. 유효 레이어는 $W \approx U_i \Sigma_{i,c} V_i$ 가 됩니다.
핵심 속성: 모든 변형 모델이 중첩된(nested) SVD 절단을 통해 동일한 서버 가중치로부터 유도되었기 때문에, 이들은 **중첩된 저계수 매니폴드 구조(nested low-rank manifold structure)**를 공유하며, 이를 통해 서로 다른 랭크(rank)에도 불구하고 구조적 호환성을 보장하며 집계될 수 있습니다.

B. 이질적 연합 집계 (단계 2 & 3)

FedSLM은 랭크 이질성을 처리하기 위해 2단계 집계 프로토콜을 채택합니다.

단계 1: 그룹 내 어댑터 집계: 동일한 압축 그룹(동일한 랭크 $r_i$ ) 내의 클라이언트들은 로컬 SGD를 통해 각자의 어댑터 $\Sigma_{i,c}$ 를 최적화합니다. 서버는 그룹 내에서 표준 FedAvg를 사용하여 이 어댑터들을 집계합니다.
단계 2: 그룹 간 모델 융합: 서버는 공통의 앰비언트 공간 $\mathbb{R}^{m \times n}$ 에서 각 그룹에 대한 풀 랭크(full-rank) 가중치 행렬을 재구성합니다 ( $W_i = U_i \Sigma_i V_i$ ). 이후 이 재구성된 모델들을 가중 평균을 통해 융합하여 글로벌 약한 모델(global weak model) $W_g$ 를 생성합니다. 이 단계는 모든 그룹이 공통의 사전 학습된 앵커를 공유한다는 점을 활용하여 전체 랭크 공간에서 융합을 가능하게 합니다.

C. 약한 모델에서 강한 모델으로의 유도 (단계 기)

압축된 집계 모델( $W_g$ )로부터 압축 아티팩트를 상속받지 않고 서버의 풀 스케일 모델( $W_s$ )로 지식을 전이하기 위해, 저자들은 약한-강함 정교화(Weak-to-Strong refinement) 단계를 도입합니다.

메커니즘: 서버는 라벨이 없는 서버 데이터셋 $D_{server}$ 를 사용하여 $W_s$ 를 정교화합니다.
손실 함수: **보조 신뢰도 손실(Auxiliary Confidence Loss)**이 사용됩니다:
$\mathcal{L}_{conf} = (1-\alpha) \ell_{CE}(f_w, f_s) + \alpha \ell_{CE}(\hat{f}_s, f_s)$
여기서 $f_w$ 는 약한 감독자, $f_s$ 는 강한 학생, $\hat{f}_s$ 는 그래디언트가 중단된 상태에서의 강한 모델의 자기 예측(self-prediction)입니다.
$\alpha$ 의 역할: 이 항은 약한 모델을 모방하는 것과 강한 모델 자신의 확신 있는 예측 사이의 균형을 맞춥니다. 자기 앵커링(self-anchoring) 항( $\alpha$ )은 강한 모델이 약한 감독자의 체계적 오류로 회귀하는 것을 방지함으로써 "모방 오류"를 완화합니다.

3. 주요 기여

이론적 보장

본 논문은 세 가지 상호 보완적인 이론적 분석을 제공합니다:

수렴 속도: 클라이언트 드리프트(client drift)와 SVD 인자로 인한 스펙트럼 왜곡을 고려하여, 단계 1의 어댑터 수준 집계에 대한 $O(T^{-1/2})$ 수렴 속도를 확립합니다.
서브스페이스 정렬: 그룹 간 집계 오차에 대한 경계(bounds)를 도출하여, 중첩된 SVD 서브스페이스가 기하학적 호환성을 보장함을 증명합니다. 오차는 데이터 가중 평균된 서브스페이스 잔차(subspace residuals)에 의해 제한됩니다.
아티팩트 완화: 보조 신뢰도 손실이 압축 노이즈를 어떻게 완화하는지 규명합니다. 이는 혼합 계수 $\alpha$ 를 조절하여 강한 모델이 압축 아티팩트를 학습할 위험을 최소화할 수 있는 **편향-분산 트레이드오프(bias–variance trade-off)**를 보여줍니다.

실험 결과

LLaMA-2-7B/13B(언어) 및 LLaVA-NeXT-7B(시각-언어)를 대상으로 자연어 이해 및 의료 벤치마크에서 IID 및 non-IID 파티션 환경 하에 실험을 수행했습니다.

성능: FedSLM은 기존 베이스라인(FedAvg+LoRA, HetLoRA, FedMKT 포함)을 일관되게 능가했습니다. LLaMA-2-7B의 경우, IID 환경에서 71.0%, non-IID 환경에서 **68.2%**의 평균 정확도를 달성하여 가장 우수한 베이스라인보다 상당한 차이로 앞섰습니다.
클라이언트 효율성: 압축된 클라이언트 모델은 전체 모델이 요구하는 GPU 메모리의 약 50% 수준(예: LLaMA-2-7B의 경우 13.5 GB 대비 약 6.8 GB)으로 동작하면서도 더 높은 추론 처리량을 달성했습니다.
복구: 연합 어댑터 학습을 통해 압축된 모델이 여러 벤치마크에서 압축되지 않은 사전 학습 모델의 제로샷(zero-shot) 정확도를 회복하고 이를 초과할 수 있음을 보여주었습니다.

4. 의의 및 주장

본 논문은 FedSLM이 글로벌 모델의 품질을 희생하지 않으면서도 자원이 제한된 클라이언트의 효과적인 참여를 가능하게 함으로써, 연합 파운데이션 모델 학습의 핵심적인 긴장 관계를 해결한다고 주장합니다.

통합 프레임워크: 배포를 위한 모델 압축, 집계를 위한 구조적 정렬, 그리고 서버 정교화를 위한 아티팩트 완화를 동시에 달성한 최초의 프레임워크입니다.
실무적 타당성: 클라이언트의 메모리 요구량을 전체 모델의 약 50%로 줄이면서도 성능을 유지하거나 향상시킴으로써, FedSLM은 하드웨어 자원이 제한된 기관에서도 수십억 개의 파라미터를 가진 모델의 연합 미세 조정을 가능하게 만듭니다.
이론적 건전성: 본 연구는 휴리스틱한 이질적 연합 학습 방식을 넘어, 수렴 및 오차 경계에 대한 엄격한 보장을 제공합니다.

저자들은 이 방법이 클라이언트가 전체 모델을 보유하거나 손실이 있는 로짓 레벨(logit-level) 통신에 의존할 필요가 없으며, 대신 연합 과정을 통해 습득한 도메인 특화 지식을 추출하고 증폭하는 데 집중한다고 강조합니다.