Co-LoRA: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients

이 논문은 데이터와 모델의 이질성을 모두 고려하여 개인화 연동 학습의 현실적 적용을 가능하게 하는 'Co-LoRA' 프레임워크와 새로운 멀티모달 벤치마크를 제안하고, 이를 통해 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

🏠 상황: 각자 다른 집, 각자 다른 취향의 AI 친구들

상상해 보세요. 전 세계에 AI 친구들이 살고 있습니다.

• A 친구는 최신형 고성능 컴퓨터 (거대한 집) 에 살고, 주로 사진을 보고 설명하는 일을 합니다.
• B 친구는 작은 라즈베리 파이 (작은 오두막) 에 살고, 주로 음식 사진을 보고 요리법을 추천하는 일을 합니다.
• C 친구는 중형 컴퓨터 (중간 크기 아파트) 에 살고, 만화책을 분석하는 일을 합니다.

이 친구들은 각자 **서로 다른 집 (모델 구조)**에 살고, **서로 다른 일 (데이터)**을 하며 살아가고 있습니다. 그런데 문제는, 이 친구들이 각자 혼자 일하면 실력이 늘지 않는다는 거예요. A 는 B 의 요리 지식이 필요하고, B 는 C 의 만화 분석 능력이 필요할 수도 있거든요.

하지만 비밀을 지키면서 (개인정보 보호) 서로 지식을 공유하려면 큰 문제가 생깁니다.

1. 집 구조가 달라서: 거대한 집의 설계도와 작은 오두막의 설계도를 그냥 합칠 수 없죠. (모델 이질성)
2. 일하는 방식이 달라서: 사진 분석가는 요리사에게 "이 사진이 뭐야?"라고 물어봐도 답이 안 나올 수 있죠. (데이터 이질성)

기존의 방법들은 "모두 같은 집, 같은 일을 하라"는 전제하에 지식을 합쳤기 때문에, 현실 세계에서는 잘 작동하지 않았습니다.

---

💡 해결책: '페드모자이크 (FedMosaic)'라는 새로운 시스템

이 논문은 이 문제를 해결하기 위해 FedMosaic이라는 두 가지 핵심 기술을 제안합니다. 마치 퍼즐을 맞추는 것처럼요.

1. RELA (적합한 친구만 골라 모으기)

• 비유: "누가 내 친구일까?"
• 설명: 모든 AI 친구의 지식을 다 합치면 오히려 엉망이 됩니다. (예: 요리사가 만화 분석 지식을 섞으면 요리가 망가질 수 있죠.)
• 방법: 이 시스템은 각 AI 가 현재 어떤 일을 하고 있는지 (기울기, Gradient) 를 살짝 훔쳐봅니다. (물론 원본 데이터는 보지 않아요!) 그리고 **"아, 너는 요리사구나! 나도 요리 관련 일을 하니까 너랑 지식을 공유하자!"**라고 판단합니다.
• 효과: 서로 관련 없는 일을 하는 친구들은 섞지 않고, 유사한 일을 하는 친구들끼리만 지식을 공유하게 해서 실력 향상을 극대화합니다.

2. Co-LoRA (서로 다른 집에서도 통하는 '공통 언어')

• 비유: "거대한 집과 작은 오두막을 연결하는 '보급용 통로'"
• 설명: 기존에는 AI 의 크기가 다르면 지식을 주고받을 수 없었습니다. 하지만 이 기술은 LoRA라는 얇은 적응층을 사용하되, **크기에 상관없이 통하는 '공통 모듈 (P 와 Q)'**을 만들어냅니다.
• 방법:
  • 거대한 AI 는 "내 큰 몸통은 그대로 두고, 이 작은 통로 (Co-LoRA) 만 지식을 주고받자"라고 합니다.
  • 작은 AI 도 "나도 이 작은 통로만 쓰면 돼!"라고 합니다.
  • 핵심: 이 통로의 크기는 AI 의 몸집 (모델 크기) 에 상관없이 항상 일정합니다. 그래서 거인 AI 와 난쟁이 AI 가 서로 지식을 주고받을 수 있게 됩니다.
• 효과: 서로 다른 모델 구조를 가진 AI 들도 서로의 지식을 공유하며 함께 성장할 수 있습니다.

---

🧪 실험: '드레이크 (DRAKE)'라는 새로운 시험장

이론만으로는 부족하죠? 연구진들은 현실을 더 잘 반영한 새로운 시험장 DRAKE를 만들었습니다.

• 기존 시험장: 같은 과자 (데이터) 를 조금씩 다르게 나누어 주는 수준이었습니다.
• DRAKE 시험장: 각자 완전히 다른 과자 (사진, 만화, 요리, 패션 등 40 가지 다른 작업) 를 먹으며, 시간이 지날수록 **새로운 맛 (데이터 변화)**이 계속 나오는 상황입니다.
• 결과: FedMosaic 을 적용한 AI 친구들은 혼자 일하는 것보다 훨씬 빠르게 실력이 늘었고, 새로운 일을 만나도 잘 적응했습니다.

---

🌟 요약: 왜 이것이 중요한가요?

1. 개인화 (Personalization): AI 가 우리 각자의 취향에 맞춰 진화할 수 있게 합니다.
2. 협력 (Collaboration): 서로 다른 환경 (스마트폰, 서버 등) 에 있는 AI 들도 서로 도울 수 있습니다.
3. 안전 (Privacy): 서로의 비밀 (원본 데이터) 을 보여주지 않고도 지식을 공유할 수 있습니다.

한 줄 요약:

"서로 다른 집 (모델) 에서 서로 다른 일 (데이터) 을 하는 AI 친구들이, **서로 통하는 작은 통로 (Co-LoRA)**를 만들고 유사한 친구끼리만 지식을 나누는 (RELA) 방식으로 함께 똑똑해지는 방법을 찾아냈습니다!"

이 기술이 발전하면, 앞으로 여러분의 스마트폰에 있는 AI 비서가 전 세계의 다양한 지식을 안전하게 흡수하여 훨씬 더 똑똑하고 개인화된 비서가 되어줄 것입니다. 🚀

기술 요약

1. 문제 정의 (Problem)

개인화된 AI (Agentic AI 등) 의 수요가 증가함에 따라, 각 사용자의 환경과 선호도에 맞춰 모델을 개인화할 필요가 대두되었습니다. 기존 개인화 연동 학습 (Personalized Federated Learning, PFL) 은 데이터 프라이버시를 유지하면서 클라이언트 간 지식을 공유하여 개인화를 돕는 잠재력을 가지고 있으나, 현실적인 시나리오를 반영하지 못하는 한계가 있었습니다.

기존 연구들은 주로 다음과 같은 단순화된 가정 하에 진행되었습니다:

• 데이터 이질성 (Data Heterogeneity) 부족: 클라이언트들이 서로 다른 태스크 (예: 시각적 추론, VQA 등) 를 수행하거나, 시간에 따라 데이터 분포가 변하는 (Distribution Shift) 상황을 고려하지 않음.
• 모델 이질성 (Model Heterogeneity) 부족: 클라이언트들이 서로 다른 아키텍처 (예: Llama 기반 vs Qwen 기반) 나 다른 모델 크기 (1B vs 3B) 를 사용하는 경우를 고려하지 않거나, 단순히 LoRA 랭크만 다르게 설정하는 등 제한적인 시뮬레이션만 수행함.

실제 세계에서는 클라이언트가 서로 다른 하드웨어 제약을 가지고 있어 서로 다른 모델 아키텍처를 사용하며, 각자의 고유한 태스크와 변화하는 데이터 분포를 다루게 됩니다. 이러한 데이터와 모델의 이중 이질성 하에서 효율적인 지식 공유와 개인화를 이루는 것은 여전히 해결되지 않은 과제입니다.

2. 제안 방법 (Methodology)

저자들은 현실적인 이질성을 해결하기 위해 FedMosaic이라는 새로운 PFL 프레임워크를 제안했습니다. FedMosaic 은 크게 두 가지 핵심 구성 요소로 이루어져 있습니다.

A. DRAKE 벤치마크 (새로운 평가 기준)

현실적인 다중 모달 PFL 시나리오를 평가하기 위해 DRAKE라는 새로운 벤치마크를 구축했습니다.

• 40 개의 다양한 태스크: 시각적 관계 (Visual Relation), 다중 모달 추론 (Multi-modal Reasoning), VQA 등 3 개의 주요 그룹으로 구성.
• 시간적 분포 이동 (Temporal Distribution Shift): 각 클라이언트가 순차적으로 새로운 태스크를 경험하도록 설계하여, 실제 세계의 데이터 변화 모방.
• 미시적 평가 (Unseen Evaluation): 학습 중 보지 못한 태스크로 일반화 능력을 평가.
• 기존 벤치마크 (HFLB 등) 와 달리 단일 데이터셋의 비-i.i.d 분할이 아닌, 완전히 다른 태스크와 다중 이미지 입력을 지원합니다.

B. RELA (RELevance-guided Aggregation): 데이터 이질성 해결

서로 다른 태스크를 수행하는 클라이언트 간의 지식 공유 시 발생하는 파라미터 간섭 (Interference) 을 줄이기 위해 제안되었습니다.

• 작동 원리: 각 클라이언트의 태스크 유사성을 측정하여, 관련성이 높은 클라이언트들끼리만 지식을 공유하도록 가중치를 조정합니다.
• 기법:
  1. 클라이언트별 기울기 (Client-wise Gradient): 작은 프리트레인된 모델 ($W_s$) 의 마지막 레이어 기울기를 사용하여 태스크 특성을 추출합니다.
  2. 감쇠 기울기 (Decayed Gradient): 데이터 분포가 시간에 따라 변하는 것을 반영하기 위해 과거 기울기에 지수 이동 평균 (EMA) 을 적용하여 모델의 지식 변화를 추적합니다.
  3. 정제된 기울기 (Sanitized Gradient): 프라이버시 보호를 위해 기울기에 가우시안 노이즈를 추가하고 무작위 샘플링 (압축) 을 적용하여 서버로 전송합니다.
  4. 맞춤형 글로벌 모델: 코사인 유사도를 기반으로 클라이언트별 가중치 ($w_{ij}$) 를 계산하여, 각 클라이언트에게 최적화된 글로벌 모델을 생성합니다.

C. Co-LoRA (Collaborative-LoRA): 모델 이질성 해결

서로 다른 아키텍처 (서로 다른 차원과 깊이) 를 가진 모델 간에 지식 공유를 가능하게 하는 모듈입니다.

• 차원 불변 모듈 (Dimension-Invariant Modules): 기존 LoRA 의 $A, B$ 행렬은 모델의 숨겨진 차원 ($d_{in}, d_{out}$) 에 의존하여 직접 공유가 불가능합니다. Co-LoRA 는 $A, B$ 사이에 $P \in \mathbb{R}^{r \times r}$ 과 $Q \in \mathbb{R}^{r}$ 과 같은 차원에 의존하지 않는 모듈을 삽입합니다. 이 모듈들은 저랭크 크기 $r$에만 의존하므로 이질적인 모델 간에 직접 공유 가능합니다.
• 블록 단위 집계 (Block-wise Aggregation): 모델의 깊이가 다를 경우, 상대적인 깊이 (Relative Depth) 가 유사한 레이어끼리 지식 공유가 일어나도록 CKA (Centered Kernel Alignment) 분석을 기반으로 레이어를 블록 단위로 매칭합니다.
• 가중치 정렬 (Weight Alignment):
  • A 행렬 정렬: 공유 가능한 공간에서 L2 손실을 최소화하도록 정렬.
  • B 행렬 정렬: CCA (Canonical Correlation Analysis) 를 사용하여 서로 다른 출력 차원 간의 상관관계를 최대화하는 공간으로 정렬.
  • 직교성 (Orthogonality): $A, B$ 행렬의 직교성을 유지하여 Co-LoRA 의 표현 능력을 극대화하고 집계 오차를 제거합니다.
• 학습 전략: 클라이언트는 로컬 학습 시 $A, B$는 고정하고 $P, Q$만 업데이트하며, 글로벌 모델은 고정된 상태로 유지하여 개인화 ($\beta$ 게이트 파라미터를 통해 로컬/글로벌 출력 균형) 를 수행합니다.

3. 주요 기여 (Key Contributions)

1. DRAKE 벤치마크 제안: 다중 모달 PFL 을 위한 최초의 포괄적인 벤치마크로, 태스크 이질성, 시간적 분포 이동, 미시적 일반화 평가를 모두 포함합니다.
2. RELA 전략: 데이터 이질성 하에서 태스크 관련성만 고려한 선택적 지식 공유를 통해 파라미터 간섭을 줄이고 개인화 성능을 향상시킵니다.
3. Co-LoRA 모듈: 모델 이질성 (아키텍처, 크기, 깊이 차이) 을 극복하고, 차원 불변 모듈을 통해 이질적인 모델 간 지식 공유를 가능하게 합니다.
4. 성능 입증: 다양한 실험을 통해 제안된 방법이 기존 SOTA PFL 방법들보다 개인화 (Self) 와 일반화 (Others) 성능 모두에서 우월함을 입증했습니다.

4. 실험 결과 (Results)

• 성능: DRAKE 및 HFLB 벤치마크에서 FedMosaic 은 SFT (Supervised Fine-Tuning) 및 기존 PFL 방법 (DITTO, FedSim, PerAda 등) 보다 Self(개인화) 및 Others(일반화) 성능에서 일관되게 우위를 점했습니다. 특히 복잡한 다중 이미지 태스크와 이질적인 아키텍처 환경에서 큰 향상을 보였습니다.
• 크로스 패밀리 이질성: Llama 기반과 Qwen 기반 모델이 혼합된 환경에서도 우수한 성능을 보여 방법론의 일반화 가능성을 입증했습니다.
• 빠른 적응 (Fast Adaptation): 새로운 미시적 태스크에 대한 적응 속도를 평가한 결과, FedMosaic 으로 초기화된 모델이 무작위 초기화나 다른 PFL 방법보다 훨씬 빠르게 높은 성능에 도달했습니다.
• 비용 효율성:
  • 계산 비용: SFT 대비 약 16.1% 의 추가 계산 비용만 발생 (그 중 대부분은 기울기 계산 및 정렬 오버헤드).
  • 통신 비용: Co-LoRA 의 $P, Q$ 모듈만 전송하고 $A, B$는 고정함으로써 통신량을 줄였으며, 기울기 압축을 통해 전체 통신 오버헤드를 기존 방법 대비 약 10.9% 감소시켰습니다.
• 소규모 모델 및 텍스트 전용: T5 기반 소규모 모델과 텍스트 전용 LLM 벤치마크에서도 동일한 성능 향상을 확인했습니다.

5. 의의 및 중요성 (Significance)

이 논문은 개인화 연동 학습 (PFL) 이 실제 세계에 적용되기 위해 반드시 해결해야 할 데이터와 모델의 이중 이질성 문제를 체계적으로 다뤘다는 점에서 중요한 의의를 가집니다.

• 현실성: 단순한 비-i.i.d 데이터 분할을 넘어, 서로 다른 하드웨어와 태스크를 가진 클라이언트들이 협력하는 현실적인 시나리오를 모델링했습니다.
• 확장성: Co-LoRA 를 통해 서로 다른 아키텍처 간의 지식 공유를 가능하게 함으로써, 다양한 크기와 구조의 모델이 공존하는 엣지 환경에서의 연동 학습을 실현 가능하게 했습니다.
• 프라이버시와 효율성: 기울기 기반의 태스크 유사성 측정을 통해 효율적인 지식 공유를 도모하면서도, 기울기 정제 (Sanitization) 기법을 통해 프라이버시 공격에 대한 저항력을 강화했습니다.

결론적으로, FedMosaic 은 다중 모달 대규모 언어 모델 (MLLM) 시대의 개인화된 AI 를 구축하기 위한 강력한 프레임워크를 제공하며, 향후 분산 학습의 표준적인 접근 방식으로 자리 잡을 가능성이 높습니다.