Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models

이 논문은 데이터 공유 제약과 이종성 문제를 해결하기 위해, 각 클라이언트의 선호도 기반 보상 모델을 혼합하여 GRPO 를 통해 이종 비전 - 언어 모델을 정렬하는 새로운 연방 프레임워크 'MoR'을 제안합니다.

핵심

🍳 배경: 왜 이 연구가 필요한가요?

지금까지 AI 를 가르치려면, 모든 식당 (병원, 은행, 학교 등) 이 가진 **비밀 레시피 (데이터)**를 한 큰 주방으로 가져와야 했습니다. 하지만 개인정보 보호법 때문에 이 레시피를 공유할 수 없죠.

그래서 등장한 것이 **연방 학습 (Federated Learning)**입니다. "레시피는 가져오지 말고, 요리사들이 만든 **완성된 요리 (모델 파라미터)**만 가져오자"는 방식입니다.

하지만 여기서 문제가 생깁니다.

1. 요리사들의 실력이 천차만별입니다. (어떤 사람은 미슐랭 스타일, 어떤 사람은 초보 스타일)
2. 요리 스타일이 다릅니다. (한 식당은 '매운맛'을 중요하게 여기고, 다른 식당은 '건강식'을 중요하게 여깁니다.)
3. 완성된 요리를 공유하면 해킹 위험이 있습니다. (요리 과정을 역추적하면 레시피가 유출될 수 있음)

💡 해결책: "요리" 대신 "취향"을 공유하자!

이 논문은 **"완성된 요리를 공유하는 대신, 각 식당이 가진 '맛 평가 기준 (선호도)'만 공유하자"**고 제안합니다.

이를 **MoR (Mix of Rewards, 보상 혼합)**이라고 부릅니다.

🌟 비유: "전국 요리 평가단" 프로젝트

1. 각자만의 '맛 평가단' 만들기 (로컬 보상 모델)

   • 각 식당 (클라이언트) 은 자신의 비밀 레시피를 그대로 두고, **자신만의 '맛 평가단'**을 훈련시킵니다.
   • A 식당 평가단은 "매콤하고 푸짐한 게 최고야!"라고 평가하고, B 식당 평가단은 "재료 본연의 맛과 건강이 최고야!"라고 평가합니다.
   • 이때, 실제 레시피 (데이터) 는 절대 밖으로 나가지 않습니다. 오직 "이 요리는 10 점, 저 요리는 5 점"이라는 **평가 점수 (선호도)**만 나옵니다.

2. 현명한 '배달 기사' (라우팅 네트워크)

   • 이제 중앙 주방 (서버) 에는 각 식당에서 온 다양한 '맛 평가단'들이 모여 있습니다.
   • 문제는 "어떤 요리를 어떤 평가단이 평가해야 할까?"입니다. (예: 매운 요리를 건강식 평가단에게 주면 점수가 낮아질 수 있음)
   • 그래서 **현명한 '배달 기사 (라우터)'**를 훈련시킵니다. 이 기사는 들어온 요리를 보고, "이건 매운맛이니까 A 식당 평가단에게, 이건 건강식이니까 B 식당 평가단에게 보내자!"라고 가장 적합한 평가단을 골라줍니다.

3. 함께 요리하기 (GRPO 최적화)

   • 중앙 주방의 메인 요리사 (메인 AI 모델) 는 이 '배달 기사'가 골라준 가장 적합한 평가단의 점수를 보고 요리를 다듬습니다.
   • 결과적으로, 매운맛을 좋아하는 식당과 건강식을 좋아하는 식당의 모든 장점을 합쳐서, 어떤 요리든 완벽하게 평가하고 발전시킬 수 있게 됩니다.

🚀 이 방법의 놀라운 장점

1. 비밀은 안전합니다: 레시피 (원본 데이터) 는 절대 공유되지 않고, 오직 '평가 기준'만 오갑니다.
2. 서로 다른 실력도 OK: 요리사 (모델) 의 실력이 달라도, '배달 기사'가 실력이 좋은 평가단에게만 중요한 일을 맡기므로 약한 평가단의 실수가 전체를 망가뜨리지 않습니다. (약한 요리사가 섞여도 전체 퀄리티가 떨어지지 않음)
3. 빠르고 효율적입니다: 무거운 요리 (모델 전체) 를 주고받는 게 아니라, 가벼운 '평가 기준'만 주고받으니 통신 비용이 훨씬 적게 듭니다.

📝 요약

이 논문은 **"서로 다른 취향과 능력을 가진 AI 들이, 서로의 데이터를 훔치지 않으면서도 서로의 '취향 (선호도)'을 공유하여 함께 더 똑똑해지도록 하는 새로운 시스템"**을 제안합니다.

마치 각자 다른 맛을 가진 식당들이 모여 '맛 평가단'을 꾸리고, 현명한 배달 기사가 요리에 맞는 최고의 평가단을 불러와 함께 요리를 발전시키는 것과 같습니다. 이를 통해 의료, 금융 등 민감한 분야에서 AI 의 성능을 획기적으로 높일 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

시각 - 언어 모델 (VLM) 은 의료, 금융 등 개인정보가 중요한 분야에서 큰 잠재력을 가지고 있지만, 엄격한 데이터 공유 제한으로 인해 중앙 집중식 학습이 불가능합니다. 연방 학습 (Federated Learning, FL) 은 이를 해결할 수 있는 대안으로 제시되었으나, 기존 FL 패러다임은 데이터 공유를 모델 파라미터 공유로 대체하는 방식에 의존합니다. 이는 다음과 같은 심각한 한계를 가집니다.

• 보안 취약성: 교환된 파라미터를 통해 적대적 클라이언트가 다른 클라이언트의 데이터를 재구성할 수 있는 그라디언트 역전 (gradient inversion) 공격의 위험이 있습니다.
• 통신 및 계산 오버헤드: 빈번한 파라미터 교환은 막대한 통신 비용과 계산 부하를 유발합니다.
• 이질성 (Heterogeneity) 처리의 어려움: 클라이언트마다 컴퓨팅 자원, 애플리케이션 요구사항, 모델 아키텍처가 다릅니다. 이러한 이질적인 환경에서 단일 모델 파라미터를 평균화 (Aggregation) 하는 것은 비효율적이며, 서로 다른 선호도 (Preference) 를 가진 클라이언트 간의 충돌을 유발할 수 있습니다.

저자들은 "데이터를 파라미터로 대체하는 것"이 현재의 FL 이라면, **"파라미터를 선호도 (Preferences) 로 대체하는 것"**이 더 확장 가능하고 프라이버시를 보호하는 미래의 방향이라고 주장합니다.

2. 방법론 (Methodology: MoR)

저자들은 **MoR (Mixture-of-Rewards)**이라는 새로운 연방 정렬 (Federated Alignment) 프레임워크를 제안합니다. 이는 GRPO (Group Relative Policy Optimization) 와 혼합 보상 (Mixture-of-Rewards) 기법을 결합하여 이질적인 VLM 을 정렬합니다.

핵심 구성 요소 및 프로세스:

1. 로컬 보상 모델 학습 (Decentralized Reward Model Training):

   • 각 클라이언트는 로컬의 사적 선호도 데이터 (Preference Data) 를 사용하여 자체 보상 모델 (Reward Model, RM) 을 학습합니다.
   • 이 과정에서 원시 데이터는 서버로 전송되지 않으며, 각 클라이언트는 자신의 도메인 (예: 의료, OCR, 상세 설명) 에 특화된 평가 기준을 반영한 보상 모델을 가집니다.
   • 학습된 보상 모델 파라미터만 서버로 업로드됩니다.

2. 라우팅 네트워크 연방 학습 (Federated Router Training):

   • 서버는 클라이언트들의 보상 모델 집합 $\{R_k\}$을 보유합니다.
   • 경량화된 **라우팅 네트워크 (Router, $g_\phi$)**가 연방 학습을 통해 훈련됩니다. 이 라우터는 입력 (이미지 - 텍스트 쌍) 에 따라 어떤 클라이언트의 보상 모델을 선택하거나 가중치를 부여할지 결정합니다.
   • 이는 전문가 혼합 (Mixture-of-Experts, MoE) 개념을 보상 모델링에 적용한 것으로, 이질적인 보상 신호를 적응적으로 통합합니다.

3. GRPO 기반 정책 정렬 (Policy Alignment with Online Updating):

   • 중앙 서버는 라우터가 선택한 혼합 보상 (Mixed Reward) 을 사용하여 기본 VLM 을 GRPO 로 최적화합니다.
   • 온라인 업데이트: 정책 모델 ($\pi_\theta$) 이 업데이트됨에 따라 생성된 응답의 분포가 변하면, 라우터의 훈련 분포와 불일치가 발생합니다. 이를 해결하기 위해 Neural Thompson Sampling을 활용한 컨텍스트 밴딧 (Contextual Bandit) 문제로 라우팅을 모델링하여, 학습 중에 라우터 파라미터를 온라인으로 지속적으로 업데이트합니다.
   • 프라이버시 보호: 정렬 과정에서 클라이언트는 원시 데이터 대신 저차원 임베딩만 서버로 전송합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: 연방 VLM 학습에서 파라미터 공유 대신 선호도 (보상 신호) 공유를 기반으로 한 새로운 패러다임을 제안했습니다. 이는 클라이언트의 이질성과 프라이버시 요구사항을 동시에 충족합니다.
2. MoR 프레임워크 제안: 이질적인 클라이언트 보상 모델을 효율적으로 통합하기 위해 **라우팅 기반 보상 구성 (Routing-based Reward Composition)**을 도입했습니다. 이는 단일 보상 모델의 한계를 극복하고 각 입력에 가장 적합한 보상 신호를 동적으로 선택합니다.
3. 실증적 검증: 세 가지 공개 VQA 벤치마크 (의료, OCR, 상세 설명) 에서 MoR 이 기존 연방 학습 기반 방법론 및 혼합 보상 모델 기법들보다 일반화 능력, 견고성, 클라이언트 간 적응성 측면에서 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

실험은 이질적인 (Heterogeneous) 보상 모델 아키텍처와 동질적인 (Homogeneous) 아키텍처 두 가지 시나리오에서 수행되었습니다.

• 이질적 환경에서의 성능:
  • 단순 평균화 (Avg RM) 방식은 성능이 낮은 클라이언트 (예: 작은 모델) 로 인해 전체 성능이 급격히 저하되는 '버킷 효과 (Bucket Effect)'를 보였습니다.
  • 반면, MoR 은 약한 모델의 노이즈 신호를 필터링하고 강력한 모델의 장점을 결합하여 모든 도메인 (Medical, OCR, Detail) 에서 최상의 평균 점수와 시각적 충실도 (Visual Faithfulness) 를 달성했습니다.
  • 예시: Detail 도메인에서 MoR 은 7.73 점으로, 단일 최강 모델 (7.11 점) 보다 높은 성능을 기록했습니다.
• 동질적 환경에서의 성능:
  • 모든 클라이언트가 동일한 모델 아키텍처를 사용하더라도, MoR 은 FedAvg 나 Pluralistic 같은 기존 방법보다 더 높은 점수와 낮은 환각 (Hallucination) 을 보여주었습니다. 이는 라우터가 미세한 선호도 차이를 포착하여 더 정밀한 평가를 가능하게 함을 의미합니다.
• 효율성:
  • MoR 은 학습 시 $O(1)$의 계산 복잡도를 가지며, 클라이언트 수에 비례하지 않습니다. 반면, 기존 파라미터 기반 FL 은 $O(K \cdot |\theta|)$로 선형적으로 증가하여 확장성이 낮습니다.
  • 온라인 라우터 업데이트를 사용하지 않을 경우 성능이 약간 저하되지만, 멀티모달 특성 (고정된 비전 타워) 으로 인해 텍스트 도메인보다 그 영향이 적었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 프라이버시 민감도가 높은 분야에서 대규모 시각 - 언어 모델 (VLM) 을 배포하는 데 있어 중요한 장벽을 해소합니다.

• 프라이버시 및 규제 준수: 원시 데이터나 모델 파라미터를 공유하지 않고도 '선호도'라는 추상화된 정보만 교환함으로써 GDPR 등 데이터 규제 문제를 우회할 수 있는 실용적인 솔루션을 제공합니다.
• 이질성 해결: 의료, 금융, 일반 OCR 등 서로 다른 도메인과 리소스를 가진 기관들이 협력하여 하나의 강력한 모델을 구축할 수 있게 합니다.
• 확장성: 라우팅 메커니즘을 통해 수천 개의 클라이언트가 참여하는 대규모 연방 학습 환경에서도 효율적으로 작동할 수 있는 확장 가능한 아키텍처를 제시합니다.

결론적으로, MoR 은 연방 학습의 미래가 "파라미터 공유"가 아닌 "선호도 정렬"에 있음을 보여주며, 분산된 데이터 자원을 활용한 차세대 AI 모델 개발의 새로운 방향성을 제시합니다.