🤖 machine learning

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

본 논문은 LLM 의 지적재산권 보호와 클라이언트 프라이버시를 유지하면서도 이질적인 데이터 환경에서 중앙 집중식 학습에 준하는 성능을 달성하기 위해, 경량 어댑터 대신 강력한 프록시 SLM 을 활용한 새로운 연방 미세조정 프레임워크인 FedProxy 를 제안합니다.

원저자: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

FedProxy: 거대 AI 의 비밀을 지키면서 함께 배우는 새로운 방법

이 논문은 **거대 언어 모델 (LLM, 예: 챗봇이나 AI 비서)**을 여러 사람이 가진 비밀 데이터로 함께 학습시키면서도, **AI 의 지적 재산권 (IP)**과 사용자의 개인정보를 모두 지키는 새로운 방법인 **'FedProxy'**를 소개합니다.

기존 방법들은 AI 의 성능이 떨어지는 문제가 있었지만, FedProxy 는 이를 해결하여 마치 중앙 집중식 학습과 비슷한 높은 성능을 내면서도 모든 것을 안전하게 유지합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 단계와 비유로 설명해 드리겠습니다.

🎭 배경: 왜 이 문제가 어려운가요? (3 가지 딜레마)

AI 를 발전시키려면 많은 데이터가 필요하지만, 현실은 다음과 같은 3 가지 난제가 있습니다.

AI 의 비밀 (지적 재산권): AI 회사 (서버) 는 자신들이 만든 거대 AI 의 '뇌' 구조를 그대로 공개하면 안 됩니다.
사용자의 비밀 (개인정보): 사용자 (클라이언트) 는 자신의 데이터 (예: 병원 기록, 개인 채팅) 를 서버로 보내고 싶지 않습니다.
다양한 데이터 (이질성): 각 사용자가 가진 데이터는 서로 다릅니다. (예: 한 사람은 요리 레시피만, 다른 사람은 법률 문서만 있음)

기존 방법 (Offsite-Tuning) 은 AI 의 '뇌'를 그대로 두고 작은 '보조 장치 (어댑터)'만 학습시켰습니다. 하지만 이 보조 장치는 너무 작아서 실제 성능이 많이 떨어지는 한계가 있었습니다.

🚀 FedProxy 의 해결책: 3 단계 마법

FedProxy 는 이 문제를 해결하기 위해 세 단계로 이루어진 새로운 시스템을 제안합니다.

1 단계: "거인"을 "작은 대변인"으로 변신시키기 (압축)

비유: 거대하고 무거운 **AI 거인 (LLM)**이 있습니다. 이 거인을 그대로 각 마을 (사용자) 로 보내면 너무 무겁고, 거인의 비밀도 털릴 수 있습니다.
FedProxy 의 방법: 서버는 이 거인을 **작고 똑똑한 '대변인 (Proxy SLM)'**으로 변신시킵니다.
- 이 대변인은 거인의 핵심 지식과 구조를 그대로 간직하고 있지만, 크기는 훨씬 작아져서 사용자들의 컴퓨터에서도 쉽게 학습할 수 있습니다.
- 핵심: 거인의 '본체'는 서버에 안전하게 보관되고, 사용자들은 이 '대변인'만 가지고 학습합니다.

2 단계: 서로 다른 의견이 섞일 때 "갈등 해결사"가 나서다 (학습 및 통합)

비유: 각 마을의 대변인들은 서로 다른 데이터 (요리, 법률, 의학 등) 로 학습합니다. 이제 이들을 다시 서버로 불러모아야 하는데, 서로의 의견이 너무 다르면 **혼란 (갈등)**이 생길 수 있습니다. (예: "요리할 때 소금을 넣어야 한다" vs "소금은 절대 넣지 마라")
FedProxy 의 방법: 서버는 갈등 해결사 (H-TIES 전략) 역할을 합니다.
- 갈등 분석: 각 대변인의 학습 내용이 서로 얼마나 충돌하는지 분석합니다.
- 지혜로운 통합: 서로 충돌하는 부분은 신중하게 조정하고, 공통된 부분은 강력하게 합칩니다. 마치 조율사가 서로 다른 악기 소리를 조화롭게 섞어 하나의 아름다운 교향곡을 만드는 것과 같습니다.
- 개인화: 각자의 고유한 특징은 살리되, 전체적인 방향은 하나로 맞춥니다.

3 단계: 배운 지식을 다시 "거인"에게 되돌려주기 (융합)

비유: 대변인들이 마을에서 배운 새로운 지식을 가지고 돌아왔습니다. 이제 이 지식을 원래의 거인 AI에게 어떻게 전달할까요?
FedProxy 의 방법: 플러그인 (Plug-in) 방식을 사용합니다.
- 다시 학습을 시키거나 복잡한 과정을 거치지 않습니다.
- 대변인들이 업데이트된 **핵심 부품 (파라미터)**을 가져와서, 거인 AI 의 해당 부품을 직접 교체합니다.
- 마치 스마트폰의 소프트웨어 업데이트처럼, 새로운 기능을 바로 적용하여 거인 AI 가 더 똑똑해집니다.

🌟 왜 FedProxy 가 특별한가요?

성능의 비약: 기존 방법들보다 훨씬 높은 성능을 내며, 마치 모든 데이터를 한곳에 모아 학습한 것 (중앙 집중식 학습) 과 비슷한 결과를 냅니다.
안전한 비밀: AI 회사의 '뇌' 구조는 절대 공개되지 않고, 사용자 데이터도 서버로 전송되지 않습니다.
효율성: 학습된 지식을 바로 적용할 수 있어, 추가적인 계산 비용이나 시간이 거의 들지 않습니다.

💡 한 줄 요약

FedProxy는 거대 AI 의 비밀을 지키면서, 각자가 가진 작은 '대변인 AI'를 통해 서로 다른 데이터를 학습시키고, 이를 갈등 없이 조화롭게 합쳐 다시 거대 AI 에게 되돌려주는 안전하고 똑똑한 협업 시스템입니다.

이 기술은 앞으로 AI 가 더 똑똑해지면서도 우리 프라이버시와 기업의 비밀을 지킬 수 있는 새로운 기준이 될 것입니다.

FedProxy: 프록시 SLM 과 이질성 인식 융합을 통한 LLM 의 연방 미세조정 (Federated Fine-Tuning)

이 논문은 대규모 언어 모델 (LLM) 의 연방 미세조정 (Federated Fine-Tuning) 과정에서 발생하는 **삼중 딜레마 (Trilemma)**를 해결하기 위해 제안된 새로운 프레임워크인 FedProxy를 소개합니다. 이 삼중 딜레마란 (1) LLM 의 지적 재산권 (IP) 보호, (2) 클라이언트 데이터 프라이버시 보장, (3) 이질적인 데이터 분포로 인한 성능 저하 방지를 동시에 달성해야 하는 난제를 의미합니다.

1. 문제 정의 및 배경

기존의 오프사이트 튜닝 (Offsite-Tuning, OT) 및 그 변형 방법들은 클라이언트 측에서 경량 어댑터 (adapter) 만을 학습시키고 서버의 LLM 은 고정된 채로 유지함으로써 IP 와 프라이버시를 보호합니다. 그러나 저자들은 이러한 접근 방식이 표현 능력의 근본적인 한계로 인해 중앙 집중식 학습에 비해 성능 격차가 크다는 것을 분석을 통해 규명했습니다. 특히 데이터가 이질적 (heterogeneous) 일 때, 단순한 어댑터 학습만으로는 모델 간 파라미터 간섭 (parameter interference) 을 효과적으로 해결하지 못해 성능이 크게 저하됩니다.

2. 제안 방법: FedProxy 프레임워크

FedProxy 는 약한 어댑터 대신, 서버의 독점적 LLM 을 압축하여 만든 **강력한 프록시 소형 언어 모델 (Proxy SLM)**을 연방 학습의 주체로 활용하는 대리 최적화 (Surrogate-driven Optimization) 패러다임을 도입합니다. 이 프레임워크는 다음과 같은 3 단계 아키텍처로 구성됩니다.

2.1 효율적 표현: 서버 주도 압축 (Server-Guided Compression)

목표: 서버의 LLM 을 클라이언트에서 학습 가능한 크기의 프록시 SLM 으로 변환하되, IP 는 보호합니다.
방법: 공개 데이터셋 (예: Alpaca) 을 사용하여 LLM 의 블록 중요도 (Block Influence, BI) 를 계산합니다. BI 점수가 높은 블록을 선택하여 구조적 가지치기 (structured pruning) 를 수행하고, 나머지 블록은 제거합니다.
결과: 생성된 프록시 SLM 은 LLM 의 구조적 지식을 유지하면서도 클라이언트 자원에 맞춰 경량화됩니다.

2.2 강건한 최적화: 간섭 완화 집계 전략 (Robust Optimization)

데이터의 이질성으로 인한 파라미터 간섭을 해결하기 위해 H-TIES (Heterogeneity-aware TIES-merging) 및 **PCR (Parameter-Level Conflict-Aware Client-Side Regularization)**을 도입합니다.

서버 측 분석: 각 클라이언트의 업데이트 (Task Vector) 를 분석하여 이질성 계수 ( $h_k$ ) 와 가중치 ( $w_k$ ), 그리고 파라미터 수준의 충돌 점수 ( $C_d$ ) 를 계산합니다.
클라이언트 측 정규화 (PCR): 서버로부터 받은 충돌 점수를 기반으로 로컬 학습 시 정규화 항을 추가합니다. 이는 합의가 높은 파라미터는 글로벌 모델과 정렬되도록 유도하고, 충돌이 심한 파라미터는 개인화에 더 자유롭게 허용합니다.
이질성 인식 집계 (H-TIES): 클라이언트 업데이트를 합칠 때, 이질성이 높은 클라이언트는 업데이트의 희소성 (sparsity) 을 높이고, 합의가 높은 클라이언트의 가중치를 증폭시킵니다. 또한, TIES-Merging 원리를 적용하여 부호가 반대인 파라미터 간의 간섭을 해결합니다.

2.3 노력 없는 지식 융합: 훈련 없는 "플러그인" (Effortless Fusion)

방법: 학습이 완료된 프록시 SLM 의 가중치를 원래 LLM 의 해당 레이어에 직접 덮어씌우는 파라미터 공간 플러그인 (Parameter-space "plug-in") 방식을 사용합니다.
장점: 추가적인 재학습이나 추론 지연 (inference latency) 없이 클라이언트에서 학습된 지식을 LLM 에 통합할 수 있습니다.

3. 주요 기여

FedProxy 프레임워크 제안: IP 보호, 데이터 프라이버시, 모델 성능이라는 삼중 딜레마를 해결하는 통합 프레임워크를 제시했습니다.
H-TIES 및 PCR 전략 개발: 파라미터 수준의 간섭을 분석하고, 이질성을 고려한 클라이언트 정규화 및 서버 측 병합 전략을 통해 이질적인 데이터 환경에서의 성능 저하를 효과적으로 완화했습니다.
성능 입증: 광범위한 실험을 통해 FedProxy 가 기존 OT 기반 방법론 (FedOT, FedBiOT 등) 을 크게 능가하며, 중앙 집중식 미세조정 (CentSFT) 에 버금가는 성능을 달성함을 증명했습니다.

4. 실험 결과

데이터셋 및 모델: LLaMA2-7B 와 Mistral-7B 를 기반으로 QA (OBQA, ARC 등) 와 GLUE 벤치마크에서 평가했습니다.
동질적/이질적 작업:
- 동질적 (Homogeneous): FedProxy 는 FedOT 대비 QA 에서 11.7%p, GLUE 에서 22.1%p 향상되었으며, 중앙 집중식 성능의 약 90% 이상을 달성했습니다.
- 이질적 (Heterogeneous): 더 까다로운 환경에서도 FedOT 대비 12.6%p (QA) 및 20.1%p (GLUE) 의 큰 개선을 보였으며, 중앙 집중식 성능의 91.3% (QA) 를 달성했습니다.
비용 - 성능 트레이드오프: 초기 통신 비용은 유사하지만, 반복 통신 및 클라이언트 계산 비용은 증가합니다. 그러나 이러한 추가 투자로 인해 얻는 성능 향상이 매우 크며, 중앙 집중식 학습에 근접하는 결과를 제공합니다.
압축 비율: 50% 압축 비율이 성능과 자원 효율성 사이의 최적 균형을 보였습니다 (30% 는 비용이 높고, 70% 는 성능 저하가 큼).

5. 의의 및 결론

FedProxy 는 연방 학습 환경에서 LLM 을 미세조정할 때 발생하는 IP 보호와 성능 저하 사이의 긴장 관계를 해결하는 새로운 기준을 제시합니다. 약한 어댑터 대신 고품질 프록시 SLM을 활용하고, 이질성 인식 집계 전략을 통해 파라미터 간섭을 정교하게 제어함으로써, 보안과 프라이버시를 유지하면서도 중앙 집중식 학습에 필적하는 성능을 달성할 수 있음을 입증했습니다. 이는 보안이 중요한 환경 (예: 금융, 의료) 에서 LLM 을 배포하고 개선하기 위한 실용적이고 강력한 솔루션이 될 것입니다.