💻 computer science

Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning

본 논문은 이질적인 데이터 분포 하에서 글로벌 작업 적응과 일반화를 효과적으로 균형 있게 조정하기 위해 이미지 및 텍스트 인코더를 분리하여 일관된 글로벌 업데이트를 보장하고, 지도 학습과 강화 학습을 결합한 2 단계 로컬 미세 조정 전략을 적용하는 비전-언어 모델을 위한 새로운 연방 학습 프레임워크인 FedDTL 을 제안한다.

원저자: Yuting Ma, Lechao Cheng, Xiaohua Xu

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuting Ma, Lechao Cheng, Xiaohua Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구들이 서로 다른 도시에 살면서 개인 사진 앨범을 공유할 수 없는 상태에서 새의 종류를 구별하는 등 새로운 기술을 함께 배우려 한다고 상상해 보세요. 이것이 **연방 학습 (Federated Learning)**의 핵심 아이디어입니다. 즉, 모든 사람이 자신의 기기에서 로컬로 학습하고 원시 데이터가 아닌 학습한 내용만 공유하는 것입니다.

이제 이 친구들이 새 전문가 (비전 - 언어 모델) 로 미리 훈련된 초지능을 활용한다고 상상해 보세요. 문제는 만약 모든 사람이 자신의 로컬 사진만 공부한 뒤 노트를 평균내려 한다면 상황이 혼란스러워진다는 점입니다. 어떤 친구들은 자신의 뒷마당에 있는 특정 새들에 대해 너무 집착하게 되어 (과도한 전문화), 다른 친구들은 새를 설명하는 완전히 다른 방식을 배우게 되어, 이 모든 지식을 하나의 유용한 안내서로 통합하는 것이 불가능해집니다 (불일치).

이 논문은 이를 해결하기 위해 FedDTL이라는 새로운 방법을 소개합니다. 이를 간단한 개념으로 나누어 설명하면 다음과 같습니다.

1. "분할 팀" 전략 (분리된 학습)

대부분의 방법에서는 모든 친구가 새를 보는 방법 (이미지 인코더) 과 그것을 기술하는 방법 (텍스트 인코더) 을 모두 스스로 학습하려 합니다. 이는 모든 사람의 설명이 서로 멀어지기 때문에 혼란을 초래합니다.

FedDTL은 업무를 분할합니다:

로컬 아티스트 (클라이언트): 각 친구는 카메라와 사진 앨범을 보유합니다. 그들은 자신의 사진에 있는 새를 인식하도록 로컬에서 "이미지 인코더"를 훈련시킵니다. 이는 개인 사진을 안전하게 보호합니다.
중앙 사서 (서버): 중앙 서버는 "텍스트 인코더"를 훈련합니다. 서버는 사진을 보지 않고 새의 이름(예: "카디널", "블루 제이") 만 학습합니다.
연결: 친구들은 자신의 "시각적 이해"를 서버로 보내고, 서버는 "텍스트적 정의"를 돌려보냅니다. 마치 친구들이 스케치를 사서 보내고 사서가 올바른 사전 정의를 돌려주는 것과 같습니다. 이는 모든 사람이 자신이 보는 것을 설명할 때 동일한 "언어"를 사용하도록 보장하여, 아무도 서로의 개인 사진을 보지 않은 채 그룹을 정렬된 상태로 유지합니다.

2. "두 단계 춤" (2 단계 로컬 파인튜닝)

분할 팀이 있더라도, 만약 친구가 자신의 로컬 사진을 너무 오래 연구하면 자신의 정원의 특정 조명이나 배경을 외우기 시작하여 다른 환경에서 새를 인식하는 법을 잊을 수 있습니다. 이를 "과도한 전문화"라고 합니다.

FedDTL 은 각 친구를 위한 2 단계 학습 과정으로 이를 해결합니다:

1 단계: 워밍업 (지도 미세 조정 - SFT):
먼저 친구는 빠르고 표준적인 학습 세션을 진행합니다. 그들은 자신의 사진을 보고 중앙 사서가 제공하는 새 이름과 매칭하는 법을 배웁니다. 이는 그들을 빠르고 신뢰할 수 있게 속도를 내게 합니다. 이는 플래시카드를 외우는 것과 같습니다.
2 단계: 강화 부스트 (강화 학습 - RL):
워밍업 이후, 친구는 "시행착오" 모드로 전환합니다. 단순히 외우는 대신, 구체적이기보다 일반적인 것에 대해 보상을 받습니다.
- 유사점: 친구가 새를 맞춰야 하는 게임을 한다고 상상해 보세요. 맞히면 점수를 얻습니다. 하지만 여기에는 반전이 있습니다. 사진이 약간 흐릿하거나 기이한 각도일 때조차 맞히도록 장려됩니다.
- 이 논문은 GRPO(그룹 상대 정책 최적화) 라는 기술을 사용합니다. 이는 마치 친구들이 동시에 같은 새를 맞춰보게 하는 것과 같습니다. 만약 한 친구가 맞히고 다른 친구들이 틀리면, 그 친구는 더 일반적이었기 때문에 "보너스"를 받습니다. 이는 그들이 로컬 사진의 정확한 픽셀을 단순히 외우는 것을 막고, 새의 진정한 본질을 배우게 하여 이전에 본 적이 없는 새를 더 잘 인식하도록 만듭니다.

이것이 왜 중요한가요?

이전 방법들은 복잡한 규칙을 추가하거나 단순히 모든 사람의 노트를 평균내는 방식으로 이러한 문제를 해결하려 했습니다. 하지만 "전체 데이터 (Full-Data)" 환경 (친구들이 몇 장이 아닌 많은 사진을 가진 경우) 에서는 이러한 구식 방법들이 실패했습니다. 그들은 그룹을 너무 불일치하게 만들거나 개인을 자신의 데이터에 너무 집착하게 만들었습니다.

FedDTL은 두 가지를 동시에 성공적으로 균형 잡은 첫 번째 방법이라고 주장합니다:

글로벌 적응: 그룹이 함께 작업을 잘 학습합니다 (모두가 "카디널"이 무엇인지 동의합니다).
일반화: 그룹은 여전히 새로운, 보지 못한 환경에서 새를 인식할 수 있습니다 (훈련한 특정 뒷마당 사진뿐만 아니라).

결과

저자들은 다양한 어려운 조건 (어떤 친구는 다른 친구와 매우 다른 유형의 데이터를 가진 경우 등) 하에서 여러 다른 데이터셋 (꽃, 애완동물, 음식 식별 등) 에서 이를 테스트했습니다. 그들은 FedDTL 이 특히 처리할 데이터가 많을 때 다른 방법들보다 일관되게 우월한 성능을 보였음을 발견했습니다. 그룹을 통합된 상태로 유지하면서도 단일 친구가 자신의 로컬 데이터에 대해 너무 "고집스러운" 상태가 되지 않도록 보장했습니다.

간단히 말해, FedDTL 은 분산된 그룹이 함께 학습하는 더 지능적인 방법입니다. 모든 사람을 정렬된 상태로 유지하기 위해 "보는 것"과 "이름 짓는 것"을 분리하고, 그들이 자신의 뒷마당의 특정 세부 사항이 아니라 게임의 일반 규칙을 학습하도록 보장하기 위해 2 단계 학습 과정을 사용합니다.

기술 요약: 연방 학습에서의 국소 강화 미세 조정과 결합된 분해형 훈련 (FedDTL)

문제 제기

사전 훈련된 비전 - 언어 모델 (VLM, 예: CLIP) 과 결합된 연방 학습 (FL) 은 데이터 프라이버시를 유지하면서 하위 작업 적응을 위한 유망한 패러다임을 제공한다. 그러나 단순한 매개변수 집계와 함께 완전한 국소 최적화에 의존하는 기존 접근 방식은 이질적인 데이터 분포와 전체 데이터 regimes 하에서 두 가지 중요한 도전에 직면해 있다:

클라이언트 간 최적화 불일치: Non-IID 설정 (예: 라벨 편향 및 특징 이동) 하에서 클라이언트들은 불일치하는 국소 목적 함수를 최적화한다. 이는 정렬되지 않은 국소 기울기와 "클라이언트 드리프트"를 초래하여, 클라이언트들이 서로 다른 표현 좌표계로 수렴하게 만든다. 결과적으로 단순한 매개변수 평균화는 일관된 글로벌 의미론적 업데이트를 생성하지 못하여 글로벌 작업 적응을 저하시킨다.
클라이언트 내 과특화: 긴 국소 훈련 궤적을 가진 전체 데이터 regimes 에서, 경량 매개변수 효율적 미세 조정 (PEFT) 모듈은 특정 클라이언트의 편향된 라벨 빈도와 특징 통계에 과도하게 특화되는 경향이 있다. 이는 국소 적합성을 향상시키지만, 보지 못한 클래스나 이동된 도메인에 대한 일반화를 심각하게 훼손한다.

현재 방법들은 종종 정규화 또는 정렬 제약을 통해 이러한 문제를 해결하려 하지만, 국소-only 최적화에 의존하기 때문에 충분하지 않다. 또한 많은 평가가 퓨샷 (few-shot) 설정으로 제한되어 현실적인 전체 데이터 시나리오에서의 누적된 부정적 효과를 과소평가할 수 있다.

방법론: FedDTL

저자들은 글로벌 작업 적응과 일반화 사이의 균형을 맞추기 위해 분해형 인코더 훈련 체계와 2 단계 국소 미세 조정 전략을 통합한 새로운 프레임워크인 FedDTL을 제안한다.

1. 분해형 인코더 훈련

CLIP 의 모달리티 분해에서 영감을 받아, FedDTL 은 클라이언트 - 서버 아키텍처 전반에 걸쳐 이미지 및 텍스트 인코더의 훈련을 분리한다:

국소 이미지 인코더: 이미지 인코더 ( $V$ ) 는 개인적인 원시 이미지를 처리하며 데이터 프라이버시를 보호하기 위해 각 클라이언트에서 국소적으로 훈련된다.
글로벌 텍스트 인코더: 카테고리 수준의 텍스트 설명 (예: "[클래스명] 의 사진") 에 작동하는 텍스트 인코더 ( $T$ ) 는 서버에서 중앙 집중식으로 최적화된다.
메커니즘: 클라이언트들은 서버의 일관된 글로벌 텍스트 임베딩과 국소 시각 표현을 정렬한다. 이 서버 - 클라이언트 모달리티 정렬은 의미론적 제약으로 작용하여, 클라이언트들이 국소 텍스트 인코더를 유지할 필요 없이 클라이언트 간 최적화 불일치를 줄인다.
효율성: 두 인코더 모두 계산 오버헤드와 통신 비용을 최소화하기 위해 고정된 백본에서 LoRA(저랭크 적응) 조정을 활용한다.

2. 2 단계 국소 미세 조정

클라이언트 내 과특화를 완화하기 위해 FedDTL 은 순차적인 국소 훈련 프로세스를 채택한다:

1 단계: SFT 기반 작업 적응 (워밍업): 클라이언트들은 교차 엔트로피 손실을 사용하여 국소 이미지 인코더에 대해 지도 미세 조정 (SFT) 을 수행한다. 이 단계는 빠르고 신뢰할 수 있는 최적화 워밍업을 제공하여 모델을 국소 작업 분포에 신속하게 적응시킨다.
2 단계: RL 기반 일반화 강화: SFT 이후, 클라이언트들은 **그룹 상대 정책 최적화 (GRPO)**에서 영감을 받은 강화 학습 (RL) 단계로 전환한다.
- 확률성 주입: 이미지 인코더는 결정론적 임베딩을 생성하므로, 저자들은 행동 샘플링을 위한 확률성을 유도하기 위해 잠재 임베딩 공간에 편향되지 않은 가우시안 노이즈를 주입한다.
- 보상 및 정책: 정책 모델은 정확도 기반 보상 (올바른 분류 = 1, 그 외 = 0) 을 기반으로 업데이트된다. 목적 함수는 $\epsilon$ -클리핑과 하이브리드 참조 모델 (최종 SFT 모델과 최신 글로벌 정책의 결합) 에 대한 KL-발산 정규화 항을 포함하는 정책 기울기 손실을 최소화한다.
- 목표: 이 단계는 국소 데이터의 과도한 암기를 방지하도록 국소 업데이트 궤적을 정제하여, 보지 못한 클래스와 도메인에 대한 일반화를 강화한다.

3. 글로벌 조정

국소 미세 조정 후, 클라이언트들은 업데이트된 LoRA 매개변수와 정규화된 이미지 임베딩 (특히 클래스 토큰) 을 서버에 업로드한다. 서버는 가중 평균을 통해 시각 LoRA 매개변수를 집계하고 수집된 임베딩을 사용하여 글로벌 텍스트 인코더를 업데이트함으로써 FL 라운드를 완료한다.

주요 기여

분해형 훈련 체계: 이미지 인코더는 프라이버시를 위해 국소적으로 최적화되는 반면, 중앙 집중식 텍스트 인코더는 글로벌 의미론적 앵커를 제공하는 새로운 아키텍처. 이 설계는 클라이언트 간 불일치를 줄이고 다양한 FL 데이터 분포 전반에 걸친 글로벌 작업 적응을 향상시킨다.
2 단계 국소 미세 조정: 빠른 적응을 위한 SFT 와 클라이언트 내 과특화를 억제하기 위한 GRPO 영감 RL 단계를 결합한 전략. 이 접근법은 이질적이고 전체 데이터 설정에서 국소 훈련을 안정화하고 일반화를 강화한다.
종합적 평가: 라벨 편향과 특징 이동을 아우르는 퓨샷 및 전체 데이터 regimes 하에서 9 개의 벤치마크에 걸친 광범위한 실험. 결과는 FedDTL 이 글로벌 작업 적응과 일반화 사이의 균형을 효과적으로 유지하며 기존 연방 VLM 베이스라인을 능가함을 보여준다.

실험 결과

본 논문은 CIFAR-10/100, EuroSAT, Tiny-ImageNet, Oxford-Pet, Flower102, Caltech101/256, Food101, Office-Caltech10, DomainNet 등의 데이터셋에서 FedDTL 을 평가한다.

라벨 편향 (Base-to-Novel 일반화): 전체 데이터 Non-IID 설정에서 FedDTL 은 베이스 클래스에서 가장 높은 정확도를 달성한다 (예: CIFAR-100 에서 FedMaPLe 의 80.56% 대비 91.64%) 동시에 보지 못한 클래스에서 경쟁력 있는 성능을 유지한다. 이는 전체 데이터 regimes 에서 과특화로 인해 심각한 일반화 저하를 겪는 pFedDC 및 pFedMMA 와 같은 베이스라인이 겪는 문제를 성공적으로 피한다.
특징 이동: 크로스 도메인 설정 (Office-Caltech10, DomainNet) 에서 FedDTL 은 특징 이동과 라벨 편향이 결합된 경우를 포함한 거의 모든 구성에서 가장 높은 평균 정확도를 달성한다.
Ablation 연구:
- 분해형 인코더 체계를 제거하면 Non-IID 설정에서 베이스 정확도가 크게 하락하여 클라이언트 간 불일치 해결에서의 역할을 확인한다.
- RL 단계를 제거하면 보지 못한 클래스의 정확도가 낮아져 일반화 유지에서의 효과성을 확인한다.
- 2 단계 전략 (SFT + RL) 은 SFT 나 RL 단독 사용보다 우수하여, 빠른 적응과 일반화 강화의 상호 보완성을 검증한다.
프라이버시 및 통신: 프레임워크는 클래스 토큰 임베딩만 업로드하여 통신 비용을 줄인다. 이러한 임베딩에 노이즈 교란을 추가하면 최소한의 성능 손실로 추가적인 프라이버시 보호를 제공한다.

중요성 및 주장

본 논문은 FedDTL 이 연방 VLM 연구의 중요한 격차를 해결한다고 주장한다: 현실적인 전체 데이터 시나리오에서 특히 클라이언트 간 불일치와 클라이언트 내 과특화를 동시에 처리하는 기존 방법들의 무능함.

체계적 해결: 단순한 매개변수 평균화 또는 국소-only 정규화에 의존하는 기존 작업들과 달리, FedDTL 은 서버 - 클라이언트 모달리티 정렬을 통해 불일치를 체계적으로 해결하고 RL 기반 정제를 통해 과특화를 해결한다.
강건성: 이 프레임워크는 다양한 데이터 분포 (IID, Dirichlet, Non-IID) 와 학습 regimes (퓨샷에서 전체 데이터까지) 전반에 걸쳐 강건함을 입증한다.
실용성: LoRA 와 2 단계 일정을 활용함으로써 모델 성능과 계산 효율성 사이의 균형을 맞추어 엣지 장치에 적합하게 만든다.

저자들은 그들의 접근 방식이 연방 환경에서 사전 훈련된 VLM 을 적응시키는 더 안정적이고 효과적인 경로를 제공하며, 글로벌 모델이 특정 작업에 적응 가능하면서도 보지 못한 시나리오에 일반화 가능하도록 보장한다고 결론지었다.