Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

기술 요약: 네트워크 엣지에서의 파운데이션 모델을 위한 멀티 테넌트 분할 연합 학습(Split Federated Learning) 인센티브 제공

문제 정의
GPT-4, BERT, LLaMA와 같은 파운데이션 모델(FM)은 다운스트림 태스크에서 높은 성능을 달ert하기 위해 도메인 특화 데이터에 대한 광범위한 미세 조정(fine-tuning)이 필요하다. 그러나 로컬 디바이스(예: 스마트폰, 스마트워치)는 전체 파라미터 FM 미세 조정을 처리하기 위한 계산 자원이 부족한 경우가 많으며, 개인정보 보호 문제로 인해 데이터를 디바이스 외부로 반출할 수 없다. 분할 연합 학습(Split Federated Learning, SFL)은 부분적인 계산을 엣지 서버로 오프로딩함으로써 이를 해결하며, 디바이스-엣지 시너지 미세 조정을 가능하게 한다.

기존의 SFL 연구는 단일 테넌트 시나리오에 집중되어 있는 반면, 실제 엣지 네트워크는 다양한 다운스트림 태스크(예: 이미지 분류, 감성 분석, 음성-텍스트 변환)를 지원하기 위해 동일한 로컬 디바이스 풀을 두고 경쟁하는 다수의 SFL 테넌트를 점점 더 많이 수용하고 있다. 이러한 멀티 테넌트 환경은 세 가지 핵심적인 과제를 제기한다:

1. 독립적인 디바이스 참여: 이기적인 로컬 디바이스는 인센티브에 따라 태스크를 선택하며, 이는 특정 태스크가 일부 디바이스 집단에 의해 독점되는 데이터 편향을 초래할 수 있다.
2. 디바이스 기여도 평가: 훈련 프로세스가 완료되기 전에는 디바이스의 참여 수준이 최종 FM 성능에 어떻게 영향을 미치는지 예측하기 어려우며, 이는 효과적인 인센티브 전략 설계를 방해한다.
3. 테넌트 간 경쟁: 여러 테넌트가 고품질 디바이스를 확보하기 위해 경쟁하므로, 참여를 균형 있게 유도하고 모든 테넌트 간의 공정한 성능을 보장하는 메커니즘이 필요하다.

현재의 인센티브 메커니즘은 주로 단일 테넌트 연합 학습(FL) 또는 표준 SFL을 위해 설계되었으며, 경쟁 관계에 있는 멀티 테넌트 FM 미세 조정 태스크 전반에 걸쳐 이기적인 디바이스들을 조율하는 데 필요한 맞춤형 전략이 부족하다.

방법론
저자들은 고품질의 디바이스 참여를 유도하기 위해 전략적 가격 인센티브를 제공하도록 다수의 SFL 테넌트를 안내하는 새로운 프레임워크인 PRINCE(Price-Incentive Mechanism)를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 구축된다:

1. 편향 탄력적 글로벌 SFL 집계(Bias-Resilient Global SFL Aggregation):
   독립적인 디바이스 참여 문제를 해결하기 위해, 본 논문은 편향되지 않은 글로벌 모델 집계 방식을 도입한다. 전체 참여를 가정하는 표준 FedAvg와 달리, 이 방식은 참여하는 디바이스의 모델 업데이트를 참여 확률의 역수($1/q_{i,j}$)로 재가중치 부여한다. 이를 통해 디바이스가 확률적으로 태스크에 참여하더라도 글로벌 FM 모델이 전체 디바이스 참여 시나리오에 대해 편향되지 않도록 보장한다.

2. 기여도 평가를 위한 SFL 수렴 경계(SFL Convergence Bound for Contribution Assessment):
   훈련을 완료하지 않고 디바이스의 기여도를 평가해야 하는 과제를 해결하기 위해, 저자들은 엄격한 SFL 수렴 경계를 도출한다. 이 경계는 기대 글로벌 FM 손실을 디바이스 참여 수준($q_{i,j}$), 로컬 데이터 이질성, 그래디언트 크기와 분석적으로 연결한다. 이 이론적 경계는 기대 글로벌 손실의 대리 지표 역할을 하여, SFL 테넌트가 실행 전에 다양한 가격 전략이 FM 성능에 미치는 영향을 추정할 수 있게 한다.

3. 스태켈버그 및 혼잡 게임 모델링(Stackelberg and Congestion Game Modeling):
   SFL 테넌트와 로컬 디바이스 간의 상호작용은 **다중 리더 다중 팔로워 스태켈버그 게임(Multi-Leader Multi-Follower Stackelberg Game)**으로 모델링된다:

• 리더 (SFL 테넌트): 지급 예산 내에서 기대 글로벌 FM 손실을 최소화하기 위한 최적의 가격 전략($P_i$)을 결정한다.
• 팔로워 (로컬 디바이스): 효용(지급액에서 계산 비용을 뺀 값)을 극대화하기 위해 다양한 태스크에 대한 참여 수준($q_{i,j}$)을 선택하여 대응한다.
• 테넌트 간 경쟁: 공유 디바이스를 둘러싼 테넌트 간의 경쟁은 **혼잡 게임(Congestion Game)**으로 모델링된다. 테넌트들은 글로벌 손실을 개선하기 위해 반복적으로 가격 전략을 조정하며, 이는 전체 시스템의 스태켈버그 평형(SE)에 해당하는 혼잡 게임 내의 내쉬 평형(NE)으로 수렴한다.

이 게임을 구현하기 위해, 테넌트와 디바이스가 SE에 도달할 때까지 전략을 반복적으로 업데이트하는 분산 알고리즘이 제안된다.

주요 기여

• FM을 위한 멀티 테넌트 SFL의 첫 탐색: 본 논문은 다양한 데이터 모달리티(텍스트, 이미지, 오디오)에 걸친 파운데이션 모델 미세 조정을 위해 특별히 설계된 멀티 테넌트 SFL용 효과적인 인센티브 메커니즘을 최초로 탐색한다.
• 편향 탄력적 설계: 독립적이고 확률적인 디바이스 참여로 인해 발생하는 모델 편향을 제거하는 글로벌 집계 방식을 도입한다.
• 이론적 수렴 경계: 엄격한 SFL 수렴 경계의 도출은 테넌트가 최종 모델 성능에 대한 사전 지식 없이도 디바이스 기여도를 평가하고 가격 전략을 설계할 수 있는 분석적 도구를 제공한다.
• PRINCE 메커니즘: 테넌트 간 경쟁과 디바이스 인센티브 사이의 균형을 맞추면서, 최적의 평형에 유한 시간 내에 수렴하는 스태켈버그 및 혼잡 게임 이론 기반의 분산 가격 인센티브 알고리즘을 개발하였다.

실험 결과
저자들은 100개의 로컬 디바이스를 대상으로 4개의 대표적인 SFL 테넌트(이미지 분류를 위한 ViT, 감성 분석을 위한 BERT, 음성-텍스트 변환을 위한 Whisper, 질의응답을 위한 LLaMA)를 사용한 시뮬레이션을 통해 PRINCE를 평가하였다.

• 성능 가속화: PRINCE는 최신 기법들(FedPEFT, FAIR, MSDA)과 비교하여 FM 미세 조정을 최대 3.07배 가속화했다.
• 목표 정확도: PRINCE는 모든 다운스트림 태스크에 대해 성능 목표를 일관되게 달성했다. 반면, FAIR 및 MSDA와 같은 벤치마크는 합리적인 기한 내에 특정 태스크(예: 질의응답 및 음성-텍스트 변환)의 목표 정확도에 도달하는 데 실패했다.
• FL과의 비교: 클래식 FL(FedPEFT)과 비교했을 때, PRINCE는 평균적으로 31.36% 더 빠르게 목표 정확도에 도달하였으며, 이는 자원이 제한된 FM 워크로드에 대한 SFL의 디바이스-엣지 시너지 효율성을 강조한다.
• 강건성: 이 메커니즘은 시스템 규모와 관계없이 테넌트 간의 균형 잡힌 최적화를 유지하였으며 유한 시간 수렴(평균 42회 반복)을 입증하였다.

의의
본 논문은 PRINCE가 파운데이션 모델 미세 조정을 위한 엣지 네트워크 내 SFL의 광범위한 채택을 위한 견고한 토대를 제공한다고 주장한다. 독립적인 디바이스 행동, 기여도 평가, 테넌트 간 경쟁이라는 멀티 테넌트 환경의 구체적인 복잡성을 해결함으로써, 제안된 메커니즘은 데이터 프라이버시를 보존하면서 다양한 다운스트림 태스크가 효율적이고 공정하게 실행될 수 있도록 보장한다. 이 연구는 이론적인 인센티브 설계와 네트워크 엣지에서의 대규모 프라이버시 보존 AI 배포를 위한 실질적인 요구 사항 사이의 간극을 메운다.