기술 요약: 이기종 시스템에서의 에너지 효율적인 연합 및 분산 학습을 위한 적응형 데이터 파티셔닝

1. 문제 정의

이종(heterogeneous) 시스템에서의 분산 모델 학습은 참여하는 장치 간의 프로세싱 처리량, 메모리 동작 및 운영 조건의 차이로 인해 상당한 제약을 받습니다. 고정된 균등 데이터 분할을 적용할 경우, 더 빠른 장치는 작업을 일찍 마치고 동기화 지점에서 느린 "스트래글러(straggler)" 장치를 기다리며 유휴 상태로 남게 됩니다. 이러한 스트래글러 효과는 전체 학습 메이크스팬(makespan)을 증가시킬 뿐만 아니라, 집단적 진보가 계속될 때까지 동기화된 참여자들이 활성 상태를 유지해야 하므로 장치의 에너지 소비도 높입니다.

이 문제를 완화하기 위한 기존 방식들은 주로 참여자 선택(느린 장치 제외), 비동기 집계, 최적화 방법의 변경 또는 모델 적응에 의존합니다. 최근의 연구들은 학습 데이터를 재분배하는 방안을 탐구해 왔으나, 많은 방식이 학습된 컨트롤러, 사전 탐색, 특정 하드웨어 설정 또는 동기화 세맨틱(semantics) 및 참여 집합의 변경에 의존하고 있습니다. 원래의 학습 구성, 모델 및 동기화 규칙을 유지하면서 다양한 동기화 및 데이터 소유 경계(연합 학습 및 분산 데이터 병렬 학습 등)에서 작동할 수 있는 공통의 폐쇄 루프(closed-loop) 메커니즘에 대한 공백이 존재합니다.

2. 방법론

저자들은 관찰된 학습 시간과 측정된 샘플당 장치 에너지를 기반으로 고정된 샘플 예산을 재할당하는 경량화된 측정 기반 할당 컨트롤러를 제안합니다. 이 컨트롤러는 모델, 손실 함수, 옵티마이저 또는 참여 장치 집합을 수정하지 않고 작동합니다.

실행 레짐(Execution Regimes)

본 연구는 다음 세 가지 실행 레짐에 걸쳐 컨트롤러를 평가합니다:

1. 주기적 모델 평균화 (Periodic Model Average, PMA): 워커들이 신뢰할 수 있는 도메인 내에서 공유 데이터를 사용하여 독립적인 모델 복제본을 학습하며, 라운드 경계에서만 동기화합니다.
2. 분산 데이터 병렬 학습 (Distributed Data Parallelism, DDP): 랭크(rank)들이 매 옵티마이저 스텝마다 그래디언트를 동기화합니다. 이 레짐은 패딩이나 더미 배치를 도입하지 않고 불균형한 per-rank 워크로드를 처리하기 위해 특정 배치 크기 전략을 필요로 합니다.
3. 내부 실로 DDP를 포함한 계층적 연합 학습 (Hierarchical Federated Learning with intra-silo DDP, HFL-DDP): 장치들이 고정된 "실로(silo, 데이터 소유 도메인)"로 그룹화됩니다. 실로 내부의 랭크들은 DDP를 사용하며, 실로 모델들은 연합 라운드 경계에서 집계됩니다. 재할당은 데이터 소유권을 존중하기 위해 동일한 실로 내의 랭크로 제한됩니다.

적응형 컨트롤러

컨트롤러는 다음과 같이 작동합니다:

• 측정: 각 라운드 $r$의 끝에서, 각 참여자 $i$는 처리 시간($t_i^{(r)}$), 에너지 소비량($e_i^{(r)}$), 그리고 샘플 수($n_i^{(r)}$)를 보고합니다.
• 비용 계산: 샘플당 비용은 $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ 및 $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$로 도출됩니다. 노이즈를 줄이기 위해 이 값들은 지수 이동 평균(EMA)을 사용하여 평활화됩니다.
• 가중치 비례 분할: 컨트롤러는 사용자 선택 가중치 $w_t$(시간)와 $w_e$(에너지)를 사용하여 무차원 결합 비용 $c_i^{(r)}$를 계산합니다.
  • $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{median}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{median}(\hat{\epsilon})}$
• 할당: 참여자들에게는 비용에 반비례하여 샘플이 할당됩니다. 비용 차이가 미미할 경우 불필요한 재할당을 방지하기 위해 "데드밴드(deadband)" 메커니즘이 작동합니다.
• DDP 특이 사항: DDP의 경우, 컨트롤러는 샘플 평균 그래디언트 목적 함수를 보존하면서 로컬 샘플을 재분배하는 per-step 배치 크기 스케줄을 구축함으로써 모든 랭크가 라운드당 동일한 수의 옵티마이저 스텝을 실행하도록 보장합니다.

실험 설정

평가는 Arm, RISC-V, x86 아키텍처를 특징으로 하는 11개 장치로 구성된 이기종 SoC 테스트베드에서 수행되었습니다. 세 가지 지도 학습 작업이 사용되었습니다: MNIST(이미지 분류), ERA5(시계열 회귀), IMDB(텍텍스트 감성 분류). 본 연구는 적응형 정책을 다음 베이스라인들과 비교했습니다:

• 균등 할당 (Equal allocation): 균등한 샘플 분할.
• 정적 프로파일링 (Static profiled): 일회성 측정 후 고정된 할당.
• Oort 방식의 선택 (Oort-like selection): 느린 참여자를 제외하는 베이스라인.
• FedAsync: 비동기 PMA.
• EMA 배치 크기 조정 (EMA batch sizing): DDP를 위한 스텝 레벨 처리량 베이스라인.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 측정 기반 컨트롤러: 관찰된 샘플당 시간 및 에너지를 기반으로 고정된 샘플 예산을 재할당하며, 전체 참여 집합과 동기화 세맨틱을 보존하는 경량화된 메커니즘입니다.
2. 통합 설계: 계층적 설정에서의 데이터 소유 경계에 대한 특정 제약을 포함하여 PMA, DDP, HFL-DDP에 적용 가능한 공통의 할당 설계를 제공합니다.
3. 에너지 인식 목적 함수: 샘플당 에너지, 학습 메이크스팬, 동기화된 장치 에너지 간의 상호작용을 드러내는 튜닝 가능한 가중치를 가진 목적 함수를 제시하며, 이는 에너지 가중치를 최대화하는 것이 항상 총 에너지를 최소화한다는 가정을 검증합니다.
4. 포괄적 평가: 이기종 테스트베드에서 세 가지 학습 작업과 세 가지 동기화 레짐에 걸친 재현 연구를 통해, 할당 변화가 컴퓨팅 불균형, 동기화 노출, 메이크스팬 및 측정된 에너지에 미치는 영향을 연결하여 보여줍니다.

4. 결과

이기종 테스트베드에서의 실험 결과는 다음과 같습니다:

• 메이크스팬 및 에너지 감소: 적응형 파티셔닝(특히 "Time only" 및 "Low energy" 정책)은 균등 할당에 비해 학습 메이크스팬과 측정된 장치 에너지를 일관되게 감소시켰습니다. PMA에서 "Time only" 정책은 작업 전반에 걸쳐 중앙값 메이크스팬을 약 7180%, 에너지를 2840% 감소시켰습니다.
• 스트래글러 완화: 컨트롤러는 컴퓨팅 불균형을 크게 줄였습니다. DDP에서 순전파(forward-pass) 시간의 변동 계수는 균등 할당 시 약 0.81.1에서 적응형 방식 적용 시 약 0.020.18로 떨어졌으며, 이는 동기화 대기 시간 감소와 직접적인 상관관关系을 보였습니다.
• 수렴: 적응형 정책은 균등 할당보다 낮은 목적 함수 영역(hold-out loss/MSE)에 더 빠르게 도달했으며, 종종 훨씬 적은 시간 내에 유사한 최종 품질을 달 Achieved 했습니다.
• 비단조적 에너지 응답 (Non-Monotonic Energy Response): 에너지 가중치($w_e$)를 높이는 것이 항상 총 에너지를 줄이는 것은 아니었습니다. 에너지 효율적이지만 느린 장치에 더 많은 작업을 할당하면 동기화된 실행 윈도우가 길어져 모든 참여자의 누적 에너지가 증가할 수 있습니다. 작은 에너지 가중치($w_e = 0.25$)를 사용하는 것이 "Energy only"($w_e = 1$)보다 더 나은 트레이드오프를 제공하는 경우가 많았습니다.
• 오버헤드: 스케줄링 계산 자체는 미미하여 라운드 기간의 0.02% 미만을 소비했습니다.

5. 의의 및 주장

본 논문은 측정 기반의 데이터 파티셔닝이 학습 구성을 변경하거나 동기화 규칙을 바꾸지 않고도 분산 학습 레짐 전반에서 스트래글러 문제를 완화할 수 있는 실용적인 방법임을 주장합니다.

• 실용성: 이 방법은 사전 프로파일링, 학습된 정책, 또는 옵티마이저나 모델 아키텍처의 변경을 요구하지 않습니다. 런타임 텔레메트리를 사용하는 폐쇄 루프 컨트롤러로서 작동합니다.
• 맥락 의존적 최적화: 저자들은 시간과 에너지 사이의 최적의 균형이 특정 작업과 실행 레짐에 따라 달라진다는 점을 강조합니다. "Time only"가 메이크스팬 최소화를 위한 가장 신뢰할 수 있는 기본값인 반면, 특정 맥락(예: 특정 작업에 대한 HFL-DDP)에서는 작은 에너지 가중치가 유익할 수 있습니다.
• 기존 연구와의 차별점: 장치를 제외하는 참여자 선택 방식(예: Oort)과 달리, 이 접근 방식은 모든 프로비저닝된 참여자를 유지합니다. 비동기 방식과 달리 대상 레짐의 동기화 세맨틱을 보존합니다.
• 한계: 저자들은 결과가 평가된 11개 장치 테스트베드와 고정된 네트워크 조건에 국한된다는 점을 겸허히 언급합니다. 이들은 모든 기존 방식에 대해 보편적인 우월성을 주장하는 것이 아니라, 이기종 환경에서 고정된 예산을 측정 기반으로 재할당하는 단순한 방식이 정적 균등 분할 및 일회성 프로파일링보다 뛰어날 수 있음을 입증합니다.