기술 요약: 이종 엣지-클라우드 연속체 내 적응형 DNN 분할 및 오프로딩

문제 정의

사물인터넷 (IoT) 기기의 급증은 심층 신경망 (DNN) 을 통한 정교한 처리가 필요한 방대한 데이터 양을 생성했습니다. 중앙 집중식 클라우드 실행은 연산 능력을 제공하지만, 실시간 IoT 애플리케이션의 경우 금지된 수준의 지연 시간, 대역폭 제약, 그리고 프라이버시 위험을 초래합니다. 반면, 리소스가 제한된 엣지 장치에서 DNN 을 완전히 실행하는 것은 종종 높은 에너지 소비와 느린 추론 시간을 초래합니다.

엣지-클라우드 연속체 전반에 걸쳐 추론을 분배하기 위한 기존 솔루션들은 일반적으로 정적 분할 (static partitioning) 전략에 의존합니다. 이러한 접근 방식은 배포 전에 신경망 계층의 고정된 분할 지점을 정의하여, 변동하는 네트워크 대역폭, 노드 이동성, 또는 변화하는 연산 부하와 같은 런타임 동적 요소에 적응하지 못합니다. furthermore, 문헌상 중요한 격차가 존재합니다: 제안된 대부분의 프레임워크는 이상적인 네트워크 조건을 가정하는 시뮬레이션 환경에서 평가되었으며, 물리적 하드웨어에서 검증된 사례는 드뭅니다. 또한, 많은 실제 연구는 주로 지연 시간이나 작업 완료 시간에 초점을 맞추어, 주요 최적화 목표로서 에너지 소비를 종종 간과합니다.

방법론

저자들은 엄격한 지연 시간 제약을 준수하면서 에너지 소비를 최소화하기 위해 이종 3 계층 연속체 (엣지, 포그, 클라우드) 전반에 DNN 추론 워크로드를 동적으로 분할하도록 설계된 적응형 분할 및 오프로딩 프레임워크를 제안합니다.

시스템 아키텍처

이 프레임워크는 다음으로 구성된 물리적 테스트베드에서 작동합니다:

• 엣지: Raspberry Pi 4 (리소스 제한).
• 포그: 노트북 (Intel Core i7).
• 클라우드: 고성능 데스크톱 PC (NVIDIA RTX 4070 Ti GPU).

이 아키텍처는 $i$개의 계층이 엣지에서 실행되고, $i+1$부터 $j$까지의 계층이 포그에서 실행되며, $j+1$부터 $N-1$까지의 계층이 클라우드에서 실행되는 분할 스키마를 허용합니다.

알고리즘 파이프라인

프레임워크는 5 단계 파이프라인을 따릅니다:

1. 오프라인 프로파일링: 런타임 전에 시스템이 모델을 프로파일링하여 두 가지 조회 테이블을 생성합니다:

   • 활성화 크기 테이블: 모든 특징 경계에서의 중간 텐서 크기를 기록하여 통신 비용을 추정합니다.
   • 상대적 연산 가중치 테이블: 단일 실행을 기반으로 각 계층에 총 추론 작업의 정규화된 분수를 할당하여, 런타임 측정을 확장하기 위한 안정적인 참조 역할을 합니다.

2. 이점 링크 프로빙: 무거운 오버헤드 없이 네트워크 조건을 추정하기 위해, 시스템은 네트워크 홉을 통해 서로 다른 크기의 두 개의 페이로드 ($s_1, s_2$) 를 전송합니다. 왕복 시간을 평균화하여 링크를 $rtt(s) = \omega + s/\beta$로 모델링하고, 고정 오버헤드 ($\omega$) 와 유효 처리량 ($\beta$) 을 도출합니다.

3. 후보 분할 추정: 임의의 후보 분할 $(i, j)$에 대해 시스템은 종단 간 지연 시간과 에너지를 예측합니다. 지연 시간은 프로파일링된 가중치와 노드 속도에서 유도된 계산 시간과 링크 모델에서 유도된 전송 시간의 합입니다. 에너지는 노드별 계산 시간에 실증적 전력률을 곱하여 추정됩니다.

4. 최적 후보 탐색: 시스템은 모든 유효한 분할 쌍을 평가합니다. 후보들은 지연 시간 마감 ($L_{max}$) 을 충족하고 정적 기준선보다 나쁘지 않도록 필터링됩니다. 최적의 분할은 가중치 목적 함수 점수를 최소화합니다:
   $$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$$
   여기서 가중치는 전체 시스템 에너지와 지연 시간보다 엣지 에너지 소비 (0.6~0.9) 를 우선시합니다.

5. 적응형 분산 추론 스케줄링:

   • 초기화: 시스템은 기준 분할과 세 가지 "프로브" 분할 (엣지 중심, 균형, 클라우드 중심) 을 실행하여 노드별 계산률과 링크 모델을 적합시킵니다.
   • 정상 상태: 시스템은 현재 분할을 일련의 추론에 대해 실행합니다. 주기적으로 링크를 재프로빙하고 비율을 재적합하여 환경을 재평가합니다. 새로운 후보가 목적 함수 점수를 최소 3% 이상 개선하거나 (또는 지연 시간 마감 위반 시), 시스템은 새로운 분할로 전환합니다. 마감 위반 동안 더 나은 후보가 존재하지 않으면, 시스템은 정적 기준선으로 되돌아갑니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 적응형 프레임워크: 이종 엣지-클라우드 연속체 전반에 워크로드를 동적으로 분할하여 지연 시간 제약을 위반하지 않으면서 에너지 효율성을 우선시하는 DNN 추론을 위한 새로운 프레임워크.
2. 물리적 테스트베드: 이전 연구의 시뮬레이션 의존성을 해결하기 위해 실제 하드웨어에서 수직 오프로딩 전략을 평가하기 위해 완전히 기능하는 3 계층 테스트베드 (Raspberry Pi, 노트북, 데스크톱 PC) 의 구축 및 활용.
3. 실증적 평가: 널리 채택된 세 가지 CNN(VGG16, AlexNet, MobileNetV2) 을 사용한 포괄적인 실제 실험으로, 단일 장치, 정적, 그리고 적응형 구성 전반에 걸쳐 하드웨어 측정 에너지 및 지연 시간 지표를 수집했습니다.

결과

이 프레임워크는 단일 장치 실행 및 정적 분할 (고정된 균등 워크로드 분배) 의 두 가지 기준선에 대해 평가되었습니다.

• 에너지 감소: 적응형 프레임워크는 정적 기준선에 비해 상당한 에너지 절감을 달성했습니다:
  • VGG16: 35.82% 감소 (5.69 J 에서 3.65 J 로).
  • AlexNet: 35.70% 감소 (0.68 J 에서 0.43 J 로).
  • MobileNetV2: 27.09% 감소 (0.92 J 에서 0.67 J 로).
• 지연 시간 감소: 종단 간 지연 시간도 감소했습니다:
  • VGG16: 6.34% 감소.
  • AlexNet: 22.92% 감소.
  • MobileNetV2: 14.20% 감소.
• 관찰: MobileNetV2 의 경우, 정적 분할은 네트워크 오버헤드로 인해 단일 장치 실행보다 오히려 지연 시간을 증가시켰습니다. 적응형 프레임워크는 분할 지점을 이동함으로써 이를 성공적으로 완화했습니다. 결과는 일관되게 에너지 감소가 지연 시간 감소를 초과함을 보여주며, 이는 프레임워크의 목적 가중치를 반영합니다.

중요성 및 주장

이 논문은 동적이고 이종적인 환경에서 정적 방법보다 적응형 분할의 우월성을 확인한다는 주장을 제시합니다. 시뮬레이션이 아닌 실제 하드웨어에서 접근 방식을 검증함으로써, 오프로딩 전략의 실제 성능에 관한 문헌상의 중요한 격차를 해소합니다.

저자들은 자원 제한이 있는 엣지 장치에서 실시간 지연 시간 제약을 위반하지 않으면서 에너지 소비를 성공적으로 최소화한다는 프레임워크의 주장을 합니다. 강화 학습 (RL) 기반 접근 방식이나 복잡한 병렬 추론 아키텍처와 달리, 이 프레임워크는 단일 가중 목적 함수의 경량화된 주기적 평가에 의존하여 네트워크 대역폭 변동 및 노드 부하 변동과 같은 환경 변화에 지속적으로 적응합니다. 결과는 지연 시간 감소 측면에서 최신 작업과 비교 가능하게 제시되지만, 기존 이종 엣지-클라우드 연구에서 종종 간과되는 에너지 효율성에 독특한 초점을 맞춥니다.