Optimizing Split Learning Latency in TinyML-Based IoT Systems

본 논문은 ESP32-S3 보드에서 TinyML 기반 분할 학습의 첫 번째 실험적 지연 시간 벤치마크를 제시하며, ESP-NOW 프로토콜을 사용하는 제안된 빔 서치 기반 알고리즘이 다양한 모델과 통신 프로토콜에 걸쳐 분할 지점을 최적화함으로써 엔드투엔드 추론 지연 시간을 효과적으로 최소화함을 보여줍니다.

핵심

상상해 보세요. 아주 똑똑하지만 매우 작은 로봇 (문벨에 달린 스마트 카메라와 같은) 이 얼굴 인식과 같은 복잡한 퍼즐을 풀어야 한다고 가정해 봅시다. 문제는 이 로봇이 작고 배터리가 작으며 뇌도 약하다는 점입니다. 이 로봇에게 퍼즐 전체를 혼자 풀라고 하면 시간이 영원히 걸리거나, 끝내기 전에 배터리가 방전될 수 있습니다.

이 논문은 분할 학습 (Split Learning) 이라는 교묘한 우회책을 탐구합니다. 작은 로봇에게 모든 일을 시키는 대신, 일을 반으로 나눕니다. 로봇은 퍼즐의 첫 번째이자 쉬운 부분을 수행한 후, 찾은 "단서"를 근처에 있는 더 크고 강력한 로봇 (스마트 스피커나 로컬 서버와 같은) 에게 외칩니다. 그런 다음 더 큰 로봇이 퍼즐의 어려운 부분을 마무리하고 답을 외쳐 보냅니다.

이 논문의 저자들은 실제 저전력 하드웨어 (특히 저렴하고 오픈 소스인 마이크로컨트롤러인 ESP32-S3 보드) 를 사용하여 이 외치고 듣는 게임을 수행하는 가장 빠른 방법을 파악하고자 했습니다.

다음은 그들의 발견을 간단한 비유로 정리한 내용입니다:

1. "외치는" 문제: 올바른 프로토콜 선택

작은 로봇이 큰 로봇에게 단서를 보낼 때, 데이터를 전송할 "언어"나 "전달 방법"을 선택해야 합니다. 연구원들은 다양한 우편 서비스 유형을 선택하듯이 네 가지 다른 방법을 테스트했습니다:

• UDP: 엽서를 보내는 것과 같습니다. 영수증을 기다리지 않기 때문에 매우 빠르지만, 엽서가 분실되면 알 수 없습니다.
• TCP: 등기우편을 보내는 것과 같습니다. 매우 신뢰할 수 있습니다 (영수증을 받음). 하지만 편지가 발송되기 전의 모든 "핸드셰이크" 서류 작업으로 인해 시간이 더 오래 걸립니다.
• BLE (블루투스): 느리고 수다스러운 무전기 같습니다. 연결은 잘 되지만 대화를 설정하는 데 시간이 많이 걸리고 데이터를 매우 작고 조각난 덩어리로 전송합니다.
• ESP-NOW: 공식적인 연결을 먼저 설정할 필요가 없는 전용 고속 무전기 같습니다. 메시지를 그냥 내보냅니다.

승자: 놀랍게도 ESP-NOW가 전체적으로 가장 빨랐습니다. 작은 "봉투" 크기 제한 (한 번에 거대한 데이터 덩어리를 운반할 수 없음) 이 있음에도 불구하고, 공식적인 연결 설정을 건너뛰는 데 시간을 많이 절약하여 다른 방법들을 이겼습니다. 단서를 보내고 답을 받아오는 왕복 시간을 약 3.6 초에 완료한 반면, 블루투스는 10 초 이상 걸렸습니다.

2. "자르는" 문제: 일을 어디에서 나눌 것인가?

연구원들은 퍼즐을 정확히 어디에서 잘라야 하는지도 결정해야 했습니다.

• 너무 일찍 자르기: 작은 로봇은 거의 아무 일도 하지 않지만, 큰 로봇에게 거대한 단서 더미를 보내야 합니다. 이는 네트워크를 마비시킵니다.
• 너무 늦게 자르기: 작은 로봇은 거의 모든 일을 하지만, 약한 뇌로는 수행하는 데 시간이 너무 오래 걸립니다.

그들은 두 가지 인기 있는 AI 모델 (MobileNet-V2 및 ResNet50) 에서 다양한 "절단 지점"을 테스트했습니다. 그들은 최적의 절단 지점이 모델과 네트워크에 따라 다르다는 것을 발견했지만, 일반적으로 작은 로봇이 네트워크를 과부하시키지 않으면서도 충분한 작업을 수행하는 "골디락스" 구역을 찾고자 했습니다.

3. "스마트 계획자": 빔 서치 (Beam Search)

완벽한 절단 지점을 찾는 것은 미로에서 가장 좋은 경로를 찾는 것과 같습니다.

• 무차별 대입 (Brute Force): 가능한 모든 경로를 하나씩 시도합니다. 이는 최상의 경로를 보장하지만, 계산하는 데 영원히 (며칠) 걸립니다.
• 탐욕적 탐색 (Greedy Search): 처음에 좋아 보이는 경로를 선택합니다. 빠르지만 나중에 막다른 길에 빠질 수 있습니다.
• 빔 서치 (승자): 미로를 탐색하되 모든 경로를 확인하는 대신, 어떤 순간에도 가장 유망한 상위 3 개 경로만 추적한다고 상상해 보세요. 경로가 나쁘면 버리고, 좋으면 유지하며 더 나아가 탐색합니다.

연구원들은 이 빔 서치 방법을 사용하여 알고리즘을 만들었습니다.

• 결과: 5 개 장치 그룹의 경우 약 0.1 초 만에 거의 완벽한 경로를 즉시 찾았습니다.
• 중요성: 동일한 것을 계산하는 데 몇 시간이나 며칠이 걸리는 "무차별 대입" 방법과 달리, 실시간 시스템에서 사용할 수 있을 만큼 빠릅니다.

"레시피" 요약

이 논문은 이러한 작은 IoT 장치들이 효율적으로 협력하도록 하는 간단한 레시피로 결론을 내립니다:

1. 지루한 설정 단계를 건너뛰고 왕복에 가장 빠르기 때문에 통신에 ESP-NOW를 사용하세요.
2. AI 모델을 어디에서 분할할지 자동으로 결정하기 위해 빔 서치 알고리즘을 사용하세요. 이는 작은 로봇과 큰 로봇이 가능한 한 시간 효율적인 방식으로 일을 나누도록 보장합니다.

올바른 "외치는 방법 (ESP-NOW)"과 스마트한 "계획자 (빔 서치)"를 결합함으로써, 그들은 하드웨어를 업그레이드할 필요 없이 이러한 작고 저전력 장치들이 이전보다 훨씬 빠르게 복잡한 AI 퍼즐을 풀 수 있도록 했습니다.

기술 요약

기술 요약: TinyML 기반 IoT 시스템에서 분할 학습 지연 시간 최적화

문제 제기

인공지능의 급속한 진화는 초저전력 및 리소스 제약이 있는 엣지 및 IoT 장치에 딥러닝 (DL) 추론을 배포하는 데 있어 중요한 병목 현상에 직면해 있습니다. TinyML 은 경량 모델을 통해 해결책을 제시하지만, 많은 응용 프로그램은 여전히 개별 마이크로컨트롤러의 메모리 및 처리 능력을 초과합니다. 분할 학습 (SL) 은 모델을 장치 간에 분할하여 센서에서 초기 레이어를 실행하고 나머지를 동반 장치로 오프로딩함으로써 이를 해결합니다. 그러나 이러한 맥락에서 SL 의 성능은 아직 충분히 탐구되지 않았습니다. 구체적으로 다음과 같은 경험적 증거가 부족합니다:

1. 현실적인 저전력 무선 프로토콜 하에서 제약된 하드웨어에서의 SL 종단 간 추론 지연 시간.
2. 네트워크 설정, 중간 활성화 (intermediate activations) 전송, 그리고 예측 피드백을 포함한 다양한 무선 통신 프로토콜 (WiFi, ESP-NOW, BLE) 이 분할 지연 시간에 미치는 영향.
3. 계산 및 통신 오버헤드를 모두 고려하여 총 지연 시간을 최소화하는 "분할 지점"(모델이 분할되는 위치) 의 최적 선택.

기존 연구들은 주로 스마트폰이나 단일 보드 컴퓨터에 초점을 맞추었으며, 종종 이상적인 전송 조건을 가정하거나 패킷 손실이나 연결 핸드셰이크와 같은 프로토콜별 오버헤드를 고려하지 않는 휴리스틱 분할 선택 방법을 사용했습니다.

방법론

저자들은 이러한 격차를 해결하기 위한 실험적 프레임워크와 최적화 알고리즘을 제안합니다.

1. 실험 테스트베드

• 하드웨어: 시스템은 IoT 노드로 ESP32-S3-WROOM-1 보드 (240 MHz, 16 MB 플래시) 를, 엣지 서버로 데스크톱 PC(Intel Core i9-14900) 를 사용합니다.
• 모델: 두 가지 합성곱 신경망 (CNN) 을 사용했습니다: MobileNet-V2(경량) 와 ResNet50(대형).
• 프레임워크: 모델은 엣지 서버에서 TensorFlow Lite(TFLite) 를 사용하여 준비, 분할 및 양자화되었습니다. 펌웨어는 오버 더 에어 (OTA) 업데이트를 통해 IoT 장치에 배포되었습니다.
• 프로토콜 비교: 중간 활성화 전송을 위해 네 가지 무선 통신 프로토콜을 벤치마크했습니다:
  • UDP(over WiFi)
  • TCP(over WiFi)
  • ESP-NOW(저전력, 피어 투 피어)
  • BLE(Bluetooth Low Energy)
• 측정: 지연 시간은 ESP32-S3 의 고해상도 타이머를 사용하여 측정되었으며, 프로토콜 설정, 모델 로드, 텐서 할당, 추론, 버퍼링, 전송 및 피드백을 포함한 왕복 시간 (RTT) 구성 요소를 포착했습니다.

2. 최적화 프레임워크

이 논문은 총 추론 지연 시간 ($T_{inference}$) 을 최소화하기 위한 분할 지점 선택을 최적화 문제로 공식화합니다. 여기서 $T_{inference}$는 장치 로컬 처리 지연 시간 ($T_d$) 과 전송 지연 시간 ($T_{tr}$) 의 합으로 정의됩니다.

• 전송 모델: 전송 지연 시간은 패킷 크기, 최대 전송 단위 (MTU) 제한, 전파 지연, 그리고 패킷 손실 확률을 고려합니다.
• 검색 알고리즘: 최적화 문제 (최적의 분할 지점 집합 $s^*$ 찾기) 를 해결하기 위해 저자들은 네 가지 전략을 비교합니다:
  1. Brute Force: 포괄적 검색 (큰 $L$의 경우 계산적으로 불가능).
  2. Random-Fit: 분할 지점의 무작위 선택.
  3. First-Fit: 지연 시간 임계값을 만족하는 첫 번째 분할 지점 선택.
  4. Greedy Search: 즉각적인 세그먼트 비용을 최소화하기 위해 순차적으로 분할 지점 선택.
  5. Beam Search: 이 맥락에서 새로운 접근 방식으로, 각 단계에서 상위 $B$개의 가장 유망한 부분 해만 확장하여 검색 정확도와 계산 효율성 사이의 균형을 맞춥니다.

주요 결과

프로토콜 성능

• ESP-NOW: 두 장치 설정에서 3.6 초의 가장 우수한 전체 왕복 시간 (RTT) 을 달성했습니다. UDP/TCP 에 비해 패킷 제한 (250 바이트) 이 작음에도 불구하고, 연결 핸드셰이크 오버헤드가 없고 효율적인 MAC 계층 브로드캐스트 메커니즘을 갖추고 있어 총 지연 시간이 가장 낮았습니다.
• UDP: 큰 MTU(1472 바이트) 와 확인 응답 오버헤드가 없어 작은 페이로드의 경우 (예: 1.4 ms) 가장 낮은 원시 전송 지연 시간을 제공했습니다. 그러나 프로토콜 설정 시간은 유의미했습니다 (>2 초).
• TCP: 연결 설정 및 재전송 오버헤드로 인해 높은 지연 시간을 겪었으며, 특히 큰 중간 활성화 텐서 (예: >100 패킷) 를 처리할 때 ESP32 에서 버퍼 정체가 발생했습니다.
• BLE: 과도한 분편화 (512 바이트 MTU) 와 높은 설정/피드백 지연으로 인해 가장 높은 지연 시간 (10.4 초 RTT) 을 기록했습니다.

분할 지점 최적화

• 알고리즘 효율성: Beam Search 알고리즘은 Brute Force 와 비교할 때 거의 최적의 지연 시간 성능을 보였지만 처리 시간은 극적으로 단축되었습니다. 5 개 장치가 있는 시나리오에서 Beam Search 는 0.1 초의 처리 시간만 필요로 한 반면, Brute Force 는 기하급수적으로 더 오래 걸릴 것으로 예상되었습니다 (6 개 장치의 경우 약 7857 초).
• 지연 시간 감소: Beam Search 는 6 개 장치의 경우 Random-Fit 대비 지연 시간을 600% 이상 감소시켰습니다.
• 모델별 세부 사항:
  • MobileNet-V2의 경우, Beam Search 는 다양한 장치 수에 걸쳐 일관되게 가장 낮은 지연 시간을 달성했습니다.
  • ResNet50의 경우, Beam Search 가 여전히 가장 효율적이었으나, 일부 노드가 특정 모델 세그먼트를 실행할 수 있는 용량이 부족하여 높은 장치 수에서 지연 시간 변동이 관찰되었습니다.

분할 지점에 대한 구체적 발견

수동 벤치마킹을 통해 ESP-NOW 를 사용할 때 MobileNet-V2 의 block_16_project_BN 레이어가 계산 부하와 데이터 전송 크기를 효과적으로 균형 있게 유지하는 매우 효과적인 분할 지점임을 확인했습니다.

중요성 및 주장

이 논문은 저전력 ESP32-S3 보드에서 TinyML 기반 분할 학습에 대한 최초의 실험적 지연 시간 벤치마크를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 경험적 증거: 이론적 시뮬레이션이나 스마트폰 기반 연구를 넘어 다양한 무선 프로토콜에 대한 SL 지연 시간의 실제 세계 측정을 제공함으로써 문헌의 격차를 메웠습니다.
2. 프로토콜 선택: UDP 가 낮은 전송 지연 시간을 제공하지만, ESP-NOW는 무시할 수 있는 설정 오버헤드로 인해 제약된 IoT 환경에서 종단 간 SL RTT 에 있어 더 우수한 프로토콜임을 확립했습니다.
3. 최적화 알고리즘: 자동 분할 지점 선택을 위한 Beam Search 기반 알고리즘을 도입하고 검증했습니다. 저자들은 이 방법이 포괄적 검색 방법과 달리 최소한의 계산 비용으로 거의 최적의 지연 시간을 제공하며, 실시간 배포를 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다.
4. 재현성: TinyML 및 분할 학습 분야의 향후 연구를 위한 재현 가능한 기준선으로 제공하기 위해 소스 코드와 실험 설정을 공개했습니다.

저자들은 현재 작업이 정적 분할 지점과 고정된 프로토콜에 초점을 맞추고 있지만, 향후 작업은 네트워크 조건과 장치 리소스에 기반하여 실시간으로 분할 지점, 청크 크기, 그리고 프로토콜을 적응시키는 동적 프레임워크를 개발하는 것을 목표로 한다고 결론지었습니다.