Orchestrating Multimodal DNN Workloads in Wireless Neural Processing

본 논문은 무선 신경 처리 (WNP) 환경에서 무선 전송과 가속기 수준의 DNN 실행을 통합 최적화하여 종단 간 추론 지연을 줄이는 'O-WiN' 프레임워크와 통신 - 연산 오버랩을 통한 파이프라인 병렬화를 실현하는 'PACS' 알고리즘을 제안합니다.

핵심

🍔 비유: "고속도로와 주방의 협업"

이 문제를 이해하기 위해 거대한 햄버거 가게를 상상해 보세요.

1. 상황:
   • 센서 (손님들): 여러 곳에서 주문이 들어옵니다. (텍스트 주문, 음성 주문, 사진 주문 등)
   • 무선 통신 (배달 기사): 주문 정보가 가게 (에지 서버) 로 배달되어야 합니다.
   • 가방 (멀티코어 가속기): 주문을 받아 햄버거를 만드는 주방입니다. 주방에는 여러 명의 요리사 (코어) 가 있습니다.
   • 목표: 모든 주문이 들어와서 햄버거가 완성될 때까지 걸리는 **총 시간 (지연)**을 최소화하는 것입니다.

🚧 기존 방식 (RTFS 알고리즘)

"모든 재료가 다 도착할 때까지 기다려라!"

기존 방식은 아주 보수적입니다.

• 배달 기사들이 모든 주문 (데이터) 을 다 가져와야만 주방이 문을 엽니다.
• 만약 5 번째 주문이 오는 데 10 분이 걸린다면, 앞선 4 개의 주문이 이미 도착했더라도 주방은 10 분 동안 아무것도 하지 않고 멍하니 기다립니다.
• 문제점: 배달이 늦어지는 동안 주방은 놀고 있고, 전체 주문이 끝나는 시간이 길어집니다.

✨ 이 논문의 혁신 (PACS 알고리즘)

"오면서 바로 만들기 시작해라! (파이프라인 병렬화)"

이 논문이 제안하는 PACS라는 새로운 방식은 완전히 다릅니다.

• 즉시 시작: 1 번 주문이 도착하자마자, 그 주문에 해당하는 햄버거 (데이터 처리) 를 바로 만들기 시작합니다.
• 동시 진행: 1 번 주문을 만드는 동안, 배달 기사들은 2 번, 3 번 주문을 계속 가져옵니다.
• 주방 활용: 주방은 "전체 주문이 다 올 때까지 기다리는" 대신, "도착하는 대로 바로바로" 일을 처리합니다.
• 결과: 배달이 늦어지는 시간을 요리사가 일을 하는 시간과 겹치게 만들어, 전체 소요 시간을 획기적으로 줄입니다.

🧠 이 논문의 핵심 아이디어 3 가지

1. "무선 통신"과 "계산"을 하나로 묶다 (WNP)

기존에는 배달 (통신) 과 요리 (계산) 를 별개의 문제로 봤습니다. 하지만 이 논문은 이 둘을 하나의 연속된 흐름으로 봅니다.

• 비유: 배달 트럭이 주방 문 앞에 멈추는 순간, 요리사가 바로 재료를 꺼내서 일을 시작해야 합니다. 두 과정이 분리되어 있으면 시간이 낭비됩니다.

2. O-WiN: "스마트 매니저" 시스템

이 논문은 O-WiN이라는 새로운 관리 시스템을 제안합니다.

• 이 시스템은 배달 기사들이 어떤 길로 갈지 (무선 자원 할당) 와 요리사들이 어떤 순서로 요리할지 (작업 스케줄링) 를 동시에 계획합니다.
• 시뮬레이션: 실제 일을 하기 전에 "만약 이 주문을 먼저 보내면 어떨까?"를 가상으로 여러 번 시뮬레이션해서 가장 빠른 방법을 찾아냅니다.

3. PACS vs RTFS: 누가 더 빠를까?

• RTFS (기존): "다 모일 때까지 기다려." (단순하지만 비효율적)
• PACS (새로운 방법): "오는 대로 바로 처리해." (복잡하지만 훨씬 빠름)
• 결과: 특히 주문 내용 (데이터 종류) 이 서로 많이 다를 때 (예: 하나는 작은 텍스트, 하나는 큰 영상), PACS가 압도적으로 빠릅니다. 왜냐하면 큰 데이터가 오기 전에 작은 데이터로 먼저 일을 시작할 수 있기 때문입니다.

💡 왜 이 연구가 중요한가요?

우리가 스마트폰이나 자율주행차, 스마트 공장에서 AI 를 사용할 때, 데이터가 클라우드나 서버로 넘어가는 무선 통신 속도가 병목 현상이 되어 AI 가 느려지는 경우가 많습니다.

이 연구는 "통신이 늦어지는 시간을 계산이 하는 시간과 겹쳐서 숨겨버리는 (Overlap)" 기술을 개발함으로써, 더 빠른 AI 응답 속도, 더 낮은 전력 소모, 더 효율적인 네트워크 사용을 가능하게 합니다.

📝 한 줄 요약

"모든 재료가 다 도착할 때까지 주방을 비워두지 말고, 배달이 오면서 바로 요리를 시작하게 해서 전체 주문 시간을 단축하자!"

이 논문은 무선 통신과 AI 연산을 따로 생각하지 않고, 서로 밀접하게 연결된 하나의 시스템으로 최적화하는 새로운 지능형 운영 방식을 제시한 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

에지 추론 (Edge Inference) 환경에서 다양한 센서 노드 (텍스트, 오디오, 이미지, 비디오 등) 로부터 생성된 이질적인 데이터 스트림이 무선으로 엣지 서버로 오프로드되어 멀티모달 딥 뉴럴 네트워크 (DNN) 에 의해 추론되는 시나리오를 가정합니다.

• 핵심 문제: 기존 연구에서는 **무선 자원 할당 (통신)**과 **액셀러레이터 수준의 DNN 스케줄링 (연산)**이 분리되어 설계되는 경우가 많습니다. 이는 통신과 연산 간의 조정이 부족하여, 데이터 전송이 완료될 때까지 연산 자원이 대기하거나 (Wait-all), 통신 지연이 전체 추론 지연 시간 (End-to-end Latency) 을 결정하는 병목 현상을 초래합니다.
• 제약 조건: 제한된 스펙트럼 자원 하에서 무선 전송 시간이 연산 시간보다 길어지는 경우가 빈번하며, 이를 해결하기 위해 통신과 연산을 종단 간 (End-to-End) 으로 통합하여 최적화할 필요가 있습니다.

2. 제안된 방법론 (Methodology)

이 논문은 **무선 신경 처리 (Wireless Neural Processing, WNP)**라는 새로운 패러다임을 제안하며, 무선 전송과 멀티코어 액셀러레이터 실행을 통합된 파이프라인으로 오케스트레이션합니다.

가. 시스템 아키텍처 및 모델링

• 통합 모델: 멀티모달 DNN 을 방향성 비순환 그래프 (DAG) 로 모델링하며, 각 모달리티 (Modality) 는 별도의 서브그래프를 가집니다.
• 파이프라인 병렬성: 무선 데이터 전송과 연산 실행을 시간적으로 겹쳐 (Overlap) 실행함으로써 통신 지연을 숨기는 것을 목표로 합니다.
• O-WiN 프레임워크: 통신 - 연산 파이프라인을 오케스트레이션하기 위한 모듈형 확장 가능 프레임워크를 설계했습니다.
  • 시뮬레이션 기반 최적화: 통신 정책과 연산 매핑 전략을 반복적으로 개선합니다.
  • 런타임 실행: 최적화된 솔루션을 실제 시스템에 배포하여 실행합니다.

나. 제안 알고리즘

통신과 연산을 어떻게 조율할지에 따라 두 가지 휴리스틱 알고리즘을 개발했습니다.

1. RTFS (Release-Time First Scheduling):

   • 방식: 통신과 연산을 순차적으로 처리합니다. 모든 모달리티의 데이터 조각 (Slice) 이 엣지 서버에 도착할 때까지 대기 (Wait-all) 한 후, 연산을 시작합니다.
   • 특징: 통신 지연이 연산 시작 시간을 결정하며, 통신이 완료될 때까지 연산 자원이 유휴 상태가 될 수 있습니다.

2. PACS (Pipeline-Aware Co-Scheduling):

   • 방식: 통신과 연산을 **교차 (Interleave)**하여 파이프라인 병렬성을 실현합니다. 특정 모달리티의 최소 필요 데이터가 도착하는 즉시 해당 모달리티에 대한 연산 (서브그래프) 을 시작합니다.
   • 핵심 메커니즘:
     • 가벼운 예측기 (Lightweight Predictor): 전체 시뮬레이션 없이도 DNN 실행 완료 시간을 빠르게 예측하여 자원 할당 (RB 할당) 의사결정을 내립니다.
     • 그리디 할당: 예측된 전체 완료 시간 (Makespan) 을 가장 크게 줄이는 데이터 조각에 주파수 자원 (RB) 을 우선적으로 할당합니다.
     • 이벤트 기반 스케줄링: 데이터 도착과 연산 완료 이벤트를 기반으로 실시간으로 준비된 작업을 유휴 코어에 할당합니다.

3. 주요 기여 (Key Contributions)

1. WNP 시스템 아키텍처 제안: 무선 데이터 전달과 멀티코어 액셀러레이터의 연산자 (Operator) 수준 실행을 통합하여 종단 간 지연을 최소화하는 최적화 문제를 공식화했습니다.
2. O-WiN 프레임워크: 통신과 연산을 분리된 모듈로 정의하면서도 상호작용을 체계적으로 조정할 수 있는 확장 가능한 오케스트레이션 프레임워크를 제시했습니다.
3. 새로운 알고리즘 개발:
   • RTFS: 통신 지연을 최소화하기 위해 전송을 우선시하는 순차적 접근법.
   • PACS: 통신 - 연산 중첩을 통해 파이프라인 병렬성을 활용하는 지능형 접근법.
4. 성능 검증: 다양한 시스템 구성 (코어 수, OFDMA 서브캐리어 수, 무선 지연, NoC 대역폭 등) 에 대한 민감도 분석을 통해 PACS 의 우수성을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션을 통해 RTFS 와 PACS 를 비교 평가한 결과는 다음과 같습니다.

• 종단 간 지연 (Makespan) 감소: PACS 는 RTFS 대비 상당히 낮은 지연 시간을 달성했습니다. 특히 모달리티 간 이질성 (데이터 크기나 연산 부하의 차이) 이 큰 환경에서 PACS 의 성능 우위가 두드러졌습니다.
• 통신 지연 숨김 (Latency Hiding): PACS 는 데이터가 도착하는 대로 즉시 연산을 시작하므로, 무선 전송 지연을 연산 시간과 겹쳐서 숨길 수 있었습니다. 반면 RTFS 는 모든 데이터가 도착할 때까지 연산 자원이 유휴 상태로 머무르는 시간이 길었습니다.
• 리소스 활용도: PACS 는 NoC (Network-on-Chip) 대역폭을 더 지속적으로 활용하여 코어 유휴 시간을 줄이고 처리량을 향상시켰습니다.
• 시스템 확장성:
  • 무선 자원 (서브캐리어 수) 이 증가할 때 PACS 의 성능 개선 폭이 가장 컸으며, 이는 전체 시스템이 통신 제약 (Communication-bound) 을 받고 있음을 시사합니다.
  • 모달리티 간 데이터 크기와 압축 비율이 불균형할 때 PACS 가 RTFS 대비 최대 19% 이상의 지연 감소 효과를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 에지 AI 추론에서 무선 통신과 연산 처리를 분리된 문제가 아닌 통합된 파이프라인으로 접근해야 함을 강조합니다.

• 기술적 의의: 기존의 거친粒度 (Coarse-grained) 의 자원 협업 방식을 넘어, 연산자 (Operator) 수준에서 통신과 연산을 세밀하게 중첩 (Fine-grained Pipelining) 하는 새로운 최적화 기법을 제시했습니다.
• 실용적 가치: 제한된 무선 대역폭과 다양한 데이터 특성을 가진 에지 환경에서, PACS 와 같은 파이프라인 인식 스케줄링을 적용하면 지연 시간을 획기적으로 줄이고 에너지 효율을 높일 수 있음을 입증했습니다.
• 미래 방향: WNP 는 무선 채널을 단순한 I/O 가 아닌 DNN 액셀러레이터의 '원격 메모리'로 간주하여, 통신 - 연산 통합 최적화를 통해 차세대 에지 AI 시스템의 성능 한계를 극복할 수 있는 방향을 제시합니다.