Ask the Expert: Collaborative Inference for Vision Transformers with Near-Edge Accelerators

1. 문제 제기 (Problem Statement)

비전 트랜스포머 (Vision Transformers, ViT) 는 이미지 인식 분야에서 뛰어난 성능을 보이지만, 높은 계산 복잡도와 파라미터 수로 인해 리소스가 제한된 엣지 장치 (예: Raspberry Pi) 에 직접 배포하기 어렵습니다. 반면, 모든 데이터를 클라우드에 오프로드하면 통신 지연 (Latency) 과 대역폭 비용이 급증하여 실시간 처리가 불가능해집니다.

기존의 해결책인 '분할 추론 (Split Inference)'이나 '조기 종료 (Early Exits)'는 ViT 의 구조적 특성 (자연스러운 병목 구간 부재, 전역 자기 주의 메커니즘으로 인한 복잡한 의존성) 으로 인해 ViT 에 적용하기 어렵습니다. 또한, 기존 혼합 전문가 (MoE) 모델은 라우터와 전문가 간의 결합된 최적화로 인한 학습 불안정성 (Expert under-specialization, Router collapse) 과 분산 환경 적용의 어려움이라는 한계가 있습니다.

따라서, 엣지 장치와 클라우드 사이의 'Near-Edge(근접 엣지)' 가속기를 활용하여, 엣지의 경량 모델과 근접 엣지의 전문 모델을 협력시키는 새로운 추론 프레임워크가 필요합니다.

2. 제안 방법론 (Methodology)

저자는 엣지 장치에 가벼운 범용 (Generalist) ViT를, Near-Edge 가속기에 여러 개의 중형 전문가 (Expert) ViT를 배치하는 협력 추론 프레임워크를 제안합니다. 핵심 구성 요소는 다음과 같습니다.

가. Top-k 기반 제로 오버헤드 라우팅 메커니즘 (Zero-Overhead Routing)

• 원리: 엣지 모델이 입력 데이터를 처리할 때, 높은 확신을 가진 샘플은 로컬에서 최종 결정을 내립니다. 반면, 확신이 낮은 (Uncertain) 샘플은 Near-Edge 로 전송됩니다.
• 라우팅 신호: 별도의 라우터 모델을 학습시키지 않고, 엣지 모델이 출력한 Top-k 예측 클래스 인덱스를 라우팅 신호로 활용합니다.
• 작동 방식: 엣지 모델의 Top-k 예측 클래스들이 속한 데이터 파티션 (Subset) 을 식별하여, 해당 파티션에 특화된 특정 전문가 (Expert) 모델을 Near-Edge 에서 선택합니다. 이는 추가적인 계산 오버헤드 없이 라우팅을 수행합니다.

나. 점진적 전문가 학습 전략 (Progressive Specialist Training Strategy)

• 목표: 각 전문가 모델이 특정 데이터 하위 집합 (Subset) 에 대해 높은 정확도를 내면서도, 전체 데이터셋에 대한 일반화 능력을 유지하도록 학습시키는 것입니다.
• 동적 가중치 증류 (Dynamic Weighted Distillation):
  • 초기 학습 단계에서는 전체 데이터셋에서 전역 특징을 학습하도록 합니다.
  • 학습이 진행됨에 따라 (Epoch 증가), 목표 하위 집합 (Target Subset) 에 대한 샘플의 가중치를 점진적으로 증가시킵니다.
  • 이를 통해 전문가 모델이 초기에는 일반성을 유지하다가 후기에는 특정 도메인에 대한 전문성 (Specialization) 을 강화하도록 유도합니다.
  • 교차 엔트로피 손실 (Cross-Entropy Loss) 과 증류 손실 (Distillation Loss) 을 결합하여 학습합니다.

다. 시스템 아키텍처

• 오프라인 단계: 전체 데이터셋을 여러 하위 집합으로 분할하고, 각 조합에 맞는 전문가 모델을 점진적 학습 전략으로 훈련합니다.
• 온라인 단계: 엣지 모델이 실시간으로 추론을 수행하며, 신뢰도 임계값 ($\tau$) 이하인 샘플을 Top-k 정보를 함께 Near-Edge 로 전송하여 전문가가 최종 분류를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 협력 추론 프레임워크: ViT 를 위한 범용 엣지 모델과 여러 Near-Edge 전문가 모델을 조율하는 새로운 아키텍처를 제안했습니다.
2. 오버헤드 없는 라우팅: 엣지 모델의 Top-k 예측을 라우팅 신호로 재사용하여, 별도의 라우터 학습 없이도 효율적인 전문가 선택을 가능하게 했습니다.
3. 점진적 전문가 학습 전략: 전문가의 도메인 특화 (Specialization) 를 명시적으로 강제하면서도 전체 정확도를 유지하는 학습 기법을 고안했습니다.
4. 실제 하드웨어 기반 검증: Raspberry Pi 5 (엣지) 와 Nvidia Jetson Orin Nano/AGX Orin (Near-Edge) 을 활용한 실제 테스트베드에서 CIFAR-100 데이터셋을 통해 실험을 수행했습니다.

4. 실험 결과 (Results)

실험은 CIFAR-100 데이터셋을 사용하였으며, 주요 성과는 다음과 같습니다.

• 정확도 향상:
  • 제안된 학습 전략은 전문가 모델의 타겟 하위 집합 정확도를 4.12% 향상시켰습니다.
  • 정적 (Static) 전문가 모델 대비 전체 데이터셋 정확도를 2.76% 향상시켰습니다.
  • 기존 범용 협력 추론 (Generalist Co-inference) 대비 최대 1.70% 의 정확도 향상을 보였습니다.
• 지연 시간 (Latency) 및 에너지 효율:
  • 엣지 단독 실행 (Edge-Only) 대비 최대 45% 의 지연 시간 단축.
  • 클라우드 오프로드 (Cloud Offload) 대비 최대 46% 의 에너지 소비 감소.
  • Near-Edge 오프로드 대비 에너지 효율이 14~46% 개선되었으나, 통신 감소로 인한 지연 시간 절감 효과가 더 큽니다.
• 효율성 (ROI):
  • 큰 범용 모델을 Near-Edge 에 배치하는 것보다, 중형 전문가 모델을 배치하는 것이 지연 시간과 에너지 대비 정확도 향상 (Accuracy-to-Latency/Energy Ratio) 측면에서 훨씬 효율적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 엣지 AI 의 한계를 극복하기 위해 Near-Edge 가속기를 전략적으로 활용하는 새로운 패러다임을 제시합니다.

• 기술적 의의: ViT 의 구조적 한계를 극복하고, MoE 의 학습 불안정성을 해결하며, Top-k 예측을 라우팅에 활용하는 혁신적인 방식을 제안했습니다.
• 실용적 가치: 복잡한 모델 배포 시 발생하는 지연 시간과 에너지 소비 문제를 해결하여, 실시간 엣지 AI 응용 (예: 스마트 시티, IoT) 의 실용성을 높였습니다.
• 확장성: 더 복잡한 데이터셋 (예: ImageNet) 으로 갈수록 엣지 모델의 Top-1 정확도와 Top-k 정확도 간의 '회수 가능한 갭 (Recall Gap)'이 커지므로, 제안된 프레임워크의 효율성은 더욱 증대될 것으로 예상됩니다.

결론적으로, 이 연구는 제한된 리소스를 가진 엣지 환경에서 고성능 비전 모델을 배포하기 위한 **가장 효율적인 Pareto 최적 해 (Pareto-optimal solution)**를 제공하며, 중앙 집중형 클라우드 의존도를 낮추고 에너지 효율적인 AI 생태계를 구축하는 데 기여합니다.