CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

기술 요약: CR2 – 무선 디바이스-에지 LLM 추론을 위한 비용 인식 위험 제어 라우팅

문제 정의
대규모 언어 모델 (LLM) 이 중앙 집중형 클라우드에서 모바일 에지 환경으로 이전함에 따라, 제한된 디바이스-에지 자원 하에서 지연 시간, 에너지 소비, 정확도를 균형 있게 조정하는 효율적인 서비스가 필요합니다. 경량 온디바이스 모델과 강력한 에지 모델 간의 쿼리 수준 라우팅은 이러한 트레이드오프를 탐색하기 위한 유연한 메커니즘을 제공하지만, 기존 라우팅 방법은 주로 중앙 집중형 클라우드 환경을 위해 설계되었습니다. 이러한 기존 접근 방식들은 토큰 수준의 비용이나 정적 품질 - 비용 트레이드오프를 최적화할 뿐, 무선 에지 배포에 내재된 동적 지연 시간 및 에너지 오버헤드를 포착하지 못합니다.

디바이스 - 에지 시스템이 요구하는 2 단계 의사결정 구조에는 중요한 격차가 존재합니다:

1. 로컬 의사결정 (UE): 사용자 장비 (UE) 는 에지 모델 점수나 실시간 에지 상태에 접근할 수 없이, 오직 로컬에서 이용 가능한 정보 (쿼리 임베딩 및 비용 선호도) 만을 사용하여 쿼리를 로컬에서 실행할지 에지로 위임할지 결정해야 합니다.
2. 에지 의사결정: 위임된 쿼리만이 전체 시스템 상태를 기반으로 사용 가능한 에지 모델 간에 라우팅됩니다.

기존 방법들은 종종 에지 상태에 대한 전역적 지식을 가정하거나 라우팅을 단일 선택으로 간주하여 비대칭적 의사결정 위험을 무시합니다. 불필요한 위임은 통신 지연 시간과 에너지를 초래하는 반면, 잘못된 로컬 수용은 더 나은 에지 모델을 되돌릴 수 없이 포기하여 사용자 경험을 저하시킵니다. 또한, 표준 라우터는 부분 정보 하에서 잘못된 로컬 수용의 위험을 명시적으로 제어하지 않습니다.

방법론: CR2 프레임워크
저자들은 배포 가능한 로컬 수용 게이트와 상태 인식 에지 선택기로 라우팅 문제를 분해하는 CR2, 즉 2 단계 디바이스 - 에지 라우팅 프레임워크를 제안합니다.

1. 시스템 및 비용 모델링:

   • 시스템은 확률적 무선 조건 (업링크/다운링크 채널 이득), 계산 작업 부하 (프리필 및 디코딩 단계), 그리고 디바이스/에지 전력 프로파일을 통합하여 엔드 - 투 - 엔드 지연 시간과 에너지 소비를 모델링합니다.
   • 배포 비용은 기준 모델에 대한 정규화된 지연 시간과 에너지의 가중 합으로 정의됩니다.
   • 라우팅 목표는 매개변수화된 스칼라 유틸리티 함수 $u_m = y_m - \lambda c_m$ (여기서 $\lambda$는 비용 가중치) 을 사용하여 배포 비용 예산 내에서 정확도를 최대화하는 것으로 공식화됩니다.

2. 2 단계 아키텍처:

   • 1 단계: UE 로컬 수용 (마진 게이트): 경량 온디바이스 모듈이 로컬 실행이 최상의 에지 대안과 경쟁력이 있는지 추정하기 위해 "유틸리티 마진"을 계산합니다.
     • 이는 동결된 쿼리 인코더와 경량 스코어링 헤드를 사용합니다.
     • 쿼리 임베딩과 운영자가 지정한 비용 가중치 $\lambda$를 입력으로 받습니다.
     • 의사결정 전에 에지 모델 유틸리티나 런타임 상태 $\xi$에 접근하지 않습니다.
   • 2 단계: 에지 유틸리티 선택기: 위임된 쿼리에 대해 에지 서버는 전체 유틸리티 추정치 (런타임 상태 $\xi$ 포함) 를 기반으로 에지 풀에서 최적 모델을 선택합니다.

3. 학습 및 보정:

   • 교사 - 학생 증류: "교사" 선택기는 전체 정보 데이터 (쿼리 + 상태 + 정답 레이블) 로 훈련되어 모델 정확도와 유틸리티 마진을 추정합니다. 온디바이스 게이트는 로컬 실행과 에지 실행 간의 교사 유도 유틸리티 마진 ($\Delta$) 을 증류하도록 훈련됩니다.
   • 손실 함수: 게이트는 다음 조합으로 최적화됩니다:
     • 부호 손실 (Sign Loss): 예측된 마진의 부호를 교사의 로컬 대 에지 선호도와 정렬합니다.
     • 마진 손실 (Margin Loss): 예측된 마진을 연속적인 교사 마진으로 회귀시킵니다 (Huber 손실 사용).
     • 단조성 정규화기 (Monotonicity Regularizer): 예측된 마진이 비용 가중치 $\lambda$에 대해 비감소하도록 강제하여, 더 높은 비용 가중치가 로컬 실행을 선호한다는 구조적 속성을 반영합니다.
   • 준위험 제어 (Conformal Risk Control, CRC): 비대칭적인 잘못된 로컬 수용 위험을 해결하기 위해 저자들은 CRC 보정 절차를 도입합니다.
     • 목표 위험 수준 $\alpha$에 대해, CRC 는 학습된 점수를 보정된 수용 임계값 $\tau^*(\lambda; \alpha)$으로 매핑합니다.
     • 이는 보정 데이터와 테스트 데이터 간의 교환 가능성 가정 하에 한계 잘못된 수용 위험(에지 모델이 엄격히 더 좋을 때 로컬로 수용할 확률) 을 $\alpha$로 제한합니다.

주요 기여

1. 배포 제약 프레임워크: 이 논문은 모바일 에지 배포의 정보 제약을 명시적으로 존중하는 2 단계 라우팅 프레임워크를 수립하여, UE 로컬 수용과 에지 모델 선택을 분리합니다.
2. CR2 알고리즘: 저자들은 CR2 를 개발하였으며, 이는 다음을 특징으로 합니다:
   • 전체 정보 유틸리티 마진을 배포 가능한 온디바이스 점수로 증류하는 UE 관측 가능 마진 게이트.
   • 서로 다른 비용 가중치 운영 포인트에서 일관된 의사결정을 보장하는 단조성 정규화기.
   • UE 에서 에지 모델 점수가 필요 없이 한계 잘못된 수용 위험을 명시적으로 제어하는 $\lambda$별 CRC 보정 규칙.
3. 실증적 성능: 벤치마크에서 파생된 라우팅 작업 (Qwen 모델과 프로파일링된 배포 비용 사용) 에 대한 평가는 CR2 가 배포 가능한 정확도 - 비용 파레토 최선곡선을 달성함을 보여줍니다. 이는 강력한 쿼리 수준 기준 (KNN, MLP, EmbedLLM, LLM-Rank) 과 비교하여 일치하는 정확도에서 정규화된 배포 비용을 최대 **16.9%**까지 감소시킵니다.

결과

• 정확도 - 비용 트레이드오프: CR2 는 정확도 - 비용 평면에서 일관되게 기준을 능가합니다. 확대된 운영 영역에서 배포 가능한 방법 중 가장 강력한 최선곡선을 형성합니다.
• 비용 감소: 고정된 정확도 수준 (예: 0.81 및 0.82) 에서 CR2 는 KNN 대비 각각 정규화된 배포 비용을 16.9% 및 16.2% 감소시킵니다.
• 위험 제어: CRC 보정 임계값은 경험적 한계 잘못된 수용률을 성공적으로 제어하여 지정된 범위 (예: $\alpha=0.01$) 내에 유지하면서도 경쟁력 있는 정확도를 유지합니다.
• 효율성: 온디바이스 마진 게이트는 계산적으로 경량화되어 있습니다 (약 105k 파라미터, 207k FLOPs). 이는 전체 정보 참조나 LLM-Rank 와 같은 다른 매개변수 라우터보다 훨씬 작습니다.
• 오류 분해: 분석에 따르면, 배포 가능한 CR2 와 전체 정보 오라클 간의 나머지 성능 격차는 주로 낮은 비용에서 "잘못된 위임"(과도한 에스컬레이션) 에 의해 주도되며, 잘못된 로컬 수용은 낮게 (<1.5%) 유지됩니다.

의의 및 주장
이 논문은 CR2 가 2 단계 디바이스 - 에지 배포 하에서 모델 선택을 공식화함으로써 쿼리 수준 라우팅과 에지 LLM 서비스 간의 격차를 해소한다고 주장합니다. 그 의의는 다음과 같습니다:

• 분리: 부분 정보로 이루어져야 하는 로컬 의사결정과 전체 정보를 가진 에지 의사결정을 성공적으로 분리합니다.
• 위험 제어: 통신 오버헤드가 비용이 큰 신뢰할 수 있는 에지 추론의 필수 요구사항인 잘못된 로컬 수용 위험을 명시적으로 규제하기 위한 엄격하고 분포 무관한 메커니즘 (CRC 를 통해) 을 제공합니다.
• 실용성: 경량 동결 인코더 기반 게이트가 전체 정보 오라클을 근사할 수 있음을 시연하여, 디바이스에서 밀집된 크로스 티어 조정이나 전역 상태 지식이 필요하지 않은 실제 무선 에지 시나리오에서 효율적이고 비용 인식적인 라우팅을 가능하게 합니다.

저자들은 CR2 가 무선 에지 배포의 엄격한 정보 제약을 준수하면서 지연 시간, 에너지, 정확도 간의 트레이드오프를 균형 있게 조정하는 모바일 에지 협력 추론을 위한 견고한 솔루션을 제공한다고 결론지었습니다.