기술 요약: TMO – Three-M 오프로딩을 통한 디바이스-클라우드 협업 LLM 추론

1. 문제 정의

대규모 언어 모델(LLM)의 배포는 이분법적인 문제에 직면해 있습니다. 온디바이스(on-device) 배포는 계산, 메모리 및 에너지 자원의 제약으로 인해 응답 품질이 제한되는 경우가 많은 반면, 클라우드 배포는 지연 시간, 통신 비용 및 사용료 문제를 야기합니다. 이러한 과제는 다음과 같은 Three-M 시나리오가 특징인 현대적 애플리케이션에서 더욱 심화됩니다:

1. Multi-Modal (멀티모달): 다양한 데이터 소스(예: 다양한 카메라 각도에서의 텍text, 이미지)를 요구하는 작업.
2. Multi-Task (멀티태스크): 단순한 메시지 편집부터 복잡한 활동 인식에 이르는 광범위한 애플리케이션.
3. Multi-Turn (멀티턴): 이전의 결정이 향후 자원 가용성과 컨텍스트에 영향을 미치는 순차적 의존성을 포함하는 대화.

기존 프레임워크는 이러한 차원 전반에 걸친 응답 품질, 지연 시간 및 비용 사이의 복잡한 트레이드오프를 해결하는 데 어려움을 겪습니다. 구체적으로 다음 사항들을 처리하는 데 한계가 있습니다:

• 최적의 추론 위치: 작업을 온디바이스에서 처리할지 아니면 클라우드로 오프로드할지 결정하는 문제.
• 모달리티 선택: 정보 획득량과 전송 비용 사이의 균형을 맞추며 어떤 특정 데이터 모달리티(예: 특정 카메라 뷰)를 업로드할지 결정하는 문제.
• 자원 제약: 재학습 없이 사용자 지정된 임의의 자원 예산(지연 시간 및 비용 제한)에 적응하는 문제.
• 추론 불확실성: LLM 출력의 확률적 특성과 오프라인 학습 중 생성 작업에 대한 그라운드 트루스(ground-truth) 메트릭의 부재를 처리하는 문제.

2. 방법론: TMO 시스템

저자들은 "Three-M" 오프로딩을 조율하는 디바이스-클라우드 협업 추론 시스템인 TMO를 제안합니다. TMO의 핵심은 자원 제약 강화 학습(Resource-Constrained Reinforcement Learning, RCRL) 결정 엔진입니다.

A. 시스템 아키텍처

• 온디바이스 LLM: 단순한 작업을 위한 고속 텍스트 처리에 최적화된 경량 모델(예: Phi-3-mini).
• 클라우드 LLM: 복잡한 작업과 다양한 데이터 입력을 처리할 수 있는 대규모 멀티모달 모델(예: GPT-4o).
• 결정 엔진: 각 대화 턴 $t$에서 시스템은 액션 $a_t = (\ell_t, M_t)$를 선택합니다. 여기서 $\ell_t$는 선택된 LLM(디바이스 또는 클라우드)이고, $M_t$는 업로드할 모달리티의 부분 집합입니다.

B. RCRL 정식화

이 문제는 마르코프 결정 과정(MDP)으로 모델링됩니다:

• 상태 ($s_t$): 이전 LLM 선택, 업로드된 모달리티 및 작업 카테고리를 포착하는 마지막 $\tau$개 턴의 슬라이딩 윈도우를 포함합니다. 결정적으로, 상태는 의사결정을 위해 잔여 자원 예산($\xi_t$)으로 증강됩니다.
• 액션 ($a_t$): LLM 유형과 업로드할 특정 모달리티의 선택.
• 보상 ($r_t$): 다음 요소들의 균형을 맞춘 복합 메트릭입니다:
  • 응답 점수 ($S_{at}$): LLM 응답의 예상 품질.
  • 연관성 메트릭 ($\Lambda_{at}$): 프롬프트와 선택된 모달리티 간의 관련성 (CLIP을 통해 계산).
  • 지연 시간 ($\psi_{at}$): 계산 시간(디바이스) 또는 통신 + 추론 시간(클라우드).
  • 사용 비용 ($\phi_{at}$): 에너지 소비(디바이스) 또는 서비스 요금(클라우드).
  • 제약 페널티: 누적 자원 소비가 사용자 지정 예산 $\xi_j$를 초과하면 보상은 0으로 설정됩니다.

C. 주요 기술 혁신

1. 최근 이웃 추정(Nearest Neighbor Estimation)을 통한 불확실성 처리: LLM 평가자의 비결정론적 특성과 오프라인 학습 중 OOD(Out-of-Distribution) 상태-액션 쌍 문제를 해결하기 위해, TMO는 k-최근접 이웃(k-NN) 전략을 채택합니다. 이는 유클리드 거리에 따라 가중치를 둔 가장 유사한 $k$개의 과거 쌍의 점수를 평균하여 보이지 않는 상태-액션 쌍에 대한 응답 점수를 추정합니다.
2. 자원 인지 일반화: 재학습 없이 임의의 사용자 예산에 정책이 일반화되도록 하기 위해 저자들은 다음을 수행했습니다:
   • 잔여 예산 벡터를 상태 공간에 직접 포함.
   • 특정 예산 제약에 과적합되는 것을 방지하기 위해 고정된 값이 아닌 무작위 자원 예산(Uniform, Normal, Hybrid 분포)을 샘플링하여 학습.
3. 태스크-모달리티 연관성: 시스템은 텍text 프롬프트와 이미지 모달리티 간의 유사도 점수를 계산하기 위해 사전 학습된 CLIP 모델을 사용하여 가장 정보가 풍부한 데이터 소스를 선택하도록 유도합니다.

3. M4A1 데이터셋

이 특정 문제에 적합한 데이터셋의 부재를 인식하여, 저자들은 멀티모달, 멀티태스크, 멀티턴 및 멀리 LLM 평가를 위해 설계된 최초의 데이터셋인 M4A1을 구축했습니다.

• 구성: ActionSense 데이터셋(1인칭, 측면, 오버헤드 뷰를 포함한 주방 활동)과 인스트럭션 데이터셋에서 파생된 21,014개의 대화 턴.
• 구조: 각 에피소드는 2~5개의 턴, 4개의 작업 카테고리(Assistant, Recommendation, Query, Message Editing), 그리고 4개의 LLM 역할(On-device, Cloud, Reference, Judge)과의 상호작용을 포함합니다.
• 생성 전략: 전문가 데이터셋과 달리, M4A1은 LLM 및 모달리티 선택에 무작위 액션을 사용합니다. 이는 상태-액션 공간을 균일하게 커버하여 k-NN 추정기가 어떤 정책 결정에 대해서도 강건하고 저분산(low-variance)을 유지하도록 보장합니다.

4. 실험 결과

저자들은 TMO(RC-A2C, RC-PPO, RC-DQN 사용)를 여러 베이스라인과 비교 평가했습니다:

• 단순 베이스라인: 온디바이스 전용, 클라우드 전용, 무작위 선택.
• LLM-as-Router: 다양한 LLM(Phi-3, LLaMA, Mistral, GPT-4 등)을 제로샷 결정 엔진으로 사용.
• SOTA 탐색-결정 모델: AIwRG (Active Inference) 및 PerLLM (Bandit 기반).

주요 결과:

• 성능: TMO(특히 RC-A2C)는 모든 베이스라인에 비해 가장 높은 전체 보상(0.86)을 달축성했으며, 제약 위반 및 하위 모달리티 선택 문제로 어려움을 겪은 LLM-as-Router 접근 방식보다 크게 앞섰습니다.
• 제약 준수: TMO는 다양한 예산 구성에서도 제로에 가까운 제약 위반을 유지한 반면, 베이스라인들은 빈번하게 지연 시간 또는 비용 제한을 초과했습니다.
• 강건성:
  • 디바이스 변동성: TMO는 디바이스 역량에 따라 전략을 조정하며 다양한 하드웨어(Raspberry Pi부터 iPhone 15 Pro까지)에서 일관된 성능을 보였습니다.
  • 예산 일반화: 무작위 예산으로 학습함으로써 TMO는 재학습 없이도 보지 못한 예산 제약(Uniform, Normal, Hybrid)에 일반화될 수 있었습니다.
  • 지연 시간 민감도: 클라우드 지연 시간이 인위적으로 증가(최대 10배)했을 때, TMO는 제약을 유지하기 위해 트래픽을 온디바이스 LLM으로 동적으로 전환했습니다.
• 절제 연구(Ablation Studies): 핵심 구성 요소(LLM 선택 로직, 모달리티 선택, 자원 인지, 또는 불확실성 추정) 중 하나라도 제거하면 성능이 크게 저하되어, 전체 프레임워크의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 TMO가 정적인 오프로딩이나 단일 쿼리 라우팅을 넘어 LLM 배포 전략의 근본적인 변화를 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

1. 통합적 최적화: LLM 선택, 멀티모달 데이터 오프로딩, 엄격한 자원 제약 하의 멀티턴 컨텍스트를 공동으로 최적화하는 최초의 시스템입니다.
2. 실용적 적응성: 자원 인지 상태 표현과 무작위 학습을 통해, 시스템이 재학습 없이 실제 시나리오에서 임의의 사용자 정의 자원 예산에 적응할 수 있게 합니다.
3. 불확실성 처리: 제안된 최근 이웃 추정 전략은 생성 모델의 내재적 확률성과 평가 과제를 해결하여, LLM 추론 데이터에 대한 RL 정책을 학습시키는 강건한 방법을 제공합니다.
4. 데이터셋 기여: M4A1의 공개는 복잡한 멀티턴, 멀티모달, 멀티 LLM 환경에서 협업 추론을 평가하기 위한 표준화된 벤치마크를 제공함으로써 문헌의 중요한 공백을 메웁니다.

저자들은 TMO가 응답 품질, 지연 시간, 비용 간의 트레이드오프를 크게 개선하지만, 향후 연구는 선제적 적응을 가능하게 하기 위해 실시간 네트워크 대역폭, 배터리 수준과 같은 동적 런타임 조건을 포함하는 데 집중할 것이라고 결론지었습니다.