기술 요약: 클라우드가 운전할 수 있는가? 5G 및 6G를 통한 자율주행 오프로딩의 인프라 타당성

1. 문제 정의

본 논문은 프런티어 자율주행(AD) 모델, 특히 약 60 TFLOPs에 달하는 순전파(forward pass) 연산량을 요구하는 시각-언어-행동(Vision-Language-Action, VLA) 아키텍처의 증가하는 계산 수요를 다룬다. 현재의 차량용 시스템 온 칩(SoC) 하드웨어는 초기 엔드 투 엔드(End-to-End, E2E) 또는 시각-언어 모델(VLM) 워크로드를 간신히 지원할 수 있지만, 더 큰 규모의 VLA를 온보드(onboard)에 배치하는 것은 경제적으로 비효율적이다. 개인용 차량은 약 95%의 시간 동안 주차되어 있으며, 이는 피크 타임의 하드웨어가 하루 중 대부분의 시간 동안 유휴 상태로 머물러 있음을 의미한다.

핵심 질문은 **클라우드 추론(cloud inference)**이 고가의 GPU를 활성화된 차량 간에 공유함으로써 온보드 하드웨어를 대체할 수 있는가 하는 점이다. 그러나 이는 단순히 연산량의 문제가 아니다. 이는 세 가지 뚜렷한 제약 조건이 결합된 시스템 챌린지이며, 이들은 흔히 함께 분석되지 않는다:

1. 주행 모델 분할(Driving Model Split): 어떤 파이프라인 단계(감지, 인지, 계획, 디코딩)를 온보드에 남기고 클라우드로 오프로드할 것인가?
2. 차량 통신(Vehicular Communication): 폐쇄 루프 데드라인 내에서 활성 차량으로부터 클라우드로 지속적인 고속 데이터 스트림을 유지하기 위한 업링크(uplink) 용량.
3. 클라우드 GPU 서비스(Cloud GPU Service): 큐잉 테일(queueing tails)을 관리하면서 엄격한 지연 시간 예산(반응형 vs. 숙의형) 내에서 폭발적인 요청을 처리할 수 있는 공유 GPU의 능력.

기존 문헌은 이러한 시스템들을 개별적으로 다루는 경우가 많다. 본 논문은 클라우드 주행이 기술적으로 가능하고 경제적으로 타당한지를 결정하기 위해 통합된 프레임워크가 필요하다고 주장한다.

2. 방법론

저자들은 뉴욕시(NYC)를 대상으로 한 밀집 도시 사례 연구에 적용되는 통합 분석 프레임워크를 제안한다. 이 프레임워크는 세 가지 시스템을 순차적인 평가 파이프라인으로 통합한다.

2.1. 분석 파이프라인

파이프라인은 세 가지 중첩된 "결합 레짐(binding regimes)"을 통해 시나리오를 평가한다:

1. 통신 게이트(Communication Gate): 특정 오프로딩 전략에 따른 활성 차량의 업링크 수요를 액세스 네트워크가 수용할 수 있는지 결정한다.
2. 지연 시간 게이트(Latency Gate): 총 엔드 투 엔드 지연 시간(결정론적 + 확률적)이 제어 루프 예산(100ms 반응형 또는 300ms 숙의형) 내에 들어오는지 평가한다.
3. 비용 게이트(Cost Gate): 실행 가능한 분기에 대해, 전체 온보드 하드웨어 대조군과 클라우드 오프로딩의 총 소유 비용(TCO)을 비교한다.

2.2. 주요 모델링 구성 요소

• 오프로딩 전략: 파이프라인 분할 지점에 따라 세 가지 전략을 정의한다:
  • S1 (Raw Sensor): 로우 센서 데이터를 오프로드함 (높은 업링크, 낮은 온보드 연산).
    ре
  • S2 (Feature-Level): 비전 백본 이후의 압축된 특징(features)을 오프로드함 (중간 수준의 업링크, 중간 수준의 온보드 연산).
  • S3 (Query-Level): 트랜스포머 인코더 이후의 조밀한 장면 쿼리(scene queries)를 오프로드함 (낮은 업링크, 높은 온보드 연산).
• 통신 모델: 간섭을 고려한 OFDMA 업링크 모델을 사용한다. 셀 부하 및 다중 사용자 간섭에 따른 사용자당 스펙트럼 효율을 계산하여, 주어진 전략과 세대(5G, 5G-Advanced, 6G)에 대해 셀이 지원할 수 있는 최대 활성 차량 수($N_{max}$)를 결정한다.
• GPU 서비스 모델:
  • Roofline Inference: VLA 추론 시간을 연산 집약적(encoder/prefill) 성분과 메모리 대역폭 집약적(autoregressive decode) 성분의 합으로 모델링한다.
  • Queueing: 드문 긴 대기 이벤트가 지연 시간 예산 내에 머물도록 보장하기 위해 Erlang-C 테일 바운드를 사용하는 M/D/$c$ 큐를 사용한다.
  • 하드웨어 진화: 연산 처리량과 HBM 대역폭 모두에 대해 감속 성장 모델을 사용하여 GPU 성능(A100 $\to$ B300 $\to$ 미래)을 투영한다.
• 지연 시간 분해: 제어 루프를 결정론적 구성 요소(감지, 인코딩, 추론, 액추에이션)와 확률적 구성 요소(네트워크 스케줄링, 전송, 라우팅, 큐잉)로 분리한다. 타당성을 위해서는 확률적 합계가 테일 확률 $\le 10^{-5}$로 남은 예산 내에 들어와야 한다.

2.3. 사례 연구 파라미터

• 위치: 뉴욕시 (등록 차량 약 220만 대, 셀 사이트 약 10,000개).
• 변수: 3가지 통신 세대 (5G, 5G-Advanced, 6G), 3가지 모델 클래스 (E2E, VLM, VLA), 3가지 전략 (S1, S2, S3), 8가지 침투 수준(penetration levels), 6가지 활용 수준(utilization levels).
• 예산: 100 ms (반응형 제어) 및 300 ms (온보드 폴백을 가정한 숙의형 계획).

3. 주요 결과

3.1. 레짐 1: 통신 제한 (밀집 셀)

밀집된 도시 환경에서는 업링크 용량이 주요 결합 제약 조건이다.

• S1 (Raw Sensor): 차량당 약 100 Mbps가 필요하다. 6G에서도 S1은 밀집 셀에서 높은 침투율/활용도를 보이는 경우 불가능하다. 5G는 즉각적으로 실패한다.
• S2 (Feature-Level): 약 25 Mbps가 필요하다. 5G는 중간 정도의 활용도에서 약 2%의 침투율만을 지원한다. 5G-Advanced는 밀집 회랑에서 최대 약 30%의 침투율을 지원하는 S2의 실질적인 임계값이다. 6G는 광범위한 배포를 위한 충분한 여유 공간을 제공한다.
• S3 (Query-Level): 약 3 Mbps가 필요하다. 5G에 의해 쉽게 지원되지만, 온보드에 상당한 연산을 남겨두므로 오프로딩의 경제적 이득을 감소시킨다.

3.2. 레임 2: 연산 제한 (반응형 지연 시간)

충분한 대역폭이 있더라도, 근접한 VLA 모델은 메모리 대역폭 제약으로 인해 지연 시간 하한선(latency floor)에 직면한다.

• Memory-Bound Decode: 자기회귀적(Autoregressive) VLA 디코딩은 산술 처리량이 아닌 HBM 대역폭(각 토큰마다 가중치를 읽는 작업)에 의해 지배된다. 2025년 하드웨어(B300)에서 VLA의 결정론적 추론 하한은 약 132–164 ms이며, 이는 100 ms 반응형 예산을 초과한다.
• 타임라인: VLA 결정론적 하한이 100 ms 예산을 통과하는 시점은 2027년경이다.
  • 반응형 예산 (100 ms): VLA는 대역폭에 관계없이 2026년에 지연 시간 측면에서 불가능하다. 2028년이 되면 6G는 밀집 회랑에서 특징 수준(S2) VLA를 허용한다. 5G-Advanced는 가벼운 부하 조건에서만 이를 허용한다.
  • 숙의형 예산 (300 ms): VLA는 2026년부터 가능하지만, 이 티어는 온보드 반응형 폴백이 존재할 때만 허용 가능하다.

3.3. 레짐 3: 비용 제한 (경제성)

기술적 타당성이 확보되면, 활용도가 경제적 교차점을 결정한다.

• 활용도 효과: 클라우드 GPU는 활성 수요를 위해 프로비저닝되는 반면, 온보드 하드웨어는 모든 차량을 위해 비용이 지불된다. 저~중간 정도의 활용도를 가진 플릿(fleet)이 오프로딩으로부터 가장 큰 이득을 얻는다.
• 모델 클래스 민감도:
  • E2E: 온보드 하드웨어가 저렴하며 (~$400/년), 클라우드 오프로딩은 큰 비용 이점이 없다.
  • VLA: 온보드 하드웨어가 비싸고 (~$8,500/년) 유휴 상태로 놓여 있다. 클라우드 오프로딩은 지연 시간 제약이 충족되면 매우 저렴해진다.
• 최적 전략: **특징 수준 오프로딩 (S2)**이 VLA의 비용 교차점을 집중시킨다. 이는 업링크 수요(5G-Advanced/6G에서 실행 가능)와 잔류 온보드 연산(오프로딩을 할 만큼 충분히 낮음) 사이의 균형을 맞춘다. S1은 대역폭이 너무 많이 필요하고, S3는 너무 많은 온보드 하드웨어를 유지한다.

4. 의의 및 주장

본 논문은 "클라우드가 운전할 수 있는가?"에 대한 답은 모델 클래스, GPU 연도, 지연 시간 예산에 따라 조건부적이고 순차적이라고 주장한다.

1. 세 가지 중첩된 레짐: 타당성은 이진적(binary)이지 않다. 이는 다음과 같은 일련의 결합 제약 조건에 의해 결정된다:
   • 통신이 먼저 결합되어 (S1을 제거하고 S2를 위해 5G-Advanced/6G를 요구함)
   • **연산 (메모리 대역폭)**이 다음으로 결합되어 (반응형 예산 하에서 근접 VLA를 불가능하게 만듦)
   • 비용이 마지막으로 결합되어 (활용도가 클라우드 옵션이 온보드 하드웨어보다 경제적으로 우월한지 결정함)
2. S2의 역할: 특징 수준 오프로딩은 견고한 "중간 지점"으로 식별된다. 이는 밀집 셀에서의 통신 제약(5G-Advanced/6G에서 실행 가능)을 동시에 만족하면서, VLA 모델에 대해 경제적으로 가치 있는 오프로딩을 할 만큼 충분한 하드웨어 절감을 보존하는 유일한 전략이다.
3. 정책적 시사점:
   • 스펙트럼: AV 회랑을 위해서는 일반적인 다운링크 중심의 소비자 패턴을 역전시켜, 업링크가 강한 스펙트럼 할당이 필수적이다.
   • 인프라: GPU 비용을 분담하기 위해 공유 엣지 인프라(공동 투자)가 필요하다.
   • 안전: 클라우드 숙의형 계획에 의존하는 모든 아키텍처는 네트워크 장애 시 점진적 저하(graceful degradation)를 보장하기 위해 온보드 반응형 폴백(예: S3 또는 완전 로컬 추론)을 의무화해야 한다.
4. 한계: 저자들은 결과가 자기회귀적 FP16 디코딩을 가정하여 보수적이라고 언급한다. 향러의 아키텍처 변화(예: 확산 디코더, 투기적 디코딩, FP8)는 VLA의 타당성을 가속화할 수 있다. 또한 6G 파라미터는 희망적인 목표치이다.

결론적으로, 본 논문은 클라우드 주행이 온보드 연산을 위한 보편적인 대체재가 아니라, 특정 모델 클래스(VLA)와 활용도 프로필에 대해 기술적으로 가능하고 비용 효율적인 대안임을 입증하며, 이는 통신 인프라(5G-Advanced/6G)와 메모리 대역폭의 진화가 엄격한 반응형 제어의 지연 시간 요구 사항과 일치할 때 가능하다.