A Serverless Edge-Native Data Processing Architecture for Autonomous Driving Training

기술 요약: 자율주행 학습을 위한 서버리스 에지 네이티브 데이터 처리 아키텍처

문제 정의
자율주행 개발은 방대한 양의 센서 데이터에 크게 의존하지만, 단순히 원시 데이터의 양이 많다고 해서 모델 성능이 반드시 향상되는 것은 아니다. Makansi 등[1]과 Peng 등[2]이 지적했듯이, 기록된 시나리오의 분포가 매우 중요하다. 특히 드물지만 안전에 치명적인 이벤트를 포함하는 것이 모델의 일반화에 필수적이다. 그러나 이러한 희귀 이벤트를 포착하기 위해서는 광범위한 주행 시간이 필요하며, 기록 후 오프라인에서 선택 작업을 수행하는 것은 과도한 저장 공간 및 라벨링 오버헤드를 발생시킨다. 차량 내 선택적 기록(신규성, 불확실성 또는 중요도에 기반한 데이터 필터링)은 해결책을 제시하지만, 이러한 알고리즘을 차량 환경에 배포하는 것은 까다롭다. 임베디드 시스템은 지연 시간, 메모리 및 에너지에 관한 엄격한 제약 조건을 직면하며, 동시에 이기종 하드웨어 및 소프트웨어 스택을 수용해야 한다. 기존의 데이터 엔진과 능동 학습(active learning) 프레임워크는 종종 풍부한 자원을 가진 중앙 집중형 클라우드 컴퓨팅을 가정하므로, 실시간 에지 수준의 실행에는 부적합하다.

방법론
저자들은 자원 제한적인 자동차 환경에 기능형 서비스(Function-as-a-Service, FaaS) 원칙을 적응시킨 에지 네이티브 플랫폼인 Lambda 프레임워크를 제안한다. 이 시스템은 애플리케이션 로직(사용자 정의 필터링 알고리즘)을 스케줄링, 배포 및 격제와 같은 저수준 실행 관심사와 분리하는 것을 목표로 한다.

• 시스템 아키텍처: 프레임워크는 클라우드 구성 요소와 에지 구성 요소로 이루어진다.
  • 클라우드: 에지 장치를 관리하고, 공유 상태(차량 메타데이터, 배포된 함수)를 유지하며, 저장소 관리 및 배포 제어를 담당한다.
  • 에지: **오케스트레이터(Orchestrator)**와 **Lambda 런타임(Lambda Runtimes)**으로 구성된다. 오케스트레이터(Rust로 구현)는 함수의 생명주기를 관리하며, 각 함수를 위한 전용 런타임 프로세스를 인스턴스화한다. 런타임은 격리된 프로세스 내에서 사용자 정의 함수(Python 또는 Rust로 작성)를 실행한다.
  • 데이터 흐름: 센서 데이터는 ROS 2 DDS(Data Distribution Service)를 통해 전달된다. 런타임은 다중 생산자, 단일 소비자(many-producer, single-consumer) 동시성 모델을 채택한다. 고용량 데이터(예: 이미지)는 제로 카피(zero-copy) 전송을 지원하는 락 프리(lock-free) 링 버퍼를 활용하며, 저용량 데이터(예: IMU)는 표준 링 버퍼를 사용한다.
• 실행 모드: Lambda 함수는 두 가지 모드로 동작한다: 주기적(periodic)(고정된 간격) 또는 이벤트 드리븐(event-driven)(특정 ROS 2 토픽에 의해 트리거됨). 현재 구현에서는 결정론적 스케줄링을 단순화하기 위해 각 함수를 단일 트리거링 토픽으로 제한한다.
• API: 런타임은 데이터 접근, 기록 동작 트리거링, ONNX 추론 및 로깅을 위한 연산을 노출한다.

주요 기여

1. 에지를 위한 서버리스 추상화: 본 논문은 차량 내 데이터 처리에 특화된 FaaS 영감을 받은 추상화 계층을 도입하여, 개발자가 저수준 오케스트레이션을 관리하지 않고도 모듈식의 이벤트 드리븐 필터링 알고리즘에 집중할 수 있도록 한다.
2. ROS 2 통합: 프레임워크는 ROS 2 및 기존 데이터 기록 파이프라인과의 호환성을 유지하며, 데이터 배포를 위해 DDS를 활용한다.
3. 격리 및 이식성: 프로세스 격리와 중앙 집중형 오케스트레이터를 사용하여, 시스템은 신속한 알고리즘 개발과 이기종 임베디드 플랫폼 간의 이식성을 지원한다.
4. 성능 평가: 저자들은 NVIDIA Jetson Orin Nano 상에서 Lambda 프레임워크를 네이티브 ROS 2 배포 방식과 비교하여 평가를 제공한다.

실험 결과
프레임워크는 세 가지 구별된 Lambda 함수를 사용하여 평가되었다:

1. IMU FFT: 도로 표면 진동에 대한 주파수 영역 분석.
2. Brake + Dark: 저조도 상황에서의 제동을 감지하기 위해 IMU 가속도와 카메라 밝기를 결합한 다중 센서 평가.
3. YOLO Detector: 특정 클래스(예: 보행자, 자전거)를 식별하기 위해 YOLO11m 모델(ONNX)을 사용하는 객체 탐지.

성능 지표:

• 지연 시간(Latency): Lambda 프레임워크는 경쟁력 있는 성능을 보여주었으며, IMU FFT 및 YOLO Detector 워크로드에 대해 네이티브 ROS 2 구현 대비 평균 왕복 시간(RTT)을 약 2배 감소시켰다.
• 지터(Jitter): 프레임워크는 대부분의 시나리오에서 감소된 지터를 나타냈다. YOLO Detector의 경우, Lambda 구현은 네이티브(MAD 91.43 ms)에 비해 현저히 낮은 지터(MAD 23.08 ms)를 보였다. "Brake + Dark" 시나리오에서는 네이티브 구현이 더 낮은 중앙값 절대 편차(MAD)를 보였으나, Lambda 구현은 95백분위수에서 더 좁은 분포를 보였다.
• 통계적 유의성: 비모수적 Mann–Whitney U 검정을 통해 지연 시간 감소가 매우 유의미함($p \ll 0.001$)을 확인하였다.
• 자원 사용량: 전력 및 RAM 소비량은 YOLO Detector의 경우 Lambda 구현이 더 넓은 전력 분포를 보였으나 평균값은 더 낮았던 것을 제외하면, 두 방식 간에 대체로 유사했다.

한계 및 범위
저자들은 다음과 같은 몇 가지 한계를 인정한다:

• 평가는 RTT 메시지를 보내는 시간을 제외한 블랙박스 측정 방법을 사용하였다.
• 테스트는 두 가지 센서 모달리티(IMU 및 카메라)로 제한되었으며, LiDAR와 같이 대역폭이 더 높거나 더 많은 동시 토픽을 가진 센서에 대한 확장성은 테스트되지 않았다.
• Jetson Orin Nano는 YOLO detector 워크로드 중, 특히 RAM 측면에서 자원 한계에 근접하였다.
• 현재 구현은 중재(arbitration) 복잡성을 피하기 위해 이벤트 트리거를 단일 토픽으로 제한한다.

의의 및 주장
본 논문은 Lambda 프레임워크가 실시간 임베디드 자율주행 시스템에 서버리스, 람다 기반 추상화를 적용하는 것이 가능하다는 것을 성공적으로 입증했다고 주장한다. 결과는 이러한 추상화가 타이밍 요구 사항을 저해하지 않으면서도 실시간 데이터 처리를 지원할 수 있으며, 네이티브 배포보다 감소된 지연 시간과 지터를 제공함을 나타낸다. 저자들은 이 연구를 소규모 에지 시스템을 위한 FaaS 아키텍처의 개념 증명(PoC)으로 위치시키며, 개발자가 표준 자동차 미들웨어인 ROS 2와 호환성을 유지하면서 모듈식의 이벤트 드리븐 필터링을 구현할 수 있음을 검증하였다. 저자들은 실제 차량 탑재 배포에서의 검증과 대안적인 전송 메커니즘으로의 확장은 향후 과제로 남겨둔다고 명시하였다.