RAMS: Resource-Adaptive and Detection-Conditioned Model Switching for Embedded Edge Perception

기술 요약: RAMS – 임베디드 에지 인식을 위한 자원 적응형 및 탐지 조건부 모델 스위칭

1. 문제 정의

임베디드 하드웨어에 객체 탐지를 배포하는 것은 클라우드 환경에서는 존재하지 않는, 추론 지연 시간(latency)과 탐지 품질 사이의 근본적인 긴장 관계에 직면하게 한다. 클라우드 추론 지연 시간은 주로 모델 복잡도와 네트워크 왕복 시간에 의해 제한되는 반면, 임베디드 장치는 호스트 OS, 백그라운드 서비스 및 센서 파이프라인과 CPU 및 메모리 자원을 공유한다. 시스템 사용량이 증가함에 따라, 고정된 모델의 추론 지연 시간은 상당히 저하된다 (예: Intel i7-1165G7에서 YOLOv8-MEDIUM 추론은 유휴 상태에서의 448ms에서 부하 급증 시 1500ms 이상으로 저하될 수 있음).

표준적인 절충안인 더 가벼운 모델로 다운그레이드하여 지연 시간을 줄이는 방식은 비대칭적 비용을 초 incurs한다. 빈 도로에서의 320px 추론은 근처에 보행자가 있는 경우와 동일한 정확도 손실을 초래하지만, 보행자를 놓치는 것은 지연 시간 지표만으로는 포착되지 않는 안전 위험을 수반한다. 또한, 기존의 적응형 시스템은 가변적인 유휴 자원 압력으로 인해 이기종 하드웨어 간에 전이되지 않는 고정된 임계값에 의존하거나, 에지 장치에서 사용할 수 없는 클라우드 연결성을 요구하는 경우가 많다.

2. 방법론: RAMS 시스템

RAMS(Resource-Adaptive and Detection-Conditioned Model Switching)는 모델 재로드 지연 시간 없이 지연 시간과 안전성 사이의 균형을 맞추도록 설계된 경량 런타임 컨트롤러이다. 이는 완전히 온디바이스(on-device)로 작동하며 네 가지 구성 요소로 이루어져 있다.

A. 자원 압력 모니터 (Resource Pressure Monitor)

10Hz로 실행되는 모니터는 OS 레벨의 신호(CPU 사용률, 가상 메모리 압력, 온도, 배터리 충전량)를 쿼리하여 스칼라 압력 지수 $R(t) \in [0, 1]$를 계산한다.
$$R(t) = w_c c + w_m m + w_T \hat{T} + w_b (1 - b)$$
가중치는 임베디드 워크로드에서 CPU 사용률의 경험적 지배력을 반영한다. 특정 센서를 사용할 수 없는 경우, 해당 가중치는 CPU 사용률로 재분배된다.

B. 유휴 상태 상대적 임계값 캘리브레이션 (Idle-Relative Threshold Calibration)

장치별 수동 튜닝 없이도 이식성을 보장하기 위해, RAMS는 유휴 상태(추론 부하가 없는 상태)에서 장치를 프로파일링하여 기준 압력 $R_{idle}$을 결정하는 유휴 상대적 캘리브레이션 절차를 채택한다. 스위칭 임계값은 이 기준으로부터 고정된 오프셋으로 설정된다:
$$\theta_\ell = R_{idle} + \delta_\ell, \quad \theta_h = R_{idle} + \delta_h$$
여기서 $\delta_\ell = 0.10$, $\delta_\delta = 0.25$이다. 이는 임계값의 의미(예: "중간 부하")가 서로 다른 유휴 기준선(예: Raspberry Pi 5 vs. Jetson Orin)을 가진 플랫폼 간에서도 일관되게 유지되도록 보장한다.

C. 웜 모델 라이브러리 (Warm Model Library)

RAMS는 세 가지 YOLOv8 티어(320px의 NANO, 416px의 SMALL, 640px의 MEDIUM)를 메모리에 동시에 상주시킨다. 이 "웜-티어(warm-tier)" 접근 방식은 필요할 때 모델을 로드하는 데 따른 지연 페널티를 제거한다. 총 메모리 풋프린트는 ONNX FP32 모델의 경우 약 81MB이며, TensorRT 엔진의 경우 120–150MB이다.

D. 스위칭 정책 (Switching Policies)

컨트롤러는 단순 임계값 기반부터 탐지 조건부 오버라이드까지 다섯 가지 정책을 구현한다:

1. 임계값 정책 (Threshold Policy): $R(t)$에 따른 티어 간의 급격한 진동을 방지하기 위해 히스테리시스(hysteresis)를 사용한다.
2. 예측 정책 (Predictive Policy): 지수 가중 이동 평균(EWMA)을 사용하여 압력을 예측하고 임계값을 넘기 전에 다운그레이드를 트리거한다.
3. 적응형 정책 (Adaptive Policy): 최근 압력 판독값의 분산을 기반으로 EWMA 평활 계수를 스스로 튜닝한다.
4. 안전 정책 (Safety Policy): 취약 도로 사용자(VRU)가 탐지된 후 일정 시간 창($\Delta t_w = 0.5$s) 동안 NANO 티어로의 다운그레이드를 방지하는 탐지 조건부 오버라이드이다.
5. 2단계 안전 정책 (Two-Level Safety Policy, Safety2): 탐지된 VRU의 바운딩 박스 영역에 따라 오버라이드 티어를 결정하는 향상된 버전이다. 큰 박스(가까운 물체)는 MEDIUM 티어 잠금을 트리거하고, 작은 박스(먼 물체)는 SMALL 티어 잠금을 트리거한다.

3. 주요 기여

1. 정식 자원 압력 지수: 동일한 컨트롤러 방정식이 수동 튜닝 없이도 이기종 하드웨어에서 37배의 지연 시간 범위 내에서 작동할 수 있게 하는 휴대 가능한 유휴 상대적 캘리브레이션 방법($R(t)$)을 제공한다.
2. 탐지 조건부 스위칭: 다섯 가지 정식 명세 정책을 포함하며, 여기에는 안전에 중요한 객체의 누락이라는 비대칭적 비용 문제를 해결하기 위해 최근 VRU 탐지에 따라 다운그레이드를 지연시키는 두 가지 반응형 변체가 포함된다.
3. SWAS 메트릭: 라벨이 없는 비디오에서 오프라인 정책 비교를 위한 스칼라 메트릭인 VRU 가중 정확도 점수(SWAS)이다. 이 논문은 탐지기의 자체 출력(잠재적으로 불완전한)을 사용하여 정책을 트리거하는 순환성(circularity)으로부터 티어 유지의 이점을 분리하기 위해 "오라클 경계형(oracle-bounded)" 변형인 $SWAS^\star$를 도입한다.
4. 포괄적 평가: 다섯 가지 하드웨어 타겟(Raspberry Pi 5, Intel i7-1165G7, i7-13700F, Jetson Orin ONNX, Jetson Orin TensorRT)에 대해 부하 민감도, 히스테리시스 튜닝 및 안전-지연 시간 트레이드오프를 다루는 10가지 실험 평가를 수행하였다.

4. 결과

실험은 YOLOv8 티어와 KITTI 데이터셋을 사용하여 수행되었다. 주요 결과는 다음과 같다:

• 지연 시간 및 정확도 트레이드오프: 무거운 부하 조건의 Jetson Orin (TensorRT)에서 Safety2 정책은 3.41 ms의 평균 지연 시간을 달성하여 (고정-MEDIUM 대비 5.6배 빠름) 대리 정확도(proxy accuracy)의 **74%**를 유지하였다. 이는 주로 NANO 모드로 작동하다가 VRU 양성 윈도우 동안에만 선택적으로 SMALL 또는 MEDIUM으로 잠금(lock)으로써 달성되었다.
• SWAS 개선: 무거운 부하 상황에서 탐지 조건부 스위칭은 탐지기의 순환성을 고려한 보수적인 추정치인 오라클 스코어링(oracle scoring) 하에서 25.4%, 탐지기 유도 스코어링(detector-derived scoring) 하에서 **47.3%**의 SWAS 개선을 보였다 (임계값 전용 정책 대비).
• 교차 장치 이식성: 동일한 컨트롤러 방정식이 (Jetson TRT의 3.41 ms에서 Jetson ONNX의 127.52 ms에 이르는) 37배의 지연 시간 범위를 관통하여 작동하였다. 시스템은 수동 임계값 조정 없이 특정 하드웨어 역량에 맞춰 티어 선택을 성공적으로 적응시켰다.
• 재현율 한계 (Recall Bounds): 본 논문은 반응형 시스템의 근본적인 한계를 명시적으로 정량화한다. NANO 티어가 KITKI 데이터셋에서 VRU 재현율을 **24.2%**만 달성함에 따라, 베이스 탐지기가 조건을 트리거하지 못했기 때문에 안전 오버라이드가 VRU가 존재하는 프레임 중 **76%**에서 비활성화되었다. 이는 반응형 스위칭이 낮은 티어 모델의 내재된 재현율 한계를 보완할 수 없음을 강조한다.
• 과도 응답 (Transient Response): 컨트롤러는 임계값 정책의 경우 3개의 모니터 샘플(0.3초) 이내에, 예측/적응형 정책의 경우 더 빠르게 티어 변경을 확정한다. 안전 정책은 VRU 이벤트 발생 후 상위 티어로 복귀하기 전 최대 5회의 추가 사이클을 도입한다.

5. 의의 및 주장

본 논문은 RAMS가 웜-티어 스위칭, 탐지 조건부 티어 선택, 교차 장치 이식 가능 캘리브레이션, 그리고 클라우드 오프로드 없는 완전한 온디바이스 작동을 결 결합한 유일한 시스템이라고 주장한다.

저자들은 25.4%의 오라클 SWAS 개선이 탐지기의 순환성으로 인해 부풀려진 탐지기 유도 스코어링과는 구별되는, 탐지 조건부 스위칭의 진정한 이점임을 강조한다. 이 연구는 중요한 안전 윈도우 동안 무거운 티어의 정확도 상당 부분을 보존하면서도 거의 NANO 수준의 지연 시간을 달리는 것이 가능하다는 것을 보여준다.

그러나 논문은 이러한 접근 방식의 한계에 대해 겸허한 태도를 보인다. 저자들은 반응형 오버라이드가 베이스 탐지기의 재현율에 의해 제한된다는 점을 명시적으로 밝힌다. 즉, NANO 티어가 VRU를 놓치면 안전 잠금이 작동할 수 없다. 저자들은 이것이 불완전한 탐지기 아래에서 작동하는 모든 반응형 탐지 조건부 시스템의 근본적인 제약임을 식별하며, 이 격차를 좁히기 위해 향로 작업이 더 강력한 경량 베이스라인 탐지기나 병렬 VRU 분류기에 집중해야 함을 시사한다. 시스템은 (ISO 26262와 같은) 공식적인 안전 보장을 제공한다고 주장하지 않으며, 대신 자원이 제한된 환경에서 지연 시간-정확도 트레이드오프를 최적화하기 위한 메커니즘을 제공한다.