기술 요약: 카메라-특권 정보 간의 격차(Privileged-to-Camera Gap)에 주목하라

문제 정의

카메라 우선(Camera-first) 자율주행 모델은 RGB 이미지, 자차 상태 피처, 그리고 경로 명령만을 사용하여 미래의 자차 웨이포인트(waypoint)를 예측한다. 엔드투엔드(end-to-end) 시스템은 이러한 입력으로부터 제어값으로 직접 매핑하는 방식으로서 확장성이 높지만, 저자들은 표준적인 웨이포인트 지도 학습(supervision)만으로는 주변 도로 사용자(actor)의 표현(representation)을 충분히 지도하기 어렵다고 주장한다. 복잡한 도시 환경에서 자차의 궤적은 특정 차량, 보행자 또는 사이클리스트와 같은 소수의 개체에 의존하는 경우가 많다. 순수한 웨이파인트 목적 함수는 최종 경로를 제약할 수는 있지만, 중간 단계의 이미지 피처가 어떤 액터가 존재하는지, 어떤 액터가 관련이 있는지, 혹은 그들이 어떻게 움직이는지를 명시적으로 인코딩하도록 강제하는 데는 실패할 수 있다.

본 연구가 다루는 핵심 문제는, 특권 정보인 액터 상태(예: 시뮬레이터의 정확한 좌표)를 추론 시점에 요구하지 않고도, 학습 시에만 액터 수준의 지도 학습을 적용하는 것이 RGB 전용 오픈 루프(open-loop) 웨이포인트 예측을 개선할 수 있는지 여부이다. 저자들은 "카메라-특권 정보 간의 격차(privileged-to-camera gap)"—즉, 정확한 도로 사용자 상태를 사용하는 모델과 오직 카메라 입력에만 의존하는 모델 간의 성능 차이—를 정량화하고자 한다.

방법론

프레임워크 개요

제안된 접근 방식은 카메라 우선 웨이포인트 예측을 지도 학습 기반의 액터 중심 표현 학습 문제로 취급한다. 이 시스템은 로드-유저 사이드카(Road-User Sidecar, RU-sidecar) 지도 학습을 도입한다. 이는 시뮬레이터 상태로부터 오프라인으로 추출된 보조 레이블(auxiliary labels)을 사용하여 카메라 기반 모델의 학습을 유도하는 방식이다. 이러한 레이블은 추론 시에는 절대 사용되지 않는다.

프레임워크는 세 가지 주요 구성 요소로 이루어진다:

1. 배포 가능한 카메라 경로(Deployable Camera Path): 멀티 뷰 RGB, 자차 상태, 경로 명령을 입력으로 받는 학생(student) 모델이다. 이 모델은 액터 중심의 중간 표현(액터 토큰)을 예측하고, 이들의 관련성을 순위화하며, 선택된 액터들의 단기 미래를 예측한 뒤, 이를 사용하여 미래의 자차 웨이포인트를 예측한다.
2. 오프라인 레이블 생성기(Offline Label Generator): 시뮬레이터 상태를 처리하여 학습을 위한 사이드카 레이블($S_t$)을 생성하는 모듈이다. 여기에는 다음이 포함된다:
   • 액터 기하 구조 및 속성 ($B_t$): 클래스, 위치, 헤딩(heading), 속도 및 유효성 마스크.
   • 이미지 기반 레이블 ($G_t$): 카메라 뷰에 투영된 액터의 위치.
   • 대상 조건부 관련성 ($C_t$): 거리, 상대 속도, 충돌 시간(time-to-conflict), 경로-차선 관련성, 취약 도로 사용자(VRU) 상태, 그리고 사후(hindsight) 미래 자차 경로 중첩을 기준으로 액터의 순위를 매긴 관련성 점수($c_i$).
   • 선택된 액터의 미래 ($F_t$): 상위 $K$개의 관련 액터들에 대한 단기 운동 목표.
3. 비배포형 시뮬레이터 경로(Non-Deployable Simulator Path): 정확한 시뮬레이터 액터 상태($A_t$)를 입력으로 사용하는 진단용 참조 모델이다. 이는 남은 성능 격차를 추정하고, 선택적으로 교사(teacher)로서 지식 증류(distillation) 역할을 수행하는 오라클(oracle) 역할을 한다.

모델 아키텍처

배포 가능한 모델은 RGB 이력을 처리하기 위해 공유 비주얼 인코더(ConvNeXt-Tiny)를 사용한다. 또한 다음과 같은 **학생 인터페이스(student interface)**를 채택한다:

• 액터-토큰 헤드(Actor-Token Head): 카메라에서 유도된 고정된 액터 슬롯(slot)과 속성을 예측한다.
• 셀렉터(Selector): 액터 슬롯을 자차와의 관련성에 따라 순위를 매긴다.
• 다이내믹스 헤드(Dynamics Head): 상위 $K$개 선택된 액터들의 단기 미래를 예측한다.
• 웨이포인트 플래너(Waypoint Planner): 선택된 액터-미래 토큰에 어텐션(attention)하여 자차 궤적을 예측한다.

학습 과정에서 예측된 슬롯은 결정론적인 그리디 최근접 중심 매칭(deterministic greedy nearest-center matching)을 통해 사이드카 액터와 매칭된다. 손실 함수(Losses)는 다음과 같다:

• 주요 손실: 웨이포인트 모방 손실 ($L_{wp}$).
• 사이드카 손실: 객체성/기하 구조 ($L_{obj}$), 속성 ($L_{attr}$), 관련성 순위 ($L_{sel}$), 선택된 액터의 다이내믹스 ($L_{dyn}$).
• 선택적 증류: 시뮬레이터 상태 모델을 이용한 교사 정렬 ($L_{dist}$).

실험 프로토콜

실험은 LMDrive의 고정된 시뮬레이션 스냅샷을 활용하며, 경로 불일치 분할(route-disjoint splits)(하나의 경로가 여러 분할에 나타나지 않음)을 사용한다. 평가는 엄격하게 오픈 루프(open-loop) 방식으로 진행되며, 홀드아웃(held-out) 경로에 대해 최종 변위 오차(FDE)와 평균 변위 오차(ADE)를 측정한다. 연구는 다음을 비교한다:

• 순수 웨이포인트 전용 RGB 베이스라인.
• 매칭된 "교사 없음(no-teacher)" 비-사이드카 대조군 (동일한 아키텍처, 사이드카 손실 제외).
• RU-사이드카 모델 (교사 정렬 적용 및 미적용 버전).
• 비배포형 진단 모델 (오라클 사이드카 선택 및 시뮬레이터 상태 다이내믹스).

주요 결과

정량적 성능

테스트 분할에서, 교사 정렬을 적용하지 않은 RU-사이드카 모델은 1.223 ± 0.01 m의 최종 변위 오차(FDE)를 달로했다.

• 이는 순수 웨이포인트 전용 RGB 베이스라인(1.815 m) 대비 32.6% 감소한 수치이다.
• 매칭된 교사 없는 비-사이드카 대조군(1.716 m) 대비 28.7% 감소한 수치이다.
• 이 모델은 홀드아웃 경로 1494개 중 1445개에서 베이스라인보다 우수한 성능을 보였으며, 1417개 경로에서 대조군보다 우수한 성능을 보였다.

교사 정렬(Teacher Alignment): 시뮬레이터 상태 교사를 추가하면 FDE가 1.186 m로 더 감소하지만, 시드(seed)에 따른 변동성이 높아진다. 저자들은 이를 견고한 '교사 없는 결과'보다 부차적인 것으로 간주한다.

진단(Diagnostics):

• 오라클 사이드카 선택 액터 진단(정확한 액터 선택을 사용하되 카메라 피처 사용)은 1.146 m FDE를 기록했다.
• 시뮬레이터 상태 액터-다이내믹스 진단(정확한 액터 상태 사용)은 0.174 m FDE를 기록했다.
• RU-사이드카 모델(1.223 m)과 시뮬레이터 상태 진단(0.174 m) 사이의 큰 격차는 상당한 "카메라-특권 정보 간의 격차"가 여전히 존재함을 확인시켜 준다.

슬라이스 분석 (Slice Analysis)

개선 효과는 모든 비어 있지 않은 액터 조건부 슬라이스에서 일관되게 나타났다:

• 액터 밀집 장면: 유효한 사이드카 액터가 4개 이상인 샘플에서 FDE 29.1% 감소.
• 취약 도로 사용자(VRU): 보행자나 사이클리스트가 존재할 때 FDE 30.0% 감소.
• 호라이즌별(Horizon-wise): 6개의 모든 예측 호라이즌에 걸쳐 오차 감소가 관찰되었다.

절제 연구 결과 (Ablation Findings)

• 액터-미래 감독($L_{dyn}$) 또는 셀렉터 감독($L_{sel}$)을 제거하면 성능이 베이스라인에 가깝게 퇴보하였으며, 이는 두 구성 요소 모두 이득을 얻는 데 필수적임을 나타낸다.
• 단순한 웨이포인트 손실 재가중치(reweighting)나 셔플된 교사 대조군은 미미한 개선만을 보였으며, 이는 얻어진 이득이 아키텍처 변화나 손실 재가중치가 아닌 액터 중심의 감독 구조에 특화되어 있음을 시사한다.

의의 및 주장

본 논문은 시뮬레이터에서 유도된, 학습 시에만 사용하는 사이드카 감독이 카메라 우선 모델의 오픈 루프 웨이포인트 예측을 유의미하게 개선한다는 것을 입증한다고 주장한다. 문제를 액터 중심의 표현 학습으로 공식화함으로써, 모델은 RGB 입력만으로부터 도로 사용자 구조(존재, 관련성, 운동)를 학습하며, 이것이 결과적으로 궤적 계획을 돕는다.

주요 기여는 다음과 같다:

1. 공식화: 카메라 우선 웨이포인트 예측을 감독된 액터 중심 표현 문제로 정의함.
2. 방법론: RGB 전용 추론을 해치지 않으면서 액터 그라운딩(grounding), 관련성, 운동을 위한 RU-사이드카 레이블을 도입함.
3. 평가: 경로 불일치 분할을 사용하여 액터 감독의 효과를 아키텍처 변화나 손실 재가중치로부터 분리해내는 통제된 "컨트롤 래더(control ladder)"를 제공함.
4. 격차 정량화: 카메라 유도 표현과 특권 정보를 가진 액터 상태 사이의 잔존 격차에 대한 경험적 근거를 제시함.

한계 및 겸손한 태도:
저자들은 자신들의 주장이 오픈 루프 시뮬레이션 진단에 국한됨을 명시적으로 밝힌다. 본 연구는 폐쇄 루프(closed-loop) 안전성, 충돌 회피, 실세계 전이 또는 배포 준비성을 확립하지 않는다. 또한, 액터-미래 헤드는 "표현 형성 및 플래너 컨디셔닝 메커니즘"으로 정의되며, 절대적인 미래 상태 예측(Dyn-FDE) 성능은 여전히 낮기 때문에 완전한 예측 모듈로 보기 어렵다. 가장 강력하게 지지되는 주장은 교사 정렬 없이도 효과적인 RU-사이드카 레시피의 효용성이며, 교사 정렬은 오직 미미한 이득과 높은 불안정성만을 제공했다.