기술 요약: FleetAgent

문제 정의

대규모 자율주행 플릿(fleet)은 온보드 시스템이 처리할 수 없는 드문 안전 필수 실패 상황을 해결하기 위해 원격 조종(teleoperation)에 점점 더 많이 의존하고 있습니다. 그러나 현재의 원격 조종 패러다임은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 통신 제약: 차량에서 원격 센터로 로우 센서 데이터(예: 카메라 및 LiDAR 피드)를 스트리밍하는 것은 네트워크 혼잡 시 대역폭, 지연 시간 및 안정성 측면에서 비용이 많이 듭니다.
2. 운영자 인지 부하: 원격 운영자는 동시에 제한된 수의 차량만을 모니터링할 수 있습니다. 차량 간 전환 시, 운영자는 로우 데이터나 비구조화된 텍스트로부터 상황 인식을 재구성하기 위해 높은 "컨텍스트 스위칭 비용(context-switch cost)"을 치러야 합니다.

기존의 멀티모달 거대 언어 모델(MLLM)은 주행 시나리오를 추론하는 데 유망한 성능을 보이지만, 일반적으로 로우 센서 입력이나 긴 텍스트 설명을 필요로 합니다. 이는 전송하기에 너무 크거나, GPU 메모리(KV-cache)를 과도하게 점유하고 추론 처리량(throughput)을 저하시키는 과도한 컨텍스트 길이를 생성합니다.

방법론: FleetAgent

저자들은 컴팩트하고 벡터화된 차량-네트워크(V2N) 메시지를 사용하여 차량의 계획을 평가하고 구조화된 설명을 생성하도록 설계된 클라우드 호스팅 원격 조종 어시스턴트인 FleetAgent를 제안합니다.

1. 입력 표현: 벡터화된 V2N 메시지

FleetAgent는 로우 이미지나 장황한 텍스트 대신 다음을 포함하는 컴팩트한 메시지를 수용합니다:

• 맵 요소(Map Elements): 차선 구분선, 경계선, 횡단보도를 나타내는 폴리라인(Polylines).
• 동적 객체(Dynamic Objects): 주변 에이전트의 현재 위치, 헤딩(heading) 및 예측된 미래 궤적.
• 에고 플랜(Ego Plan): 자율주행 차량의 계획된 경로인 미래 웨이포인트(waypoints).

2. 핵심 아키텍처: VecFormer

구조화된 벡터 데이터와 토큰 기반 MLLM 사이의 간극을 메우기 위해, 저자들은 VecFormer라는 벡터-투-임베딩 인터페이스를 도입했습니다. 이는 두 가지 핵심 구성 요소로 이루어져 있습니다:

• 벡터 인코더(Vector Encoders): 입력 벡터(폴리라인/궤적)를 기본 MLLM과 호환되는 연속적인 임베딩으로 매핑하는 학습 가능한 모듈입니다.
• 미분 가능한 Top-K 컨텍스트 선택(Differentiable Top-K Context Selection): 에고 플랜을 쿼리로 사용하여 맵 및 객체 임베딩에 대한 어텐션 점수를 계산하는 메커니즘입니다. 이는 순차적 Gumbel-Softmax 샘플링을 사용하여 가장 관련성이 높은 상위 $K$개의 컨텍스트 벡터를 선택합니다. 이를 통해 컨텍스트 길이를 제한하여 제어되지 않는 KV-cache의 증가를 방지하고 효율적인 배치 처리를 가능하게 합니다.

3. 학습 전략

시스템은 제한된 인간 검증 라벨을 사용하여 사전 학습된 MLLM(Qwen2.5-VL)을 적응시키기 위해 세 단계로 학습됩니다:

1. 마스크된 벡터 재구성(Masked Vector Reconstruction): 공간적 및 시간적 구조를 포착하기 위한 벡터 인코더의 자기 지도 학습형 사전 학습 단계입니다.
2. 고정 형식 지시어 튜닝(Fixed-format Instruction Tuning): 자연어 주석 없이 짧은 프롬프트를 사용하여 인코딩된 특징 공간을 MLLM의 임베딩 공간과 정렬합니다.
3. 지도 미세 조정(Supervised Fine-tuning, SFT): 인간이 검증한 라벨을 사용하여 특징 프로젝터와 컨텍스트 우선순위 모듈을 학습시키는 한편, 추론 및 스코어링을 위해 기본 LLM에 프리픽스 튜닝(prefix tuning)과 LoRA를 적용합니다.

4. 출력

FleetAgent는 다음을 생성합니다:

• 구조화된 자연어: 운영자의 상황 인식을 돕기 위한 계획 및 장면에 대한 내레이션, 설명 및 평가.
• 개입 긴급도 점수(Intervention Urgency Score): 즉각적인 운영자 주의가 필요한 차량의 우선순위를 결정하기 위한 점수 ($0-10$).

데이터셋: VecEval

학습 및 평가를 용이하게 하기 위해, 저자들은 nuScenes에서 파생된 VecEval 데이터셋을 구축했습니다.

• 불완전한 계획 생성: 인간의 운전 행동 클러스터 어휘 집합에서 샘포링하여 카운터팩추얼(counterfactual) 궤적을 생성함으로써, 물리적으로는 타당하지만 행동적으로는 불완전한 계획(예: 안전하지 않은 가속 또는 차선 위반)을 만듭니다.
• 어노테이션: 각 샘플에는 구조화된 언어 응답(내레이션, 설명, 평가)과 함께, 사실적 정확성과 교정된 긴급도를 보장하기 위해 인간 검수자가 검증한 개입 긴급도 점수가 포함됩니다.

주요 기여

1. FleetAgent 파이프라인: 컴팩트한 V2N 메시지로부터 에고 행동을 평가하고, 구조화된 설명과 긴급도 점수를 제공하여 운영자 우선순위 결정을 돕는 플릿 규모 원격 조종을 위한 공식화.
2. VecFormer 인터페이스: 컨텍스트 길이를 제한하고 텍스트 토큰화된 설명 대비 KV-cache 메모리 증가를 크게 줄이는 미분 가능한 Top-K 컨텍스트 선택 기능을 갖춘 새로운 벡터-투-임베딩 모듈.
3. VecEval 데이터셋: 불완전한 계획 변형과 인간이 검증한 평가 라벨을 결합한 새로운 데이터셋으로, 원격 조종 특화 계획 평가를 위한 리소스 부족 문제를 해결함.
4. 시스템 수준의 효율성: 경쟁력 있는 추론 성능을 유지하면서 대역폭과 메모리 풋프린트를 크게 감소시킨다는 것을 입증함.

실험 결과

시스템은 VecEval 검증 세트에서 평가되었으며, Raw 이미지, BEV 이미지, 그리고 Qwen2.5-VL-7B나 GPT-4o와 같은 모델에 입력된 토큰화된 언어 설명을 포함한 베이스라인들과 비교되었습니다.

• 대역폭 감소: FleetAgent는 로우 이미지와 비교하여 업링크 페이로드를 최대 625배 감소시켰습니다 (40.5 kB vs ~25 MB).
• 메모리 효율성: 토큰화된 텍스트 설명을 사용하는 것과 비교했을 때, FleetAgent는 로컬 배포 시 KV-cache 메모리 사용량을 16.54배 절감하여(1,241 MB vs 20,522 MB) 더 큰 배치 사이즈를 가능하게 했습니다.
• 성능: VecEval에서 FleetAgent는 언어 설명을 사용하는 Qwen2.5-VL-7B 대비 Lingo-Judge 점수를 16.8% 향상시켰고, 개입 실패율(IFR)을 19.9% 감소시켰습니다.
• 지연 시간: 시스템은 4.41초의 응답 시간을 달enc하며, 다른 로컬 및 API 기반 방법보다 우수한 성능을 보였으며, 더 작은 패킷 크기로 인해 엔드-투-엔드 통신 지연 시간이 현저히 낮습니다.
• 교차 데이터셋 검증: Nu-X 데이터셋에서 FleetAgent는 이전의 최첨단 방식(예: ALN-P3)보다 우수한 성능을 보여, 이미지 및 텍스트로 사전 학습된 VLM에 컴팩트한 벡터 입력을 사용하는 것의 타당성을 검증했습니다.

의의 및 주장

본 논문은 컴팩트한 구조화된 V2N 메시징이 자율주행 플릿을 위한 효율적이고 설명 가능한 원격 조종 모니터링을 효과적으로 구현할 수 있음을 입증한다고 주장합니다. 센서 스트리밍의 필요성을 MLLM의 추론 능력과 분리함으로써, 이 시스템은 대역폭 및 운영자 인지 부하라는 확장성 병목 현상을 해결합니다. 저자들은 이 접근 방식이 계산 및 통신 리소스를 획기적으로 줄이면서도 경쟁력 있는 계획 평가 성능을 유지한다는 점을 강조합니다.

저자들은 현재 온라인 원격 조종 시스템의 접근 불가능성으로 인해 평가가 오프라인으로 수행되었음을 언급했습니다. 향후 연구로는 폐쇄 루프(closed-loop) 검증 및 운영자의 의사결정에 미치는 실질적인 이점을 평가하기 위한 인간 대상 연구가 제안되었습니다.