기술 요약: VLGA - 자율주행을 위한 시각-언어-기하학-행동 모델 (Vision-Language-Geometry-Action Models)

문제 정의

엔드 투 엔드(end-to-end) 시각-언어-행동(VLA) 모델은 자연어를 통한 장면 이해 및 추론에서 강력한 능력을 입증해 왔습니다. 그러나 이러한 정책을 **조밀한 3D 구조(dense 3D structure)에 접지(grounding)**하는 데에는 여큼 중대한 간극이 존재합니다. 안전한 궤적 계획은 본질적으로 공간적인 작업이며, 이는 언어적 추론만으로는 제공할 수 없는 연속적인 정밀도를 요구합니다.

3D 구조를 VLA 정책에 통합하려는 기존 방식은 세 가지 범주로 나뉘며, 각각 뚜렷한 한계를 가집니다:

1. 희소 인지 (Sparse Perception): 이산적인 출력(예: 3D 박스, 차선)에 의존하며, 이는 미세한 안전성을 위해 필요한 조밀한 공간적 접지력이 부족합니다.
2. 특징 주입 (Feature Injection): 동결된 3D 파운데이션 모델으로부터 조밀한 특징을 언어 스트림에 주입합니다. 이 방식은 기하학을 위한 전용 파라미터 예산을 갖추지 못하며, 주입된 3D 정보가 정책에 효과적으로 활용되도록 보장하는 목적 함수가 없습니다.
3. 기하학 전용 (Geometry-Only): 조밀한 공간 처리를 위한 전용 아키텍처(예: 포인트맵 재구성)를 할당하지만, 언어 스트림을 완전히 제거함으로써 추론 능력을 희생합니다.

본 연구가 다루는 핵심 과제는 VLA 정책이 단일 프레임워크 내에서 언어 추론, 희소 인지, 그리고 **전용 조밀 기하학 용량(dedicated dense geometry capacity)**을 동시에 유지할 수 있는지 여부입니다.

방법론: VLGA 아키텍처

저자들은 4개의 전문가로 구성된 시각-언어-기하학-행동(Vision-Language-Geometry-Action) 모델인 VLGA를 제안합니다. 이는 기하학을 위해 격리된 네 번째 파라미터 전문가를 도입함으로써 혼합 트랜스포머(Mixture-of-Transformers, MoT) 패러다임을 확장한 것입니다.

아키텍처 구성 요소

모델은 **마스크 결합 어텐션(masked joint attention)**을 통해 결합된 네 가지 전문가로 구성됩니다:

• 이해 전문가 (Understanding Expert, U): 시각-언어 의미론을 처리합니다 (사전 학습된 VLM 계승).
• 인지 전문가 (Perception Expert, P): 쿼리 디코딩을 통해 희소한 인스턴스 수준의 단서(에이전트, 지도, 점유 상태)를 처리합니다.
• 기하학 전문가 (Geometry Expert, G): 조밀한 공간 구조를 처리하는 전용 스트림입니다. 멀티 뷰 카메라 입력으로부터 패치별 특징을 출력하는 사전 학습된 기하학 백본(DVGT-2)을 활용하며, 이 특징들은 MoT 토큰 공간으로 투영됩니다.
• 행동 전문가 (Action Expert, A): U, P, G의 출력을 조건으로 하여 플로우 매칭(flow matching)을 통해 미래 궤적을 예측합니다.

핵심 혁신: 조밀한 포인트맵 감독 (Dense Pointmap Supervision)

VLGA의 결정적인 특징은 기하학 스트림에 대한 명시적인 감독입니다. 기하학적 이해를 형성하기 위해 오직 행동 손실에만 의존하는 기존 방식과 달리, VLGA는 조밀한 픽셀당 포인트맵 재구성 목적 함수를 도입합니다.

• 학습 신호: 경량화된 디코더가 각 카메라 패치에 대해 3D 포인트를 예측하며, 이는 실제 LiDAR 포인트맵과 대조하여 감독됩니다.
• 손loss 함수: 기하학 토큰에 신뢰도 가중 회귀 손실($L_{pmap}$)이 적용됩니다.
• 추론: 포인트맵 디코더는 훈련 후 폐기됩니다. 기하학 전문가는 행동 전문가를 조건화하기 위해 학습된 조밀한 공간 표현을 유지합니다.

훈련 스케줄

저자들은 새로운 기하학적 손실과 상속된 행동 전문가 사이의 간섭을 방지하기 위해 2단계 훈련 스케줄을 채택합니다:

1. 기하학 단계 (Geometry Stage): 행동 전문가와 상속된 스트림을 동결합니다. 오직 기하학 구성 요소(전문가, 프로젝터, 디코더)만이 $L_{pmap}$을 사용하여 훈련됩니다.
2. 결합 단계 (Joint Stage): 행동 전문가의 동결을 해제합니다. 행동 손실($L_{act}$)이 포인트맵 손실($\lambda_{pmap} = 0.1$로 가중치 부여)과 함께 도입되어 정책을 공동 적응(co-adapt)시킵니다.

주요 기여

1. VLGA 모델: 시각, 언어, 행동 스트림과 함께 전용 파라미터 격리 기하학 전문가를 통합한 최초의 VLA 주행 정책입니다.
2. 조밀한 감독: 기하학 스트림이 조밀한 3D 환경을 재구성하도록 명시적으로 강제하는 픽셀당 포인트맵 재구성 목적 함수를 도입하여, 정책이 연속적인 공간 구조에 접지되도록 보장합니다.
3. 실증적 검증: 이 조합이 특히 높은 공간 정밀도를 요구하는 시나리오에서 안전 임계 지표(safety-critical metrics)에 유의미한 이득을 준다는 것을 입증했습니다.

실험 결과

오픈 루프 평가 (nuScens)

에고 상태 누출(ego-status leakage, 운동학적 외삽을 통해 성능을 인위적으로 높일 수 있는 설정) 없이 nuScenes 검증 스플릿에서 평가되었습니다:

• SOTA (최고 성능): VLGA-Large는 모든 VLA 방법 중 가장 낮은 평균 L2 변위(0.50 m)와 가장 낮은 3초 충돌율(0.18%)을 달 기록했습니다.
• 성능: 16개 계획 지표 중 15개에서 1위를 차지했습니다. 주목할 점은, 일부 이전 방식들이 실제 ground-truth 에고 상태를 사용할 때 더 낮은 L2 오차를 보였으나, VLGA는 더 현실적인 '에고 상태 미사용' 설정에서도 현저히 낮은 충돌율(약 2.5~3배 낮음)을 유지했습니다.

클로즈드 루프 평가 (Bench2Drive)

CARLA 시뮬레이터 내 공식 평가 하네스에서 평가되었습니다:

• 주행 점수 (Driving Score): VLGA는 이전의 가장 강력한 VLA인 UniDriveVLA를 +0.71 앞질러 새로운 SOTA인 79.08을 달성했습니다.
• 지표: 효율성은 유사하게 유지하면서 성공률(Success Rate)과 쾌적성(Comfortness)을 개선했습니다.
• 기술 분석: 이득은 "양보(Give Way)" 및 "비상 제동(Emergency Brake)" 시나리오에서 가장 두드러졌으며, 이는 정밀한 공간 오프셋 및 거리 추정이 필요함을 보여주며 조밀한 기하학적 접지의 가치를 확인시켜 줍니다.

절제 연구 (Ablation Studies)

• 구성 요소 분석: 기하학 전문가를 추가하는 것만으로는 완만한 이득을 얻었습니다. 그러나 조밀한 포인트맵 감독을 추가하는 것이 결정적이었으며, 전문가 단독 변형 대비 평균 충돌율을 추가로 8.7% 감소시켰습니다. 이는 재구성 목적 함수가 기하학 스트림을 작업 관련성 있게 유지하는 데 필수적임을 확인해 줍니다.
• 정성적 분석: 시각적 비교 결과, VLга 궤적은 회전 구간이나 차량 주변에서 ground truth에 더 가깝게 유지된 반면, 베이스라인 모델들은 측면 드리프트(lateral drift)를 보였습니다.

의의 및 주장

본 논문은 VLGA가 VLA 주행 정책을 단순히 묘사적인 수준을 넘어 3D 세계에 **운영적으로 접지(operationally grounded)**된 수준으로 만드는 중요한 진전이라고 주장합니다. 전용 기하학 스트림이 조밀한 3D 환경을 재구성하도록 명시적으로 감독함으로써, 모델은 연속적인 공간 정밀도가 필요한 안전 임계 시나리오에서 우수한 성능을 달 r성합니다.

저자들은 이 접근 방식이 언어 스트림을 희생하거나 희소하고 이산적인 표현에 의존하지 않고도, 언어 모델의 추론 능력과 자율주행에 필요한 공간적 정밀도 사이의 간극을 성공적으로 메운다고 강조합니다. 결과는 명시적인 조밀 기하학 감독이 더 안전하고 견고한 엔드 투 엔드 주행 정책을 향한 실행 가능한 경로임을 시사합니다.

한계점: 저자들은 대규모 VLA 백본의 상당한 추론 비용이 엣지 배포에 도전 과제가 된다는 점을 인정하며, 현재 포인트맵 감독이 프레임당 적용되고 있어 향후 방향으로 시간적 일관성(temporal consistency)을 언급했습니다.