🤖 AI

Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs

이 논문은 정답 미래 궤적을 의사결정 전 입력에서 의사결정 후 검증 대상으로 미룸으로써 자율주행 VLM의 궤적 앵커링 편향을 제거하고, 일반적인 시각적 능력을 저해하지 않으면서 인과적 추론을 강화하며 환각을 줄이는 DEFT-RLVR 프레임워크와 AD-MCQ 벤치마크를 소개한다.

원저자: Zixuan Huang, Yang Zhou, Kaixuan Wang, Guli Zhang, Hongyan Xie, Yakun Zhu, Hao Geng, Yikun Ban, Deqing Wang

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixuan Huang, Yang Zhou, Kaixuan Wang, Guli Zhang, Hongyan Xie, Yakun Zhu, Hao Geng, Yikun Ban, Deqing Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 자동차 운전하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 단순히 길을 외우는 것이 아니라, 왜 빨간불에 멈춰야 하는지 또는 왜 커브길에서 왼쪽으로 꺾어야 하는지를 이해하도록 하여 똑똑하게 만들고 싶습니다. 이것이 바로 **자율 주행(Autonomous Driving)**의 세계입니다. 여기서 컴퓨터는 카메라와 센서를 사용하여 세상을 보고, **시각-언어 모델(Vision-Language Models, VLMs)**은 로봇의 두뇌 역할을 하며 눈에 보이는 것을 언어와 결정으로 변환합니다. 이 두뇌를 더 똑똑하게 만들기 위해, 과학자들은 흔히 **사고의 사슬(Chain-of-Thought, CoT)**이라는 기술을 사용합니다. 이것은 학생에게 수학 시험에서 "풀이 과정을 쓰라"고 요구하는 것과 같습니다. 단순히 정답만 내놓는 대신, 로봇은 단계별로 자신의 추론을 설명합니다: "정지 표지판이 보이므로, 나는 멈춰야 한다." 이는 로봇이 단순히 추측하는 것이 아니라 논리적으로 생각하는 법을 배우도록 돕습니다.

하지만 로봇을 가르칠 때 까다로운 문제가 하나 있습니다. 보통 과학자들이 이러한 "풀이 과정 쓰기" 예시를 만들 때, 로봇에게 질문을 던지기도 전에 정답(차가 지나간 정확한 경로)을 먼저 보여줍니다. 이는 마치 학생이 문제를 읽기도 전에 정답지를 먼저 주는 것과 같습니다. 이 논문은 이것이 **앵커링 편향(anchoring bias)**이라는 나쁜 습관을 만든다고 지적합니다. 로봇은 도로를 분석하는 것을 멈추고 이미 주어진 답을 정당화하기 시작하며, 때로는 주어진 경로에 맞추기 위해 가짜 이유를 만들어내기도 합니다(환각 현상). 연구진은 자율 주행 자동차를 더 안전하고 신뢰할 수 있게 만들기 위해 이 문제를 해결하고자 했습니다.

문제점: "풀이 과정" 테스트에 너무 일찍 접근하는 것

저자들은 로봇이 자신의 추론을 결정하는 동안 미래의 경로(정답, Ground Truth)를 보게 되면, 로봇이 그 정보에 의존한다는 사실을 발견했습니다. 로봇은 실제로 교통 상황, 보행자, 또는 도로 표지판을 분석하는 것이 아니었습니다. 대신, 미래의 경로를 보고는 "아, 우리는 우회전하고 있으니, 우회전 표지판이 있겠구나!"라고 말하는 식이었습니다. 실제로는 그런 표지판이 없는데도 말이죠.

연구진은 이를 **궤적 앵커링 편향(Trajectory Anchoring Bias)**이라고 부릅니다. 이는 마치 탐정이 사건을 시작하기도 전에 용의자의 이름을 전달받은 것과 같습니다. 탐정은 단서를 찾는 대신, 주어진 이름에 끼워 맞추기 위해 증거를 조작해 냅니다. 연구진은 로봇이 미래의 경로를 먼저 보게 될 경우, 추론 내용이 가짜 세부 사항(환각)으로 가득 차게 되며 실제 도로 상황에 기반하지 않는다는 것을 발견했습니다. 실제로 어려운 주행 상황에서, 로봇이 정답을 미리 엿볼 수 있게 허용했을 때 그 "설명"의 신뢰도는 훨씬 떨어졌습니다.

해결책: "지연 노출" 게임

이 문제를 해결하기 위해, 팀은 DEFT-RLVR(검증 가능한 추론을 동반한 강화 학습을 위한 미래 궤적의 지연 노출)이라 불리는 새로운 학습 방식을 고안했습니다. 핵심 아이디어는 간단합니다: 학생이 선택을 내린 후에는 정답을 보여주지 마라.

그들은 AD-MCQ(자율 주행 객관식 문제)라는 게임을 만들었습니다. 로봇에게 완벽하고 연속적인 경로를 그리라고 요구하는 대신(이는 어렵고 오류가 발생하기 쉽습니다), 몇 가지 미리 그려진 경로 중 하나를 고르게 했습니다. 마치 비디오 게임에서 레벨을 통과하기 위해 여섯 가지 서로 다른 경로 중 하나를 골라야 하는 상황과 같습니다.

새로운 학습 방식은 다음 두 단계로 진행됩니다:

1턴 (결정): 로봇은 가능한 경로를 전혀 보지 못한 상태에서 도로를 관찰합니다. 로봇은 교통 상황, 표지판, 그리고 커브를 보고 자신이 무엇을 해야 하는지 결정해야 합니다. 로봇은 오직 눈에 보이는 것에만 기반하여 자신의 추론을 작성하고 방향(예: "속도를 줄이고 우회전한다")을 정해야 합니다.
2턴 (검증): 로봇이 자신의 결정에 전념하고 난 후에야, 연구진은 여섯 가지 가능한 경로를 공개합니다. 그러면 로봇은 자신의 결정과 목록에 있는 올바른 경로를 일치시켜야 합니다.

이 방식은 로봇이 먼저 실제로 생각하도록 강제합니다. 로봇은 경로에 의존하여 이유를 꾸며낼 수 없습니다. 먼저 이유를 구축한 다음, 그에 맞는 경로를 찾아야 합니다.

연구 결과

결과는 인상적이었습니다. 이 "지연" 방식을 사용하여 로봇을 훈련했을 때 다음과 같은 결과가 나타났습니다:

더 나은 사고 능력: 로봇은 자신의 결정에 대해 훨씬 더 정직하고 정확한 이유를 제시하기 시작했습니다. 가짜 표지판이나 보이지 않는 장애물을 만들어내는 일이 줄어들었습니다.
더 적은 실수: 로봇은 갑작스러운 정지나 급격한 회전과 같은 까다로운 상황에서 올바른 경로를 선택하는 능력이 훨씬 좋아졌습니다.
다른 작업에서도 여전히 똑똑함: 로 로봇에게 운전을 가르치는 것이 그림을 묘사하거나 퍼즐을 푸는 것과 같은 다른 능력을 퇴보시키지 않을까 하는 큰 우려가 있었습니다. 하지만 연구진은 이 새로운 방법이 로봇의 일반적인 시각적 능력을 약간 향상시키거나, 적어도 이전만큼 잘 유지한다는 것을 발견했습니다.

연구진은 다양한 로봇 "두뇌"를 대상으로 테스트를 진행했으며, 이 방법이 일관되게 작동한다는 것을 확인했습니다. 로봇은 주변 세상을 이해하는 능력을 잃지 않으면서도 더 안전하고 논리적으로 운전하는 법을 배웠습니다.

이것이 중요한 이유

이 논문은 단순히 "우리가 더 나은 로봇을 만들었다"라고 말하는 것이 아닙니다. 로봇을 가르치는 방법이 로봇 자체만큼이나 중요하다는 것을 증명합니다. 로봇이 생각하기도 전에 정답을 훔쳐보는 것을 막음으로써, 우리는 훨씬 더 똑똑하고 정직한 운전자를 얻을 수 있습니다. 이는 자율 주행 자동차를 향한 경쟁에서, 목표가 단순히 목적지에 도달하는 것이 아니라, 자동차가 왜 그곳에 도착했는지, 그리고 단순히 교통 흐름 속에서 운 좋게 맞춘 것이 아니라 왜 그렇게 움직였는지를 확실히 아는 것임을 상기시켜 줍니다. 연구진은 다른 과학자들이 미래에 더 안전하고 똑똑한 자율 주행 차량을 구축할 수 있도록 이 "지연 노출" 기술의 코드와 데이터를 공개했습니다.

기술 요약: 자율 주행 VLM의 검증 가능한 추론을 위한 미래 궤적의 지연 노출 (Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs)

문제 정의

자율 주행(AD)을 위한 최근의 시각-언어-행동(VLA) 모델들은 비전-언어 모델(VLM) 구성 요소의 추론 능력을 향상시키기 위해 연쇄 사고(Chain-of-Thought, CoT) 감독에 점점 더 의존하고 있습니다. 그러나 기존의 어노테이션 파이프라인은 일반적으로 모델이 추론을 생성하기 전에 교사 모델에게 기록된 정답(Ground-Truth, GT) 미래 궤적을 노출합니다.

저자들은 **궤적 앵커링 편향(trajectory anchoring bias)**이라 명명된 현상을 식별하고 경험적으로 검증했습니다. GT 궤적이 드러나면, 교사 모델은 장면의 증거로부터 결정을 추론하기보다 이미 알려진 결과에 대해 사후적으로 합리화하는 경amping을 보입니다. 이는 다음과 같은 문제를 야기합니다:

인과적 충실도 저하 (Reduced Causal Faithfulness): 생성된 CoT는 기하학적으로는 GT와 일치하지만, 행동을 뒷받支持하는 장면 증거를 충실하게 식별하는 데 실패합니다.
환각 증가 (Increased Hallucinations): 모델은 특히 인과적으로 까다로운 장면에서 드러난 궤적을 정당화하기 위해 인과적 단서(예: 교통 표지판을 지어냄)를 조작할 가능성이 현저히 높아집니다.
감독 불일치 (Supervision Mismatch): GT 궤적이 결정 대상이 아닌 추론의 지름길(사전 결정 앵커)로 작용하여, 모델이 알려진 결과에 대해 역으로 설명을 만들어내는 법을 배우게 합니다.

GT 궤적을 숨기는 것은 이러한 지름길을 제거하지만, 새로운 과제를 도입합니다. 즉, 개방형 궤적 생성은 고차원적 의사결정과 정밀한 기하학적 합성 및 저수준 역학을 결합시키는데, 이는 VLM에게 매우 어려운 작업이며 검증하기도 어렵습니다.

방법론

이러한 문제를 해결하기 위해, 저자들은 새로운 벤치마크 형식과 훈련 전략인 AD-MCQ 및 DEFT-RLVR로 구성된 프레임워크를 제안합니다.

1. AD-MCQ: 자율 주행 다중 선택 질문 (Autonomous-Driving Multiple-Choice Question)

개방형 좌표 생성 대신, 저자들은 AD 계획을 명시적인 궤적 후보들 사이의 선택 과제로 재구성했습니다.

이산적 궤적 프로토타입 (Discrete Trajectory Prototypes): 로그된 미래 데이터 코퍼스에 K-means 클러스터링을 적용하여 $K=8192$ 개의 궤적 프로토타입으로 구성된 코드북을 구축합니다. 이를 통해 연속적인 궤적을 유한한 모션 어휘로 양자화합니다.
후보군 구성 (Candidate Construction): 각 장면에 대해, GT 궤적은 가장 가까운 프로토타입(오라클)으로 매핑됩니다. 오답(Distractors)은 규모가 일치하는 대안이나 등속도 외삽(constant-velocity extrapolations)을 포함하여, 기하학적으로는 유사하지만 서로 다른 프로토타입(hard negatives)을 추출하여 구성됩니다.
검증 가능성 (Verifiability): 작업은 셔플된 $M$ 개의 후보 세트에서 올바른 옵션 인덱스를 선택하는 것이 되며, 이는 개방형 기하학적 합성을 요구하지 않으면서도 정확히 검증 가능한 결정 타겟을 제공합니다.

2. DEFT-RLVR: RLVR를 위한 미래 궤적의 지연 노출 (Deferred Exposure of Future Trajectories for RLVR)

AD-MCQ를 기반으로, 저자들은 훈련 중 앵커링 편향을 완화하기 위해 DEFT-RLVR(검증 가능한 보상을 갖춘 RLVR를 위한 미래 궤적의 지연 노출)을 제안합니다.

2단계 상호작용 (Two-Stage Interaction):
- 1단계 (인과적 결정 추론 - Causal Decision Reasoning): 정책 모델은 장면 컨텍스트(시각적 이력, 에고 상태, 내비게이션 지시)만을 전달받으며, 후보 궤적을 보지 않은 상태에서 고차원적 결정과 추론 트레이스를 생성해야 합니다.
- 2단계 (명시적 궤적 그라운딩 - Explicit-Trajectory Grounding): 모델이 장면 기반 결정을 확정한 후에만 후보 궤적들이 공개됩니다. 그 후 모델은 자신의 결정과 가장 잘 일치하는 후보를 선택합니다.
지연 노출 (Deferred Exposure): 이 설계는 후보 궤적의 기하학적 형태가 결정의 '형성'이 아닌 결정의 '그라운딩(grounding)'을 형성하도록 보장하여, 모델이 보이는 답을 바탕으로 추론하는 지름길을 사용하는 것을 방지합니다.
구조화된 루브릭 보상 (Structured Rubric Rewards): 모델이 무작위 추측이나 지름길 악용을 통해 MCQ 형식을 이용하는 것을 방지하기 위해, 저자들은 프로세스 감독(process supervision)을 도입합니다.
- MCQ 정답을 맞힌 롤아웃(rollout)에 대해, 1단계 추론 트레이스는 사례별 루브릭(rubric)에 따라 평가됩니다.
- 루브릭은 대규모 VLM에 의해 오프라인으로 생성되며, 장면 증거를 기반으로 합니다.
- 온라인 텍스트 전용 판사(judge)는 시각적 입력이나 후보 옵션에 접근하지 않고, 루브릭 기준(예: 그라운딩, 환각 부재, 인과적 일관성)에 따라 추론 트레이스를 평가합니다.
- 최종 보상은 정확한 선택 보상과 루브릭 보상의 곱으로 산출됩니다 ( $R = R_{MCQ} \times R_{RUB}$ ).

주요 기여

궤적 앵커링 편향 식별: 본 논문은 GT 궤적을 CoT 어노테이션 중에 노출하는 것이 사후적 합리화와 심각한 환각을 유발하여, AD 추론의 인과적 충실도를 저하시킨다는 경험적 증거를 제시합니다.
AD-MCQ 벤치마크: 궤적 수준의 세밀함(제동 시간, 속도 프로필, 측면 기하학)을 유지하면서 개방형 생성을 정확한 선택으로 대체하여, 확장 가능하고 제어 가능한 난이도를 제공하는 검증 가능한 후보 궤적 벤치마크입니다.
DEFT-RLVR 프레임워크: 정책이 결정을 확정하기 전까지 후보 노출을 지연시키는 훈련 패러다임을 제공합니다. 루브릭 기반의 프로세스 감독과 결합하여, 기본 VLM의 일반적인 시각 능력을 유지하면서도 AD 추론 능력을 향상시킵니다.

실험 결과

저자들은 Qwen3-VL-8B-Instruct와 Qwen3.5-4B를 기본 모델로 사용하였고, Qwen3.5-397B-A17B를 교사/판사로 활용하여 평가를 진행했습니다.

AD 추론 성능:
- DEFT-RLVR은 훈련을 거치지 않은 베이스라인 및 절제 실험(ablation) 모델들을 크게 앞질렀습니다. Qwen3-VL-8B 모델 기준으로, 베이스 모델의 정확도가 28.1%, 훈련을 거치지 않은 DEFT가 56.6%였던 것에 비해 77.9%의 정확도를 달 기록했습니다.
- 또한 **인과적 충실도 점수(CFS)**를 0.431(training-free DEFT)에서 0.658로, 고차원 결정(HLD) 일관성을 0.425에서 0.501로 향상시켰습니다.
- JEFT(Joint Exposure) 절제 실험과 비교했을 때, DEFT-RLVR은 일관된 성능 향상(예: Qwen3-VL-8B에서 정확도 +15.3%)을 보여주어, 지연 노출이 지름길 기반 최적화를 줄인다는 것을 확인했습니다.
일반 시각 능력:
- 미세 조정(SFT) 증류가 일반 시각 능력을 저하시키는 것(평균 일반 능력 54.81%에서 49.80%로 하락)과 달리, DEFT-RLVR은 일반적인 시각 능력을 보존하거나 오히려 향상시켰습니다.
- Qwen3-VL-8B의 경우, 평균 일반 시각 능력 점수가 54.81%에서 56.09%로 증가했습니다. 저자들은 이를 RL 기반 정책 그래디언트의 세밀한 특성과 작업에 필요한 공유된 시각-공간 추론 덕분이라고 설명합니다.
일반화 (Generalization):
- 본 방법은 nuScenes 도메인에 대한 OOD(Out-of-Distribution) 전이에서도 강력한 성능을 보였으며, DEFT-RLVR을 통해 정확도를 39.6%(training-free)에서 **49.5%**로 높였습니다.
- 이러한 이점은 다양한 후보 세트 구성 및 오답 기하학 구조에서도 견고하게 나타났습니다.
효율성:
- DEFT-RLVR의 사례별 루브릭 생성은 정확도 전용 훈련 대비 훈련 시간에 0.5%의 오버헤드만 추가했을 뿐이며, 온라인 이미지 조건부 루브릭 채점 변형 방식보다 41.1% 더 빨랐습니다.

의의 및 주장

본 논문은 DEFT-RLVR이 다음과 같은 이유로 검증 가능한 AD 추론을 위한 확장 가능하고 유연한 토대를 제공한다고 주장합니다:

결정과 검증의 분리: 미래 궤적을 사전 결정 앵커에서 사후 결정 검증 타겟으로 전환함으로써, 모델이 장면 증거로부터 먼저 추론하도록 강제합니다.
이중 병목 현상 회피: 직접적인 궤적 토큰 생성 대신 후보 선택을 사용함으로써, 궤적 양자화 오류와 직접 생성 작업에서 흔히 발생하는 일반 시각 능력 저하라는 두 가지 병목 현상을 피합니다.
검증 가능한 RL 가능성: 개방형 기하학적 합성을 요구하지 않고도 자율 주행과 같은 복잡하고 연속적인 제어 작업에 검증 가능한 보상(RLVR)을 적용할 수 있는 메커니즘을 제공합니다.

저자들은 자사의 접근 방식이 현재 CoT 감독이 종종 편향된(결과가 드러난) 데이터에 의존하는 VLA 훈련 파이프라인의 핵심적인 격차를 해결하며, 일반적인 시각 능력을 유지하면서도 일반화 가능한 AD 추론을 개선한다고 결론지었습니다.