기술 요약: 스트리밍 의도에서 비롯된 행동의 출현

문제 제기

현재의 엔드투엔드 자율주행 시스템은 "롱테일" 시나리오 (예: 모호한 교차로, 보호되지 않은 회전, 밀집된 합류) 에서 어려움을 겪고 있습니다. 저자들은 핵심적으로 결여된 역량이 **행동의 출현 (action emergence)**이라고 주장합니다. 이는 사전 학습된 장면 - 행동 매핑을 검색하거나 보간하는 것이 아니라, 온더플라이 (on-the-fly) 추론을 통해 임의의 장면에서 물리적으로 실현 가능하고, 의미적으로 적절하며, 안전 규정을 준수하는 행동을 생성하는 능력을 의미합니다.

기존 패러다임은 **의도 충실형 제어 가능성 (intent-faithful controllability)**의 부재로 인해 이를 달성하지 못합니다:

1. 자기회귀 (AR) 모델은 본질적으로 다중 모달인 미래를 단일 평균 궤적으로 축소시키는 경향이 있어, 물리적으로 실현 불가능한 타협점 (예: 회전도 직진도 아닌 궤적) 을 생성합니다.
2. 확산 (Diffusion) 및 흐름 매칭 (Flow-Matching, FM) 모델은 다중 모달 분포를 표현할 수 있지만, 특정 추론된 의도 쪽으로 샘플링을 유도할 명시적인 조건부 신호가 부족합니다. 결과적으로 이들의 출력은 데이터 사전에 의해 지배되며, 제어 가능성이 약합니다.

구체적인 추론된 주행 의도 (예: 양보, 합류, 회전) 를 실행된 궤적에 연결하는 메커니즘이 없다면, 에이전트는 여러 미래가 타당할 때 계획을 확정할 수 없습니다.

방법론: SI (스트리밍 의도)

본 논문은 행동 출현을 실현하도록 설계된 비전 - 언어 - 행동 (VLA) 모델인 **SI (Streaming Intent)**를 제안합니다. SI 는 자기회귀 (AR) 언어 분기와 흐름 매칭 (FM) 행동 분기를 공동으로 지원하는 단일 공유 Qwen3-VL 트랜스포머 백본을 기반으로 구축되었습니다.

핵심 구성 요소

1. 스트리밍 의도 메커니즘:

   • 의미적 스트리밍: 의도는 고립된 레이블로 예측되지 않습니다. 대신, 자기회귀 방식으로 디코딩되는 4 단계 생각의 사슬 (Chain-of-Thought, CoT) 과정 (지각 → 예측 → 판단 → 계획) 에서 출현합니다. 최종 출력은 이산적인 의도 토큰입니다. 이는 의도가 장면 이해에 인과적으로 기반하도록 보장합니다.
   • 시간적 스트리밍: 시간 전반에 걸쳐 일관성을 유지하기 위해, 현재 클립의 의도 토큰 ($k_t$) 은 메모리 토큰으로 압축되어 다음 클립의 입력 앞에 추가됩니다. 이를 통해 모델은 전체 백본을 재계산하지 않고도 누적된 에피소드 역사에 기반하여 미래 의도 예측을 조건화할 수 있습니다.

2. 의도 주도 분류기 없는 안내 (Classifier-Free Guidance, CFG):

   • AR 분기는 CoT 를 디코딩하고 의도 토큰을 방출하며, 이를 20 가지 의도 클래스 중 하나로 파싱합니다.
   • 이 의도 클래스는 FM 행동 헤드의 **분류기 없는 안내 (CFG)**를 구동합니다. 추론 중 모델은 각 노이즈 제거 단계마다 두 번의 순전파를 수행합니다: 하나는 특정 의도 ($k$) 에 조건부이고, 다른 하나는 무조건부 ($K$) 입니다.
   • 최종 속도장은 가중치 조합입니다: $v_t = v_\theta(x_t, t; e(K)) + w [v_\theta(x_t, t; e(k)) - v_\theta(x_t, t; e(K))]$.
   • 이를 통해 의도는 통계적 사전이 아닌, 확정된 기동 방향으로 궤적을 안내하는 연속적인 조향 차원으로 작용할 수 있습니다.

3. 데이터 구축 파이프라인:

   • (운동학적 메타 - 행동, 추론 CoT, 의도) 의 삼중체를 제공하는 기존 코퍼스가 없으므로, 저자들은 제로 인간 주석 비용으로 밀집된 감독을 생성하기 위해 최첨단 VLM(Qwen3.5) 을 사용한 4 단계 주석 파이프라인을 구축했습니다.
   • 이 파이프라인은 스트리밍 클립을 추출하고, 규칙 기반 운동학적 라벨링을 적용하며, 구조화된 CoT 와 의도 범위를 생성한 후, 이를 통합된 학습 세트로 집계합니다.

4. 추론 최적화 (CFG 증류):

   • 표준 CFG 는 단계당 두 번의 백본 통과를 요구합니다. 추론 비용을 절반으로 줄이기 위해, 저자들은 두 번 통과하는 CFG 연산자를 단일 통과 학생 임베더로 증류했습니다.
   • 경량의 증류된 의도 임베더 (DistilledIntentEmbedder)(~21M 파라미터) 는 CFG 보정 속도장을 근사하도록 훈련됩니다. 이는 성능 저하를 거의 일으키지 않으면서 행동 헤드의 추론 비용을 50% 감소시킵니다.

주요 기여

1. 행동 출현의 형식화: 본 논문은 엔드투엔드 주행의 목표 능력으로서 행동 출현을 정의하고, 현재 VA 및 VLA 모델에서 결여된 구조적 요소로 주행 의도를 식별합니다.
2. 스트리밍 의도 아키텍처: 의미적 CoT 를 통해 의도를 기반화하고 시간적 메모리 토큰을 통해 이를 유지하는 메커니즘을 제안하여 언어 추론과 궤적 생성을 연결합니다.
3. 의도 충실형 제어 가능성: 사전 구축된 궤적 은행이나 수동 코딩된 선택기에 의존하지 않고, 추론 시 의도 클래스만 변경함으로써 동일한 장면에 대해 질적으로 구별되며 고품질인 궤적을 생성할 수 있는 단일 엔드투엔드 훈련된 VLA 를 입증합니다.
4. 경험적 성능: 위에서 언급한 제어 가능성을 입증하면서 Waymo 엔드투엔드 벤치마크에서 경쟁력 있는 집계 성능을 달성했습니다.

결과

모델은 Waymo 오픈 데이터셋 엔드투엔드 (WOD-E2E) 벤치마크에서 평가되었습니다.

• 집계 지표:
  • 검증 세트: 이전 최우수 기준 (RAP, 7.91) 및 기타 모든 보고된 방법보다 우수한 7.96의 RFS(평가자 피드백 점수) 를 달성했습니다.
  • 테스트 세트: 7.74의 RFS 를 달성했으며, ADE 는 3 초 기준 1.24m, 5 초 기준 2.81m 로 검증 순위와 일치했습니다.
• 행동 출현 및 제어 가능성:
  • 정성적 분석에 따르면 SI 는 기준 모델 (예: RAP) 이 단일 지배적 모드로 축소되는 롱테일 장면에서 의도 충실형 궤적 군을 생성합니다.
  • 추론 시 의도 클래스를 변경하면 인간이 평가한 RFS 대안과 일치하는 기하학적으로 구별된 계획이 산출되어, 다양성이 무작위 변동이 아니라 타당한 행동 레퍼토리의 커버리지임을 확인시켜 줍니다.
• 효율성: CFG 증류 전략은 RFS 의 미미한 감소 ($\sim$0.02) 와 ADE/FDE 의 slight 개선과 함께 추론 비용을 성공적으로 절반 (2 회 통과에서 1 회 통과로) 으로 줄였습니다.

중요성 및 주장

저자들은 SI 가 데이터 주도 학습에서 순수하게 비롯된 의도 충실형 제어 가능성을 입증한 첫 번째 완전한 엔드투엔드 VLA라고 주장합니다. 궤적 은행을 연결하거나 사후 선택기를 사용하는 이전 접근법과 달리, SI 는 구조적으로 정렬된 언어 - 행동 표현을 통해 이를 달성합니다.

본 논문은 스트리밍 의도가 행동 출현을 향한 실용적인 경로를 제공한다고 주장합니다. 의도를 역동적으로 진화하고, 인과적으로 기반을 두며, 시간적으로 일관된 약속으로 만듦으로써, 모델은 복잡하고 모호한 장면을 추론하여 특정 계획을 확정할 수 있습니다. 저자들은 한계를 인정하며, 후진이나 주차와 같은 소수 의도에 대한 성능은 현재 전방 주행 코퍼스의 데이터 커버리지에 의해 제한받고 있음을 지적합니다. 따라서 주석 파이프라인을 더 크고 다양한 데이터셋으로 확장하는 것이 필요한 다음 단계임을 시사합니다.