🤖 AI

Planning-aligned Token Compression for Long-Context Autonomous Driving

본 논문은 조건부 VQ-VAE를 활용하여 확장된 시간적 문맥으로부터 의사결정에 결정적인 정보를 유한한 표현으로 증류함으로써, 백본 수정 없이도 자율 주행 성공률을 크게 향상시키는 동시에 상당한 속도 및 메모리 효율성을 달성하는 계획 정렬형 토큰 압축 프레임워크인 COMPACT-VA를 제안한다.

원저자: Zhixuan Liang, Yuxiao Chen, Yurong You, Peter Karkus, Wenhao Ding, Boyi Li, Alexander Popov, Yan Wang, Maximilian Igl, Yiming Li, Danfei Xu, Nikolai Smolyanskiy, Boris Ivanovic, Ping Luo, Marco Pavone

게시일 2026-06-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhixuan Liang, Yuxiao Chen, Yurong You, Peter Karkus, Wenhao Ding, Boyi Li, Alexander Popov, Yan Wang, Maximilian Igl, Yiming Li, Danfei Xu, Nikolai Smolyanskiy, Boris Ivanovic, Ping Luo, Marco Pavone

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 자율주행 자동차에게 복잡한 도시를 주행하는 법을 가르치고 있다고 상상해 보십시오. 안전한 주행을 위해 자동차는 몇 초 전에 일어난 일을 "기억"해야 합니다. 저 교차로에 있던 차가 우리보다 먼저 도착했나? 저 보행자가 트럭 뒤에서 막 튀어나오려는 중인가?

문제는 현대의 AI 모델들이 주의 집중 시간이 매우 짧은 학생과 같다는 점입니다. 만약 너무 많은 비디오 기록을 한꺼번에 보여주면, 그들의 뇌는 과부하가 걸려 속도가 느려지고 가장 중요한 세부 사항을 놓칠 수 있습니다. 반대로 너무 적게 보여주면, 중요한 맥락(예: 누가 정지 표지판에 먼저 도착했는지 등)을 잊어버리게 됩니다.

이 논문은 COMPACT-VA라고 불리는 새로운 시스템을 소개하며, 이를 통해 자동차가 스스로의 기억을 편집하는 "스마트한 편집자"가 되도록 가르칩니다.

문제점: "너무 많거나, 너무 이른" 딜레마

자동차의 기억을 비디오 편집 타임라인이라고 생각해 보십시오.

기존 방식 (규칙 기반): 2초보다 오래된 것은 모두 잘라내는 편집자를 상상해 보십시오. 그들은 "오래된 것은 중요하지 않아"라고 말합니다. 하지만 만약 결정적인 단서가 3초 전에 발생했다면 어떻게 될까요? 자동차는 교차로에 누가 먼저 도착했는지를 잊어버리고 "롤링 스톱(서행 통과)" 사고를 내며 충돌하게 됩니다.
새로운 방식 (계획 정렬형): 무작정 자르는 대신, 편집자는 "내가 지금 무엇을 하려고 하는가?"라고 자문합니다. 만약 자동차가 멈출지 갈지를 결정해야 한다면, 편집자는 그 질문에 답을 줄 수 있는 특정 프레임들을 (설령 그것이 더 오래된 것이라도) 유지하고, 지루하고 반복적인 프레임들은 버립니다.

해결책: "스마트한 메모리 뱅크"

저자들은 선택적 사서처럼 작동하는 시스템을 구축했습니다.

"무엇을 남길 것인가"라는 질문: 단순히 가장 최근의 프레임을 유지하는 대신, 시스템은 다음과 같이 학습합니다: "이 오래된 비디오 클립이 내가 멈출지 갈지를 결정하는 데 도움이 되는가?"
"미래 의도" 기법: 이를 학습하기 위해 시스템은 훈련 과정에서 일종의 게임을 수행합니다. 시스템은 미래(실제로 다음에 일어난 일)를 살펴보고 "의도"(예: "저 차가 우선권을 가졌기 때문에 나는 멈춰야 했다")를 파악합니다. 그런 다음, 오직 압축되고 편집된 기억만을 사용하여 동일한 의도를 예측하려고 시서합니다.
- 비유: 당신이 시험을 보고 있다고 상상해 보십시오. 당신은 메모를 적을 수 있지만, 아주 작은 인덱스 카드에만 적어야 합니다. 공부를 하기 위해, 당신은 정답지(미래)를 보고 어떤 단서들이 가장 중요했는지 확인합니다. 그런 다음, 정답지 없이도 시험을 통과할 수 있도록 그 특정 단서들을 카드에 적는 연습을 합니다.
결과: 자동차는 최종적으로 "결정에 결정적인" 순간들(예: 다른 차량이 정지선에 도착한 정확한 순간)을 포함하면서도, 빠르게 처리할 수 있을 만큼 작게 압축된 "압축 기억"을 갖게 됩니다.

실제 사례에서의 작동 방식

연구진은 기억력이 핵심인 까다로운 상황들에서 이 시스템을 테스트했습니다:

사방 정지(Four-Way Stops): 누가 먼저 도착했는가?
숨겨진 보행자: 5초 전에 버스 뒤에서 누군가 발을 내디뎠는가?
비보호 좌회전: 저 마주 오는 차가 나를 위해 속도를 줄이고 있는가, 아니면 속도를 높이고 있는 있는가?

이 테스트에서 새로운 시스템은 이전 방식들과 비교했을 때 "정지" 또는 "주행" 결정을 내리는 데 있어 6% 더 우수한 성능을 보였습니다. 또한 위험한 "롤링 스톱"(완전히 멈추지 않고 지나가는 것)을 22% 감소시켰습니다.

효율성 보너스

시스템이 "불필요한 정보(fluff)"를 편집하는 데 매우 능숙하기 때문에, 훨씬 적은 데이터만 처리하면 됩니다.

속도: 전체 편집되지 않은 비디오 기록을 처리할 때보다 3.3배 더 빠릅니다.
메모리: 컴퓨터 메모리를 2.7배 적게 사용합니다.

핵심 요약

이 논문은 자율주행 자동차가 단순히 최근에 일어난 일(시간)이 아니라, 다음에 결정해야 할 것(계획)에 기반하여 기억을 압축하도록 가르침으로써, 속도가 느려지거나 컴퓨터 자원이 부족해지는 일 없이 복잡한 교통 상황에서 더 안전하고 똑똑한 결정을 내릴 수 있다고 주장합니다. 이는 "단기 기억" 문제를 "스마트한 작업 기억" 솔루션으로 전환한 것입니다.

기술 요약: 장기 컨텍스트 자율 주행을 위한 계획 정렬형 토큰 압축 (Planning-Aligned Token Compression)

문제 정의

단일 구조의 비전-액션(Vision-Action, VA) 및 비전-언어-액션(Vision-Language-Action, VLA) 정책은 통합 트랜스포머 백본을 통해 멀티모달 입력을 직접 차량 궤적으로 매핑하는 패러다임의 전환을 나타냅니다. 그러나 이러한 모델을 복잡한 상호작용을 처리할 수 있도록 확장하려면 확장된 시간적 컨텍스트(temporal context)가 필요하며, 이는 실시간 계산 예산을 초과하여 시각적 토큰 시퀀스 길이를 급격히 팽창시킵니다.

기존 솔루션들은 다음과 같은 트레이드오프에 직면해 있습니다:

선형 트랜스포머/외부 메모리: 백본 수정이 필요하거나 아키텍처의 복잡성을 유발합니다.
토큰 압축: 백본 변경이 필요 없다는 점에서 가장 실용적인 접근 방식입니다. 그러나 현재의 방식들은 규칙 기반 휴리스틱(예: 시간적 감쇠)에 의존하며, 이는 최근 프레임은 유지하고 오래된 프레임은 무차별적으로 버립니다.
핵심 한계점: 규칙 기반 압축은 계획 목표(planning objective)와 분리되어 있습니다. 이는 중복된 정보와 의사결정에 결정적인 과거의 단서(예: 사거리에서 차량의 도착 순서)를 구분하지 못합니다. 논문에서 설명하듯, 먼 과거의 관측값(예: $t=-3s$ 시점)을 버리는 것은 잘못된 우선권 결정을 초래하여, 정지 신호를 무시하고 지나가는 것과 같은 안전 위반으로 이어질 수 있습니다.

방법론: COMPACT-VA

저자들은 COMPACT-VA(Compression via Planning-Aligned Context Tokens)를 제안합니다. 이는 압축을 주행 의도(driving intent)와 명시적으로 정렬하면서, 확장된 컨텍스트를 유한한 표현으로 압축하도록 설계된 워킹 메모리 프레임워크입니다.

1. 계층적 시간적 컨텍스트 버퍼링 (Hierarchical Temporal Context Buffering)

평면적인 컨텍스트 윈도우 대신, 관측 이력( $T$ 타임스텝)은 $K$ 개의 압축 레이어를 가진 계층적 FIFO 메모리 뱅크로 구성됩니다.

시간적 감쇠 유도 편향 (Temporal Decay Inductive Bias): 최근 프레임은 높은 토큰 해상도를 유지하고(압축 없음), 중간 프레임은 중간 정도의 압축을 거치며, 먼 과거의 프레임은 공격적인 압축을 거칩니다.
Q-former 압축: 각 레이어에서 학습 가능한 쿼리 토큰은 원본 관측 토큰, 타임스텝 임베딩, 카메라 임베딩과 결합됩니다. Q-former 모듈(MMDiT 기반)은 셀프 어텐션을 통해 태스크 관련 시각적 특징을 선택적으로 집계합니다.
위치 일관성 (Positional Consistency): 압축된 시퀀스와의 정렬을 유지하기 위해 회전 위치 임베딩(RoPE)을 압축 비율에 따라 스케일링합니다.

2. 계획 정렬 변분 결합 (Planning-Aligned Variational Coupling)

핵심 혁신은 압축 품질을 궤적 예측과 직접 연결하는 벡터 양자화(Vector Quantization, VQ)를 포함한 **조건부 변분 오토인코더(cVAE)**입니다.

주행 의도 잠재 변수 ( $z$ ): 훈련 중에 미래 궤적으로부터 추출된 압축된 이산 잠재 변수입니다.
사후 인코더 (Q-net): 훈련 단계에서만 훈련됩니다. 압축된 관측값( $o_{compressed}$ )과 실제 미래 궤적( $\tau_{future}$ )을 입력받아 주행 의도 잠재 변수 $z_q$ 를 추출합니다.
사전 인코더 (P-net): 훈련과 추론 단계 모두에서 작동합니다. 미래 정보 없이 오직 압축된 관측값만을 사용하여 의도 잠재 변수 $z_p$ 를 예측합니다.
벡터 양자화: $z_q$ 와 $z_p$ 는 공유된 이산 코드북(discrete codebook)에 매핑됩니다. 이러한 이산화는 모델이 유한한 주행 "기술" 또는 의도 세트를 학습하도록 강제합니다.
엔드 투 엔드 최적화: 시스템은 다음과 같은 복합 손실 함수를 통해 최적화됩니다:
$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$
KL 발산(KL divergence) 항은 사전 분포(추론 시)가 사후 분포(훈련 시)와 일치하도록 보장합니다. 만약 Q-former가 중요한 과거 이력을 버린다면, 사전 분포가 의도를 예측할 수 없게 되어 높은 KL 발산과 궤적 예측 성능 저하가 발생합니다. 이는 모델이 '무엇을 남길 것인가'를 스스로 학습하게 만드는 폐쇄 루프를 형성합니다.

3. 추론 (Inference)

테스트 시에는 사전 경로(prior pathway)만 활성화됩니다. 모델은 관측값을 압축하고, 의도 잠재 변수 $z_p$ 를 예측하고, 이를 양자화한 뒤 압축된 메모리에 특수 토큰으로 추가합니다. 이 결합된 시퀀스는 자기회귀적 궤적 생성을 위해 통합 트랜스포머 백본으로 전달됩니다.

평가 프레임워크

저자들은 확장된 컨텍스트(5~10초)가 연속적인 궤적 최적화와는 구별되는 이산적 의사결정에 결정적인 **고신호 동적 시나리오(high-signal dynamic scenarios)**를 식별했습니다:

사거리 (Four-Way Stops): 도착 순서에 따른 우선권 결정.
정지/양보 및 동적 폐쇄 (Stop/Yield with Dynamic Occlusion): 가려진 차량의 상태 유지.
비보호 좌회전 (Unprotected Turns): 시간 경과에 따른 맞은편 교통 흐름의 간격 평가.

지표: 기존의 minADE는 정렬되지 않은 것으로 간주됩니다. 논문은 다음과 같은 행동 지표를 도입합니다:

Go 성공률 (Go Success Rate): 정지 후 출발할 수 있는 능력.
Stop 성공률 (Stop Success Rate): 필요 시 완전히 정지할 수 있는 능력.
Roll-Through Rate: 정지를 완전히 수행하지 못하는 빈도 (안전 핵심).
정지 위치/지속 시간 오차: 공간적 및 시간적 편차.

주요 결과

Alpamayo 데이터셋(특히 메모리 의존 시나리오를 선별)과 Alpasim 시뮬레이터에서 평가되었습니다:

성능 향상: 유사한 토큰 예산(~1,424개 토큰) 하에서, COMPACT-VA는 68.3%의 Go 성공률을 달성하여, 1초 기준 베이스라인(63.8%)과 밀집된 5초 미압축 베이스라인(61.9%)을 모두 능가했습니다.
안전성 개선: Roll-Through Rate를 22% 감소(베이스라인 9.0% 대비 7.0%)시켰으며, Stop 성공률을 89.2%로 높였습니다.
절제 연구(Ablation) 통찰:
- 계획 정렬을 제거하면 Go SR이 65.6%로 떨어져, 압축과 의도를 결합하는 것의 필요성을 확인했습니다.
- 단순 압축(이력 조건화 없는 경우)은 63.5%를 기록하여, 궤적 조건부 압축의 가치를 보여주었습니다.
- 계층적 압축은 필수적입니다. 즉, 최근 프레임은 전체 해상도를 유지해야 합니다.
효율성: 압축되지 않은 5초 처리(6,400개 토큰)와 비교했을 때, COMPACT-VA는 일반적인 주행 역량을 유지하면서도 3.3배의 추론 속도 향상 및 2.7배의 메모리 감소(피크 GPU 메모리 10.51 GB 대비 3.95 GB)를 달와성했습니다.

의의 및 주장

본 논문은 **태스크 인지형 워킹 메모리(task-aware working memory)**가 다양한 자율 주행 시나리오에서의 추론을 위한 핵심임을 주장합니다. 규칙 기반 휴리스틱에서 계획 정렬형 압축으로 전환함으로써, 모델은 수동으로 작성된 유지 규칙 없이도 의사결정에 결정적인 과거 정보를 암묵적으로 발견하고 유지할 수 있습니다.

저자들은 이 연구를 단일 VA/VLA 정책을 위한 효과적인 메모리로 가는 단계로 규정하며, 제한된 컨텍스트 윈도우가 변분 목적 함수와 결합될 때 계산적 제약과 안전이 중요한 주행 의사결정을 위한 장기 추론 사이의 긴장을 해결할 수 있음을 입증했습니다. 또한, 일반적인 주행에 대한 이득은 완만할 수 있으나, 이 접근 방식은 과거 5~10초의 행동적 단서에 따라 이산적 결정(정지/출발)이 결정되는 고신호 시나리오에서 특히 효과적이라고 언급했습니다.