ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

1. 문제 정의 (Problem)

자율주행 시스템에 비전 - 언어 - 행동 (VLA) 모델을 통합하면 복잡한 장면을 해석하고 제어 명령을 실행하는 데 유리하지만, 다음과 같은 심각한 계산적 병목 현상이 존재합니다.

• 시간적 맥락의 필요성: 정확한 궤적 예측을 위해서는 과거의 다중 프레임 (n 프레임) 과 다중 뷰 (여러 카메라) 데이터를 처리해야 합니다.
• 계산 복잡도 폭증: 대형 언어 모델 (LLM) 의 자기 주의 (Self-Attention) 메커니즘은 시퀀스 길이에 대해 2 차 (O(L²)) 복잡도를 가집니다. 프레임 수와 뷰 수가 증가하면 토큰 수가 기하급수적으로 늘어나, 차량 탑재 하드웨어에서 실행이 불가능할 정도로 연산 부하 (FLOPs) 가 커집니다.
• 기존 방법의 한계: 기존 토큰 가지치기 (Pruning) 방법들은 텍스트 의미론을 고려하지 않거나, LLM 내부가 아닌 비전 인코더 단계에서만 작동하여, 자율주행에 필수적인 다중 뷰 및 시간적 의존성을 효과적으로 모델링하지 못합니다.

2. 제안 방법 (Methodology)

저자들은 ETA-VLA를 제안하여 시간적 차원과 공간적 차원 모두에서 효율성을 개선합니다. 주요 구성 요소는 다음과 같습니다.

가. 시간적 융합 모듈 (Temporal Fusion Module, TFM)

• 목적: LLM 입력 전 시계열 데이터의 중복성을 줄입니다.
• 작동 원리:
  1. 학습 가능한 시간 임베딩 (Time Embedding) 을 시각 특징에 주입하여 시간 정보를 인코딩합니다.
  2. Transformer 기반의 융합 인코더를 통해 시간적 의존성을 포착합니다.
  3. 고정된 가중치 대신 **학습 가능한 시간 가중치 (Learnable Time Weights)**를 사용하여 과거 프레임들을 적응적으로 집계 (Aggregation) 합니다.
  4. 이를 통해 다중 프레임의 정보를 압축된 하나의 시각 특징 맵으로 변환하여 LLM 에 전달합니다.

나. LLM 내부 희소 집계기 (Intra-LLM Sparse Aggregator, ILSA)

• 목적: LLM 내부에서 텍스트 지시에 따라 불필요한 비전 토큰을 동적으로 제거합니다.
• 핵심 기술:
  1. 동적 텍스트 앵커 선택 (Dynamic Text Anchor Selection): 모든 텍스트 토큰이 아닌, 시각 토큰과 높은 의미적 유사성을 가진 핵심 텍스트 토큰 (Anchor) 만을 선별하여 시각 토큰의 중요도를 평가합니다.
  2. RoPE-free 의미 점수화 (RoPE-free Semantic Scoring): 회전 위치 임베딩 (RoPE) 에 의한 거리 편향을 제거하기 위해, 원시 Query 와 Key 를 사용하여 양방향 (Bidirectional) 의미 관련성 점수를 계산합니다. 이는 텍스트 지시와 시각 토큰 간의 순수한 의미적 연결을 강조합니다.
  3. 다양성 보존 재활용 전략 (Diversity-Preserving Recycling):
     • 1 단계 (전역 가지치기): 텍스트 지시에 가장 관련 높은 토큰을 Top-K 방식으로 선택합니다.
     • 2 단계 (재활용): 선택되지 않은 토큰 중에서도 각 뷰 (View) 내에서 특징의 다양성 (Feature Distinctiveness) 이 높은 토큰을 선별하여 다시 포함시킵니다. 이는 사각지대 (Blind spots) 나 중요한 공간적 정보를 놓치지 않도록 인간 운전자의 주의 분배를 모방합니다.
  4. 하이브리드 실행 전략: 주의 점수 계산을 위해 특정 레이어에서만 Eager Attention 을 사용하고, 나머지 레이어에서는 최적화된 FlashAttention 을 사용하여 오버헤드를 최소화합니다.

다. 행동 디코딩 및 학습

• 희소화된 토큰 시퀀스를 기반으로 Transformer 디코더를 통해 연속적인 궤적을 예측합니다.
• 안전성, 효율성, 편안함을 평가하는 EPDMS (Extended Predictive Driver Model Score) 기반의 스코어 모듈을 통해 궤적을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 시간적 융합: LLM 입력 전 다중 프레임 정보를 압축하여 시퀀스 길이의 선형 증가를 억제합니다.
2. LLM 내부의 의미 기반 희소화: 텍스트 지시에 기반한 동적 토큰 선택과 RoPE 편향을 제거한 점수화 메커니즘을 통해, 기존 방법보다 정확한 의미적 관련성을 확보합니다.
3. 안전성을 고려한 다양성 보존: 단순히 관련성 높은 토큰만 남기는 것이 아니라, 각 뷰의 특징 다양성을 유지하는 '재활용' 전략을 도입하여 자율주행의 안전성을 보장합니다.
4. 인간 주의 분배 모방: TFM 과 ILSA 를 통해 인간 운전자가 과거를 요약하고 현재 상황에 집중하는 인지 과정을 모델링합니다.

4. 실험 결과 (Results)

NAVSIM v2 벤치마크에서 수행된 실험 결과는 다음과 같습니다.

• 성능 (Navtest): ETA-VLA 는 EPDMS 85.0을 기록하여 기존 최첨단 (SOTA) 방법들 (DiffusionDrive: 84.3, GTRS w/ SimScale: 84.6) 을 능가했습니다. 이는 인간 전문가 (90.3) 와 매우 근접한 수준입니다.
• 강건성 (Navhard): 난이도가 높은 Navhard 벤치마크에서도 EPDMS 48.0을 기록하여 기존 방법들 (DiffusionDrive: 26.0) 보다 압도적으로 우수한 성능을 보였습니다.
• 효율성:
  • 계산량 감소: 전체 FLOPs 를 약 32% 감소시켰습니다.
  • 토큰 가지치기: 시각 토큰의 **85%**를 제거하면서도 원래 정확도의 **94%**를 유지했습니다.
  • 추론 FLOPs: 61% 감소 효과를 달성했습니다.
• Ablation Study:
  • TFM 을 제거할 경우 성능이 크게 저하됨 (EPDMS 77.2) 을 확인하여 시간적 융합의 중요성을 입증했습니다.
  • 무작위 가지치기나 기존 방법 (HoloV, SparseVLM) 보다 제안된 ILSA 전략이 월등히 우수한 성능을 보였습니다.
  • 레이어 4 에서 35% 가지치기를 적용했을 때 효율과 성능의 최적 균형을 이루었습니다.

5. 의의 (Significance)

이 연구는 자율주행용 VLA 모델이 가진 "고성능 vs. 고계산 비용"이라는 딜레마를 해결하는 중요한 돌파구를 제시합니다.

• 실용성: 차량 탑재형 하드웨어 (Resource-constrained hardware) 에서 고해상도 다중 뷰 및 다중 프레임 데이터를 실시간으로 처리할 수 있는 가능성을 열었습니다.
• 인지 모방: 단순한 데이터 압축을 넘어, 인간 운전자의 '주의 분배 (Attention Allocation)' 메커니즘을 모방함으로써 안전성과 효율성을 동시에 확보하는 새로운 패러다임을 제시했습니다.
• 확장성: 제안된 TFM 과 ILSA 모듈은 다양한 VLA 아키텍처에 적용 가능한 일반적인 솔루션으로, 향후 자율주행 시스템의 고도화에 기여할 것으로 기대됩니다.