기술 요약: ASSCG – 자율주행을 위한 Fast–Slow LLM 플래닝의 적정 게이팅(Just-Right Gating)

1. 문제 정의

대규모 언어 모델(LLM)과 시각-언어 모델(VLM)은 상식적 추론과 문맥 인지 가이드를 제공함으로써 자율주행 플래닝 분야에서 상당한 잠재력을 제공합니다. 그러나 높은 추론 지연 시간과 계산 비용으로 인해 실시간 시스템에서의 프레임당 배포는 불가능합니다. 현재의 해결책은 경량화된 실시간 "fast" 플래너가 매 프레임 작동하고, 무거운 "slow" LLM 모듈이 더 낮은 빈도로 고수준 가이드를 제공하는 fast–slow (dual-system) 패러다임입니다.

slow 모듈을 트리거하기 위한 기존의 조정 전략은 두 가지 주요 한계점을 가집니다:

1. 고정 간격 트리거링 (Fixed-interval triggering): 일정한 비율(예: 매 $K$ 프레임마다)로 slow 시스템에 쿼리를 보냅니다. 이는 시간적 가변성을 무시하여, 단순한 시나리오에서는 중복된 쿼리를 발생시켜(계산 자원 낭비) 비효움을 초래하고, 복잡한 시나리오에서는 기회를 놓치는 결과를 낳습니다.
2. 휴리스틱 난이도 기반 트리거링 (Heuristic difficulty-based triggering): "장면 복잡도"나 불확실성 추정치와 같은 대리 지표(proxies)에 의존합니다. 이러한 대리 지표는 slow 모듈을 호출하는 실제 한계 효용(marginal utility)과 일치하지 않는 경우가 많아, 불필요한 진동이나 타이밍이 맞지 않는 쿼리를 유발합니다.

결정적으로, 본 논문은 slow 추론이 더 빈번하다고 해서 항상 유익한 것은 아니라는 점을 관찰했습니다. 특정 구간(Failure Intervals)에서는 slow 시스템을 호출하는 것이 환각(hallucination)이나 오해로 인해 오히려 성능을 저하시킬 수 있습니다. 핵심 과제는 계산 예산(compute budget) 하에서 폐쇄 루프(closed-loop) 성능을 극대화하기 위해 언제 쿼리할지, 언제 캐시된 가이드를 재사용할지, 그리고 언제 slow 모듈을 완전히 억제할지를 결정하는 제어 정책을 정립하는 것입니다.

2. 방법론: 적응형 Slow-System 제어 게이트 (ASSCG)

저자들은 fast 플래너와 slow LLM 모듈 사이의 상호작용을 프레임 단위로 관리하는 아키텍처 불가지론적(architecture-agnostic) 제어 인터페이스인 ASSCG를 제안합니다.

2.1 개념적 프레임워크

저자들은 slow 가이드의 가치를 특성화하기 위해 세 가지 운영 구간을 정의합니다:

• 동등 구간 (Equivalent Interval, EI): slow 시스템을 재쿼리해도 증분 정보(incremental information)가 미미한 구간입니다. 시스템은 기존 가이드를 캐시(Cache)(재사용)해야 합니다.
• 유효 구간 (Effective Interval, EfI): 현재 캐시된 가이드가 유효하고 유용한 지속 시간입니다.
• 실패 구간 (Failure Interval, FI): slow 시스템을 호출하는 것이 호출하지 않았을 때보다 다운스트림 성능을 저하시키는 구간입니다. 시스템은 가이드를 드롭(Drop)(억제)해야 합니다.

2.2 시스템 아키텍처

ASSCG는 분리된 fast–slow 아키텍처(예: AsyncDriver) 내에서 작동합니다:

• Fast System: 매 프레임 실행되는 실시간 플래너(예: GameFormer 기반).
• Slow System: 온 디맨드(on demand)로 호출되는 LLM 기반 플래너(예: LLaMA2-13B).
• Buffer: slow 가이드의 압축된 표현(잠재 특징, 웨이포인트 또는 로짓)을 저장합니다.
• ASSCG Controller: 각 프레임에 대해 이산적 행동 $a_t \in \{0, 1, 2\}$를 출력하는 경량 네트워크입니다:
  • Query (0): slow 시스템을 호출하여 버퍼를 갱신하고 새로운 가이드를 융합합니다.
  • Cache (1): slow 시스템을 호출하지 않고 버퍼링된 가이드를 재사용합니다.
  • Drop (2): stale하거나 해로운 가이드가 fast 플래너에 영향을 미치는 것을 방지하기 위해 버퍼를 무시합니다(null 벡터로 대체).

2.3 모델 설계

• Backbone: ASSCG는 RWKV-7 백본을 활용합니다. 이 선택은 긴 호라이즌의 시간적 모델링을 효율적으로 수행하면서도, 트랜스포머의 이차 복잡도(quadratic cost)를 피하고 상태 캐싱 후 상수 메모리(constant memory)를 유지하는 선형 시간 복잡도를 갖추기 위함입니다.
• 입력값: 게이트는 다음을 수신합니다:
  • 현재 장면 임베딩 (Vector Map Encoder로부터 추출).
  • 참조 메모리 (마지막 slow-guidance 임베딩).
  • 현재 장면과 참조 간의 코사인 유사도.
  • 시간 특징 ($\Delta t$, 마지막 slow 쿼리 이후 경과 시간).
• 훈련 파이프라인:
  1. 지도 미세 조정 (SFT): 고정된 쿼리 스케줄의 그리드 서치로부터 도출된 의사 라벨(pseudo-labels)을 사용하여 게이트를 초기화합니다. 각 장면에 대해, 가장 높은 폐쇄 루프 점수를 생성하는 스케줄을 선택하고, 해당 프레임 단위의 Query/Cache/Drop 시퀀스를 라벨로 사용합니다.
  2. 계산 인지 강화 학습 미세 조정 (RL): 게이트를 GRPO 스타일(Group Relative Policy Optimization) 알고리즘을 사용하여 추가 최적화합니다. 보상 함수는 공식 폐쇄 루프 점수를 최대화하는 동시에 쿼리 비용을 페널티로 부여하도록 설계되었습니다.
     • 보상 형성 (Reward Shaping): 안전 및 쾌적성 지표(TTC, 쾌적함, 속도 제한 준수)에 기반한 조밀한 중간 피드백을 제공하기 위해 포텐셜 기반 형성(potential-based shaping)을 사용합니다.
     • 쿼리 비용: 효율성을 장려하기 위해 "Query" 행동에 페널티 항($\lambda_{call}$)을 적용합니다.
     • 목적: 정책이 플래닝 품질과 slow-모듈 호출 빈도 사이의 트레이드오프를 최적화하도록 훈련됩니다.

3. 주요 기여

1. Fast–Slow 협업 분석: 저자들은 Equivalent, Effective, Failure Interval 개념을 도입하여, 고정된 스케줄과 휴리스틱 트리거가 서브옵티멀(suboptimal)한 이유가 단일 에피소드 내에서도 slow 추론의 효용이 동적으로 변하기 때문임을 실증적으로 보여줍니다.
2. ASSCG 아키텍처: 아키텍처 불가지론적이며, 해로운 slow 가이드를 의도적으로 억제할 수 있는 프레임 단위의 이산 게이팅 메커니즘(Query/Cache/Drop)을 제공합니다.
3. 훈련 전략: 명시적인 쿼리 비용 제약 조건 하에서 직접적으로 폐쇄 루프 지표를 최적화하기 위해 SFT와 계산 인지 RL 미세 조정(GRPO)을 결합한 새로운 2단계 훈련 프로토콜을 제시합니다.
4. 실험적 검증: 두 가지 서로 다른 fast–slow 구현체와 벤치마크에서 평가를 수행하여 개선된 성능-효율 트레이드오프를 입증했습니다.

4. 실험 결과

4.1 nuPlan Hard20 (AsyncDriver 기반)

• 설정: AsyncDriver 아키텍처를 사용하여 nuPlan closed-loop Hard20 스플릿에서 평가되었습니다.
• 성능: ASSCG를 통합하여 전체 점수를 67.28로 향상시켰습니다(AsyncDriver 베이스라인 대비 +2.28 증가).
• 효율성: 평균 엔드 투 엔드 추론 지연 시간이 always-query 베이스라인 대비 약 60% 감소했습니다. 평균 유효 쿼리 간격은 5.26 프레임(약 19%의 프레임 쿼리)이었으며, 이는 고정 5-프레임 스트라이드 스케줄의 지연 시간과 일치하면서도 훨씬 높은 점수를 달-성했습니다.
• 지표 세부 사항: TTC(충돌 시간), 충돌 회피와 같은 안전 관련 지표와 주행 가능 영역, 주행 방향과 같은 규칙 준수 지표에서 개선이 관찰되었으며, 이는 ASSCG가 더 안정적이고 안전한 주행 동작을 가능하게 함을 시사합니다.

4.2 NAVSIM (RecogDrive 기반)

• 설정: 경량 ViT 기반 fast 플래너와 VLM 기반 slow 플래너(InternVL-2B)가 경쟁하는 NAVSIM 벤치마크에서 평가되었습니다.
• 성능: ASSCG가 적용된 시스템은 91.4의 PDMS를 달성했습니다(원래의 ReCogDrive 대비 +0.6 증가).
• 효율성: 평균 wall-clock 추론 지연 시간이 장면당 약 350ms에서 약 270ms로 감소했습니다.
• 관찰: 시스템은 약 40%의 장면에 대해서만 slow 브랜치를 성공적으로 선택하였으며, 이는 게이팅 메커니즘이 fast 플래너만으로 충분한 시점을 효과적으로 식별함을 보여줍니다.

4.3 절제 연구 (Ablation Studies)

• 훈련 전략: GRPO를 PPO로 교체했을 때 더 낮은 점수(66.76 vs 67.28)와 불안정성이 나타났으며, 이는 사용된 특정 RL 공식의 이점을 강조합니다.
• Backbone: 유사한 파라미터 수의 Transformer로 교체했을 때 유사한 정확도를 보였으나 지연 시간이 현저히 높았습니다(긴 에피소드의 마지막 프레임 기준 0.06s vs 0.02s). 이는 실시간 애플리케이션을 위한 RWKV 선택의 타당성을 입증합니다.
• Drop 행동: "Drop" 행동을 제거하면 점수가 67.28에서 66.71로 감소하며, 단순히 쿼리 빈도를 줄이는 것뿐만 아니라 해로운 slow 가이드를 억제하는 능력이 매우 중요하다는 것을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 ASSCG가 플래닝 품질과 자원 비용 사이의 균형을 맞추는 "적정(just-right)" 게이팅 메커니즘을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 정적 트리거를 넘어섬: 적응형 프레임 단위 결정이 고정된 스케줄이나 휴리스틱 복잡도 추정보다 우수함을 입증했습니다.
• Failure Interval 처리: 시스템이 slow 모듈이 해로울 가능성이 있을 때 이를 무시하는 법을 배울 수 있음을 증명했으며, 이는 "always-query" 또는 "복잡도 트리거" 방식에는 없는 능력입니다.
• 일반화 가능성: 게이팅 원칙이 서로 다른 기본 플래너 아키텍처(AsyncDriver 및 RecogDrive)와 평가 프로토콜(nuPlan closed-loop 및 NAVSIM one-shot) 모두에서 작동함을 보여줍니다.

저자들은 본 연구가 기존 시스템이 주어진 상황에서 slow 브랜치를 언제 사용할 것인가를 평가하는 것이지, 모든 시나리오에 LLM 추론이 필수적임을 증명하는 것은 아니라고 겸허히 밝힙니다. 이들은 더 어려운 엔드 투 엔드 롱테일(long-tail) 벤치마크가 자연스러운 다음 단계임을 언급했습니다.