1. 문제 정의 (Problem Statement)

기존의 자율주행 시스템은 모듈형 (감지, 예측, 계획, 제어) 또는 엔드 - 투 - 엔드 방식의 전통적인 알고리즘에 의존하고 있습니다. 이러한 시스템은 다음과 같은 한계를 가집니다:

• 직관적 상호작용 부재: 사용자의 모호한 감정 표현 (예: "친구들이 기다리게 하고 싶지 않아") 이나 추상적인 명령을 이해하고 상황에 맞게 주행 스타일을 조정하는 능력이 부족합니다.
• 맥락 이해 및 추론의 한계: 복잡한 교통 상황, 사고 보고서, 지역 규정 등 다양한 맥락을 통합하여 안전하고 합리적인 의사결정을 내리는 데 한계가 있습니다.
• 개인화 부족: 개별 운전자의 선호도나 습관을 학습하여 맞춤형 주행 경험을 제공하는 능력이 제한적입니다.
• 실시간성 및 안전성 딜레마: 대규모 언어 모델 (LLM) 은 뛰어난 추론 능력을 가지지만, 높은 지연 시간 (Latency) 과 환각 (Hallucination) 현상으로 인해 실시간 안전 제어에 직접 적용하기 어렵습니다.

이 논문은 이러한 문제를 해결하기 위해 자율주행을 위한 대규모 언어 모델 (LLM4AD) 의 개념을 도입하고, 이를 위한 체계적인 프레임워크, 벤치마크, 실증 실험, 그리고 미래 방향성을 제시합니다.

2. 방법론 (Methodology)

A. LLM4AD 프레임워크 개념

저자들은 LLM 을 자율주행 시스템의 "두뇌"로 위치시키되, 직접적인 저수준 제어 (눈) 를 대신하지 않고 고수준 의사결정을 지원하는 역할을 제안합니다.

• 입력: 인간의 명령 ($I$), 피드백 ($F$), 시스템 메시지 ($S$), 상황 설명 ($C$), 그리고 사용자별 히스토리 메모리 ($H$).
• 처리: LLM 은 체인 - 오브 - 씽킹 (CoT) 프롬프팅을 통해 추론 ($R$) 을 수행하고, 실행 가능한 정책 코드 (LMP, $P$) 를 생성합니다.
• 출력: 생성된 정책은 실행기 (Executor) 를 통해 차량의 제어 모듈에 전달되며, 안전성을 위해 규칙 기반의 안전 체크 (Safety Check) 를 거칩니다.

B. 학습 및 파이프라인

• 학습 방법: 지도 미세조정 (SFT), 검색 증강 생성 (RAG), 프롬프트 엔지니어링, 강화학습 (RL) 등을 활용합니다. 특히 RAG 는 외부 지식 (교통 규칙, 과거 경험) 을 활용하여 정확도를 높입니다.
• 입출력: 텍스트, 이미지, LiDAR 점구름, 벡터 데이터 등 다양한 모달리티를 입력으로 받아 자연어 설명, 이산 행동, 코드 스니펫, 궤적 등을 출력합니다.

C. 벤치마크 제안 (Benchmarking)

LLM4AD 의 성능을 평가하기 위해 세 가지 주요 벤치마크를 제안했습니다:

1. LaMPilot-Bench (HighwayEnv): 고수준 명령 수행 능력을 평가. 4,900 개의 시나리오와 500 개의 테스트 세트를 포함하며, 충돌 회피, 경로 완성도 등을 측정합니다.
2. CARLA Leaderboard 1.0: 더 복잡하고 현실적인 환경에서 LLM 기반 에이전트의 명령 수행 및 주행 점수 (Driving Score) 를 평가합니다.
3. NuPlanQA: 다중 뷰 시각 질문 답변 (VQA) 벤치마크로, 교통 상황 인식, 공간 관계 이해, 차량 중심 추론 능력을 평가합니다.

D. 실차 실험 (Real-World Experiments)

두 가지 다른 아키텍처로 실차 실험을 수행했습니다:

1. Talk2Drive (클라우드 기반 LLM):
   • 음성 명령을 텍스트로 변환하여 클라우드 LLM (GPT-4 등) 에 전송합니다.
   • LLM 은 실시간 환경 데이터 (날씨, 교통) 와 사용자 히스토리를 바탕으로 주행 정책 (속도, 가속도 등) 을 조정하는 코드를 생성합니다.
   • 생성된 코드는 차량의 ECU 로 전송되어 Autoware 기반의 기존 제어기에 파라미터로 적용됩니다.
2. On-Board VLM (엣지 기반 비전 - 언어 모델):
   • 차량 내부에서 실행 가능한 경량화된 8B 파라미터 VLM (Qwen-VL 기반) 을 사용합니다.
   • 카메라 영상과 음성 명령을 실시간으로 처리하여 PID 및 MPC 제어기의 파라미터를 직접 조정합니다.
   • RAG 기반 메모리 모듈을 통해 사용자의 과거 선호도를 학습하고 개인화합니다.

E. 미래 트렌드: ViLaD (Vision-Language Diffusion)

• 기존 autoregressive(순차적) VLM 의 한계 (지연 시간, 양방향 추론 부재) 를 극복하기 위해 마스크드 디퓨전 (Masked Diffusion) 기반의 ViLaD 프레임워크를 제안합니다.
• 병렬 생성 (Parallel Generation) 을 통해 추론 속도를 획기적으로 개선하고, bidirectional reasoning 을 통해 더 정교한 경로 계획을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. LLM4AD 개념 정립: 자율주행 시스템에 LLM 을 통합하는 새로운 패러다임과 아키텍처를 체계적으로 정의했습니다.
2. 종합 벤치마크 구축: LaMPilot-Bench, CARLA Leaderboard 1.0, NuPlanQA 를 통해 명령 수행, 주행 제어, 시각적 추론 능력을 포괄적으로 평가할 수 있는 표준을 마련했습니다.
3. 실차 검증: 클라우드 기반 (Talk2Drive) 과 엣지 기반 (On-Board VLM) 두 가지 방식으로 실제 차량에서 개인화된 주행 제어의 실현 가능성을 입증했습니다.
4. ViLaD 프레임워크 제안: 자율주행에 특화된 비전 - 언어 디퓨전 모델을 제안하여 실시간성과 추론 능력을 동시에 개선하는 방향성을 제시했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:

  • LaMPilot-Bench: 인간 피드백을 활용한 LLM 은 규칙 기반 방법 (IDM, MOBIL) 보다 명령 수행률 (Completion Rate) 이 크게 향상되었습니다 (예: GPT-4 는 72.4% → 92.7%). 하지만 충돌률이 여전히 0.9% 수준으로, 안전성 보장이 여전히 과제로 남았습니다.
  • NuPlanQA: 제안한 BEV-LLM 은 오픈소스 모델들 중 9 개 하위 작업 중 6 개에서 최고 정확도 (평균 78.7%) 를 기록하며, 차량 중심 추론 능력의 우수성을 입증했습니다.
  • ViLaD: 엔드 - 투 - 엔드 계획 수립에서 기존 VLM 대비 L2 오차를 줄이고 (평균 1.85m), 실패율 (Failure Rate) 을 0% 에 가깝게 낮췄습니다. 또한, 추론 속도가 기존 autoregressive 모델보다 6.5~14 배 빠릅니다.

• 실차 실험 결과:

  • 개인화 및 안전성: Talk2Drive 및 On-Board VLM 시스템은 기존 시스템 대비 취약점 (Takeover Rate) 을 56%~100% 감소시켰습니다. 특히 메모리 모듈 (RAG) 을 사용할 경우 개인화 성능이 더욱 향상되었습니다.
  • 지연 시간: 클라우드 기반 시스템은 약 1.21.8 초의 지연이 발생하여 고수준 의사결정에는 적합하나, 긴급 제동과 같은 저수준 제어에는 부적합함이 확인되었습니다. 반면, 엣지 기반 VLM 은 0.180.32 초의 낮은 지연 시간을 보여 실시간 제어 가능성이 입증되었습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 LLM 이 자율주행의 개인화, 맥락 이해, 인간 - AI 협업 분야에서 혁신적인 잠재력을 가지고 있음을 입증했습니다. 특히, LLM 을 직접적인 안전 제어기 대신 고수준의 정책 조정자로 활용하고, RAG 나 디퓨전 모델과 같은 기술을 결합하여 안전성과 실시간성을 확보하는 아키텍처를 제안한 점이 핵심입니다.

남은 과제:

• 지연 시간 (Latency): 안전 임계 상황에서의 실시간 대응을 위한 지연 시간 단축.
• 안전성 (Safety): LLM 의 환각 현상을 방지하고, 생성된 정책이 물리적 안전 범위를 벗어나지 않도록 하는 강력한 검증 메커니즘 필요.
• 보안 및 프라이버시: 자연어 명령에 대한 적대적 공격 (Adversarial Attacks) 방어 및 개인 데이터 보호 정책 수립.
• 신뢰성 (Trust): LLM 의 추론 과정과 실제 차량 행동 간의 불일치를 방지하고 사용자에게 투명한 설명을 제공하는 기술 개발.

결론적으로, LLM4AD 는 자율주행 시스템을 단순한 자동화 도구에서 사용자의 의도를 이해하고 적응하는 인간 중심의 지능형 파트너로 진화시키는 중요한 이정표가 될 것입니다.