1. 연구 배경 및 문제 정의 (Problem)

자율주행 분야에서 운동 계획 (Motion Planning) 은 안전성, 편안함, 주행 효율성을 보장하기 위해 필수적입니다. 그러나 기존 접근 방식들은 다음과 같은 한계를 가지고 있습니다.

• 규칙 기반 (Rule-based) 방법: PDM-Closed 와 같은 방법은 일반적인 시나리오에서는 우수한 성능을 보이지만, 예측 불가능하고 드문 롱테일 (Long-tail) 시나리오에 대한 적응력이 부족하여 유연성이 떨어집니다.
• 데이터 기반 (Data-driven) 방법: 학습 기반 모델은 일반화 능력을 갖췄지만, 배포 후에는 정적 (Static) 으로 고정되어 새로운 상황을 학습하려면 비용이 많이 드는 재학습 (Retraining) 이 필요합니다. 또한, 희귀 사례에 대한 과적합 (Overfitting) 과 낮은 강건성 (Robustness) 문제가 있습니다.
• 지식 기반 (Knowledge-driven/LLM) 방법: 최근 대언어모델 (LLM) 을 활용한 방법들은 추론 능력이 뛰어나지만, 장면 표현 (Scene Representation) 이 미흡하거나, LLM 이 직접 궤적을 생성할 때 환각 (Hallucination) 이 발생하며, 실제 환경에서의 평가가 부족하다는 문제가 있습니다.

핵심 문제: 기존 시스템들은 다양한 롱테일 시나리오에 적응하기 위해 고정된 전략을 사용하거나, 재학습이 필요하여 실시간 적응이 어렵습니다. 따라서 재학습 없이도 새로운 경험을 통해 지속적으로 학습하고 적응할 수 있는 '생애 학습 (Lifelong Learning)' 능력이 필요합니다.

2. 제안 방법론: LiloDriver (Methodology)

저자들은 LiloDriver 를 제안하며, 이는 LLM 기반 추론과 동적 지식 증강 (Memory Augmentation) 을 통합한 4 단계 아키텍처를 가집니다. 이 시스템은 추론 시간 (Inference time) 에 전략을 동적으로 조정하며 재학습 없이 롱테일 시나리오에 적응합니다.

주요 구성 요소:

1. 환경 및 인식 모듈 (Environment and Perception Module):

   • 벡터화된 지도 (도로, 횡단보도, 경로 차선) 와 에이전트 (차량, 보행자 등) 의 과거 궤적 데이터를 입력받습니다.
   • 정적 지도 요소와 동적 에이전트 히스토리를 결합하여 장면의 맥락을 구축합니다.

2. 장면 인코더 (Scene Encoder):

   • 다중 모달 입력 (지도, 에이전트 히스토리) 을 잠재 공간 (Latent Space) 의 임베딩으로 변환합니다.
   • LSTM(에이전트), MLP(지도), Transformer(공간 관계) 를 결합하여 하이브리드 손실 함수 (Prototype Loss + Softmax Loss) 를 통해 장면 표현을 학습합니다. 이는 유사한 시나리오를 클러스터링하고 일반화 능력을 높입니다.

3. 메모리 및 플래너 생성 모듈 (Memory and Planner Generation):

   • 메모리: 학습된 장면 임베딩을 저장하며, DBSCAN 기반의 클러스터링을 통해 유사한 롱테일 시나리오를 그룹화합니다.
   • 플래너 생성: 각 클러스터에 대해 그리드 서치 (Grid Search) 를 수행하여 해당 시나리오에 최적화된 행동 플래너 (Behavior Planner) 파라미터를 자동으로 탐색하고 저장합니다. 이는 새로운 시나리오가 발생할 때 과거 경험을 기반으로 최적의 전략을 선택할 수 있게 합니다.

4. 추론 및 실행 모듈 (Reasoning and Execution Module):

   • LLM 추론: 현재 장면의 텍스트 설명과 메모리에서 검색된 퓨샷 (Few-shot) 예시를 LLM 에 입력합니다. LLM 은 체인 오브 씽킹 (Chain-of-Thought) 방식을 통해 상황을 분석하고, 적절한 행동 플래너를 선택하거나 전략을 조정합니다.
   • 실행: LLM 이 고수준의 의사결정을 내리면, 규칙 기반의 행동 플래너 (PDM-Closed 기반) 가 이를 구체적인 궤적 명령으로 변환하여 차량을 제어합니다. LLM 은 낮은 빈도 (15 초 단위) 로 실행되고, 플래너는 높은 빈도 (10Hz) 로 실행되어 실시간 제어를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 롱테일 자율주행 생애 학습 패러다임: 인간의 점진적 기술 습득 방식을 모방하여, 재학습 없이 롱테일 시나리오에 지속적으로 적응하는 운동 계획 프레임워크를 처음 제안했습니다.
2. LiloDriver 프레임워크 개발: 메모리 기반 경험 축적, LLM 을 통한 추론 시간 의사결정, 시나리오별 플래너 생성을 결합한 새로운 아키텍처를 제시했습니다.
3. 실제 환경에서의 검증: 재학습 없이도 롱테일 시나리오에 대한 지속적인 적응과 일반화를 달성함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

연구팀은 대규모 폐루프 벤치마크인 nuPlan을 사용하여 LiloDriver 를 평가했습니다.

• 벤치마크 성능 (Table I):
  • Val14-split (일반 시나리오): 93.33 점으로 기존 규칙 기반 및 데이터 기반 모델과 경쟁력 있는 성능을 보였습니다.
  • Test14-hard (롱테일 시나리오): 73.10 점으로 기존 최첨단 모델 (PlanTF: 72.68, PDM-Closed: 65.07) 을 능가했습니다. 특히 재학습 없이 롱테일 시나리오에서 성능이 지속적으로 향상되었습니다.
• 생애 학습 능력 (Table II):
  • 보행자 대기, 다중 차량 근접, 차선 변경, 픽업/하차 구역 통과 등 4 가지 희귀 시나리오를 순차적으로 학습시켰을 때, 해당 시나리오별 점수가 크게 향상되었습니다.
  • 재앙적 망각 (Catastrophic Forgetting) 부재: 새로운 롱테일 기술을 습득하는 동안 일반 시나리오의 성능은 안정적으로 유지되었습니다.
• 안전성 분석 (Table III):
  • 충돌률 (Collision Rate) 이 12.45% 에서 4.12% 로 크게 감소했고, 충돌까지의 시간 (TTC) 점수도 향상되어 안전성 측면에서 큰 개선을 보였습니다.
• 효율성:
  • LLM 추론 지연 (0.4 초) 과 메모리 검색 (0.1 초) 이 실시간 제어 (10Hz) 와 분리되어 있어 시스템이 실시간으로 작동 가능함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: LiloDriver 는 재학습 비용 없이 자율주행 차량이 새로운 도로 환경과 예외적인 상황 (Edge Cases) 에 적응할 수 있는 길을 열었습니다. 이는 실제 도로에서의 배포 가능성을 높이는 중요한 진전입니다.
• 기술적 혁신: 구조화된 메모리 (Structured Memory) 와 LLM 추론의 시너지를 통해, 단순한 데이터 학습을 넘어 인간의 학습 방식과 유사한 '지식 기반 적응'을 가능하게 했습니다.
• 향후 전망: 이 연구는 자율주행 시스템의 강건성 (Robustness) 과 해석 가능성 (Interpretability) 을 동시에 확보하는 방향을 제시하며, 향후 더 복잡한 다중 모달 메모리 및 제어 정책 최적화로 이어질 수 있는 기반을 마련했습니다.

결론적으로, LiloDriver 는 롱테일 시나리오에서의 자율주행 한계를 극복하기 위한 지속적이고 적응적인 운동 계획을 위한 강력한 프레임워크로 평가됩니다.