Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning

1. 문제 정의 (Problem)

자율 주행 시스템에 대규모 기초 모델 (Foundation Models, 예: LLM, VLM) 을 도입할 때 발생하는 핵심적인 문제는 고수준의 의미적 의도 (Semantic Intent) 를 신뢰할 수 있는 실시간 제어 (Real-time Control) 로 변환하는 것의 어려움입니다. 기존 접근 방식은 다음과 같은 한계가 있었습니다:

• LLM 직접 경로 생성: LLM 이 직접 궤적을 생성하는 방식은 유연하지만, 예측 불가능하고 (brittle), 검증이 어려우며, 엄격한 타이밍 제약 내에서 실행하기엔 지연 (latency) 이 큽니다.
• MPC 목적 함수 온라인 조정: 언어를 통해 모델 예측 제어 (MPC) 의 목적 함수를 조정하는 방식은 느린 추론과 빠른 제어가 혼재되어 인터페이스가 모호해지고, 실시간 성능과 안전성 보장이 어렵습니다.

현재의 전략들은 지각 (Perception), 추론 (Reasoning), 계획 (Planning), 제어 (Control) 의 역할과 시간 척도 (timescale) 를 명확히 구분하지 못해 상호 보완적 강점을 활용하지 못하고 있습니다.

2. 제안 방법론: 에이전트 기반 Fast-Slow 계획 (Agentic Fast-Slow Planning, AFSP)

저자들은 **이중 프로세스 인지 (Dual-process Cognition)**에서 영감을 받아, 느린 추론, 중간 수준의 계획, 빠른 폐루프 제어를 분리하는 계층적 프레임워크인 AFSP를 제안합니다. 이 프레임워크는 두 가지 주요 "다리 (Bridge)" 모듈로 구성됩니다.

A. Perception2Decision (지각에서 의사결정으로)

• 목표: 엣지 (차량) 와 클라우드 간의 대역폭과 지연을 줄이면서 해석 가능한 지시 사항을 생성합니다.
• 구현:
  1. 차량 내 (Edge): 경량의 VLM(Vision-Language Model) 기반 Topology Detector가 원시 이미지를 ego-centric 토폴로지 그래프 (객체의 위치, 방향, 클래스 등) 로 압축합니다.
  2. 클라우드 (Cloud): 압축된 그래프를 기반으로 LLM 기반 Decision Maker가 체인 오브 씽킹 (Chain-of-Thought) 을 통해 상징적인 주행 지시 (예: LEFT, KEEP, RIGHT) 와 주행 스타일을 생성합니다.
• 효과: 원시 이미지 전송을 피하여 대역폭을 절감하고, 차량 내 저지연 지각과 클라우드의 고수준 추론을 분리합니다.

B. Decision2Trajectory (의사결정에서 궤적으로)

• 목표: LLM 의 상징적 지시를 실행 가능한 궤적으로 변환하고, 하이퍼파라미터 민감도를 해결합니다.
• 구현:
  1. Semantic-Guided A*: 고전적인 A* 검색 알고리즘에 언어 기반의 **소프트 비용 (Soft Costs)**을 추가합니다. LLM 의 지시를 하드 제약이 아닌 비용 함수에 반영하여, 의도와 일치하는 경로를 유도하되 지형적/안전적 제약과 충돌 시 복구가 가능하도록 합니다.
  2. Agentic Refinement Module: 계획자의 하이퍼파라미터를 수동으로 튜닝하는 대신, 에이전트 (LLM) 가 과거 경험 (메모리) 과 피드백을 기반으로 파라미터를 자동으로 조정합니다. 이는 시나리오 변화에 따른 적응성을 높입니다.
• 최종 제어: 생성된 참조 궤적은 Cloud-Guided MPC에 의해 실시간으로 추종됩니다. 난이도가 높은 경우에만 클라우드의 전역 참조를 활용합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 프레임워크 (AFSP): 지각, 추론, 계획, 제어를 각자의 적절한 시간 척도에서 분리하면서도 명확한 인터페이스로 연결하는 새로운 아키텍처를 제시했습니다.
2. Perception2Decision 모듈: 엣지 - 클라우드 제약 하에서 지각을 상징적 의사결정으로 효율적으로 연결하는 모듈을 설계했습니다.
3. Decision2Trajectory 모듈: 의미적 가이드와 에이전트 기반 자기 조정 (Self-refinement) 을 결합하여, 고전적 검색의 검증 가능성과 학습 기반 방법의 적응성을 동시에 확보했습니다.
4. 실증적 성과: CARLA 시뮬레이션을 통해 기존 방법 대비 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

CARLA 시뮬레이터에서 3 가지 시나리오 (정상 맵, 이동된 맵, 장애물 반경 확대 등) 를 통해 MPC, A*-MPC, 그리고 제안된 AFSP를 비교 평가했습니다.

• 성능 지표:
  • 최종 완료 시간 (Finish Time): 기존 MPC 대비 약 12%, A*-MPC 대비 약 11% 단축.
  • 최대 횡방향 편차 (Maximum Lateral Deviation): 기존 MPC 대비 약 45% 감소, A*-MPC 대비 약 35% 감소.
  • 평균 횡방향 편차 및 속도 변동성: 모든 시나리오에서 AFSP 가 가장 낮은 수치를 기록하여 주행의 안정성과 효율성을 입증했습니다.
• 강건성 (Robustness): 맵의 이동 (Shift) 이나 장애물 크기 변화와 같은 교란 (Perturbation) 하에서도 AFSP 는 LLM 의 의미적 지시를 유지하며 안전한 경로를 생성하는 반면, 기존 A*나 MPC 는 경로 이탈이나 진동 (Oscillation) 을 보였습니다.
• 지연 시간: VLM 과 LLM 의 비교 실험에서, LLM 이 토폴로지 그래프를 기반으로 할 때 원시 이미지 처리보다 훨씬 낮은 지연 시간 (약 4.13 초 vs 10.24 초) 으로 유사한 의사결정 품질을 달성함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 대규모 언어 모델의 강력한 추론 능력을 자율 주행의 실시간 제어 시스템에 통합하는 데 있어 중요한 진전을 이루었습니다.

• 해석 가능성 (Interpretability): 블랙박스 방식의 학습 기반 접근과 달리, 상징적 지시와 비용 함수를 통해 의사결정 과정을 해석 가능하게 만들었습니다.
• 실시간성 보장: 느린 추론을 실시간 제어 루프 밖으로 분리하여, 시스템의 안전성과 실시간 응답성을 동시에 확보했습니다.
• 자동화된 적응: 에이전트 기반의 파라미터 조정 모듈을 통해 인간 전문가의 개입 없이도 다양한 시나리오에 적응할 수 있는 능력을 보여주었습니다.

결론적으로, AFSP 는 "느린 생각 (Slow Thinking)"과 "빠른 행동 (Fast Acting)"을 계층적으로 결합함으로써, 추론과 제어 간의 간극을 메우고 더 안전하고 효율적인 자율 주행 시스템을 구축할 수 있는 새로운 패러다임을 제시합니다.