기술 요약: 자율주행을 위한 추론-상상-행동 (RIA)

1. 문제 제기

본 논문은 자율주행에 대형 언어 모델 (LLM) 을 적용할 때 발생하는 중요한 간극, 즉물리적 기반 (physical grounding) 의 부재를 다룹니다. LLM 은 의미론적 추론, 교통 규칙 해석, 그리고 긴 꼬리 (long-tail) 시나리오 처리에 탁월한 능력을 보이지만, 종종 "수조 속의 뇌 (brain in a vat)"처럼 작동합니다. 이들은 논리적으로 일관된 고수준 명령 (예: "긴급 회피 실행") 을 생성할 수는 있지만, 연속된 물리적 공간에서 이러한 명령이 차량의 동적 제약 조건을 정밀하게 반영하거나 그 명령의 수치적 결과를 예측하는 데는 실패합니다.

이러한 분리는 생성된 의도가 운동학적으로나 동역학적으로 실행 불가능한**물리적 환각 (physical hallucinations)**을 초래하여 심각한 안전 위험을 야기합니다. 기존 접근법들은 명시적인 동역학 검증 없이 온라인 언어 추론에 의존하거나, 주로 오프라인 파이프라인에서 월드 모델 (World Models, WMs) 을 사용합니다. 결과적으로 "규칙 인지" 의미론적 논리와 "동역학 인지" 물리적 실행 사이에는 단절이 존재합니다.

2. 방법론: 추론 - 상상 - 행동 (RIA)

저자들은 온라인 안전 검증을 위해 LLM 추론기와 행동 조건부 월드 모델 (WM) 을 긴밀하게 결합한 폐루프 (closed-loop) 프레임워크인**추론 - 상상 - 행동 (Reason–Imagine–Act, RIA)**을 제안합니다. 이 시스템은 추론 중 파라미터 업데이트 (파인튜닝 없음) 없이 작동합니다.

핵심 루프 구성 요소

1. 추론 (Reason, LLM):

   • LLM 은 현재 구조화된 상태 (자차량 특징, 도로 위상, 사회적 특징) 와 최근 행동의 메모리 버퍼를 입력받습니다.
   • 고수준이산 행동 템플릿(예: "좌측 차선 변경", "가속", "정지") 과 일련의 후보하위 행동(특정 속도 증가량이나 조향 편향과 같은 매개변수화) 을 출력합니다.
   • LLM 은 컴팩트한 추론 공간을 보장하기 위해 구조화된 JSON 출력으로 제한됩니다.

2. 상상 (Imagine, World Model):

   • 행동 조건부 WM 은 LLM 이 생성한 각 후보 하위 행동에 대해단기 호라이즌 롤아웃(1 초 예측) 을 수행합니다.
   • 아키텍처: WM 은 재귀적 상태 공간 모델 (RSSM) 에서 영감을 받은 잠재 동역학 형식을 사용합니다. 이는 다음을 활용합니다:
     • 사회적 주의 (Social Attention): 단순 거리보다 상호작용 위험 (예: 높은 접근 속도로의 급차선 변경) 을 우선시합니다.
     • 시간적 재귀 (Temporal Recurrence): 운동 연속성 (가속도, 요레이트 변화) 을 추적합니다.
     • 잔차 디코딩 (Residual Decoding): 수치적 안정성을 위해 상태 변화를 예측합니다 ($\hat{s}_{t+1} = s_t + \text{residual}$).
   • 이 모델은 차선 이탈, 전방 간격 붕괴, 정지선 위험과 같은 안전 경계에 특히 초점을 맞춰 미래 궤적과 상호작용을 예측합니다.

3. 행동 (Act, 안전 점수판 및 실행):

   • **안전 점수판 (safety scorer)**은 비용 함수 ($C$) 를 사용하여 롤아웃을 평가하며, 위험 (예: 거리 $<3.0$m), 주변 에이전트와의 근접성, 차선 위반과 같은 치명적 위험에 페널티를 부과합니다.
   • 시스템은 최소 비용 (최고 안전 점수) 을 가진 하위 행동을 선택합니다.
   • 하드 제약 조건: 롤아웃이 임박한 충돌을 나타내거나 모든 후보가 임계값을 위반하는 경우, 하드 규칙 폴백 (예: 긴급 제동) 이 선택을 덮어씁니다.
   • 선택된 행동은 고수준 의도를 저수준 제어 신호로 매핑하는CARLA 교통 관리자 (TM) 백엔드를 통해 실행됩니다.
   • 피드백: 실행 요약 및 검증 결과는 LLM 의 메모리 버퍼로 피드백되어 후속 단계에서 반복적 자기 수정을 가능하게 합니다.

월드 모델 학습

WM 은 명목상 및 근접 실패 영역 (예: 급제동, 근접 충돌) 을 커버하기 위해 전문가 정책 (CARLA TM) 과 제어된 교란을 결합한 데이터셋으로 학습됩니다. 학습 목표는 픽셀 수준의 사실성보다는단기 호라이즌 예측 충실도와경계 전환 커버리지에 초점을 맞추어, 후보 안전성 순위 매기기에 최적화된 모델을 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 최초의 폐루프 결합: 저자들의 지식 범위 내에서, 폐루프 주행 파이프라인에서 온라인 "행동 전 사고 (think-before-acting)" 검증을 위해 LLM 추론기와 행동 조건부 월드 모델을 긴밀하게 결합한 첫 번째 작업입니다.
2. RIA 메커니즘: 템플릿 조건부 후보 하위 행동을 단기 호라이즌 롤아웃을 통해 평가하고 물리적 검증 신호를 LLM 으로 피드백하여 반복적 수정을 가능하게 하는 의사결정 메커니즘의 제안.
3. 성능 향상: 통합된 폐루프 인터페이스 하에서 이 방법이 학습 없는 베이스라인보다 일관되게 우수한 성능을 보임을 입증합니다. 구체적으로, WM 검증이 없는 LLM 과 비교할 때, 전체 RIA 방법은 주행 완료율 (RC) 을 61.21% 에서 80.05% 로, 도착률 (AR) 을 30.20% 에서 51.10% 로 향상시키고, 충돌률 (ColR) 을 0.40% 에서 0.20% 로 감소시킵니다.

4. 실험 결과

실험은 복잡한 도시 환경에서 1,000 개의 에피소드에 걸쳐 무작위 지점 목표 항법 프로토콜 하에CARLA 0.9.15시뮬레이터에서 수행되었습니다.

비교 성능 (베이스라인 대비):

• WM 없는 LLM 대비: RIA 는 안전성 및 완료 지표를 크게 향상시킵니다.
• CARLA 교통 관리자 (TM) 대비: RIA 는 훨씬 높은 RC(80.05% 대 46.47%) 와 AR(51.10% 대 13.40%) 을 달성하며, 충돌률을 획기적으로 낮춥니다 (0.20% 대 16.00%).
• MADA(LLM 기반 베이스라인) 대비: RIA 는 RC(80.05% 대 21.88%) 와 ColR(0.20% 대 53.00%) 을 포함한 모든 핵심 지표에서 MADA 를 능가합니다.

안전 및 편안함 지표:

• RIA 는 LLM 전용 베이스라인에 비해 급제동 사건 (HB), 높은 저크 (HJ) 사건, 평균 절대 저크 (MAJ) 를 크게 감소시킵니다.
• RIA 는 네이티브 TM 에 비해 오프로드 사건이 약간 증가하지만 (0.19 대 0.00), 전반적으로 주행 완료와 안전 결과 간의 우수한 균형을 유지합니다.

5. 중요성 및 주장

본 논문은 의미론적 추론과 물리적으로 기반을 둔 상상력의 통합이 안전한 자율주행에 필수적이라고 주장합니다. RIA 의 중요성은 다음과 같은 능력에 있습니다:

• 간극 해소: 추가 정책 학습이나 파인튜닝 없이 고수준 의미론적 의도와 저수준 물리적 실행 가능성을 연결합니다.
• 반복적 수정 가능: 물리적 피드백을 활용하여 실시간으로 LLM 의사결정을 정제하고 "물리적으로 환각된" 명령의 위험을 완화합니다.
• 실용적 가치 입증: 학습 없는 추론 시간 프레임워크가 동적이고 안전이 중요한 환경에서 견고한 성능을 달성하여 기존 규칙 기반 시스템 및 기타 LLM 기반 접근법보다 우수함을 증명합니다.

저자들은 그들의 목표가 장기 호라이즌 픽셀의 사실성이 아니라 안전을 보장하기 위한 짧은 반응 창 내의신뢰할 수 있는 후보 순위 매기기임을 강조합니다. 이 프레임워크는 코드와 평가 스크립트가 공개되어 재현 가능하도록 설계되었습니다.