An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

기술 요약: 승객 주도형 자율주행을 위한 LLM 설명 가능 DRL 프레임워크

문제 정의
자율주행 자동차(AV)의 인지 및 제어 기술의 발전에도 불구하고, 의사결정 시스템의 "블랙박스" 특성으로 인해 대중의 신뢰는 여전히 제한적이다. 승객들은 특히 중요한 상황에서 자율주행차가 왜 특정 동작을 수행하는지에 대한 투명성이 부족하다. 기존의 설명 가능한 AI(XAI) 접근 방식은 주로 개발자 중심이며, 비전문가 사용자가 접근하기 어려운 시각적 표현이나 기술적인 규칙 추적에 의존한다. 또한, 현재의 프레임워크는 실시간 승객 음성 명령을 제어 루프에 직접 통합하는 동시에, 안전 제약 조건으로 인해 해당 명령을 무시해야 할 때 자연어 형태의 정당성을 제공하는 기능이 드물다.

방법론
저자들은 DRL(심층 강화 학습)을 통한 적응형 제어와 승객 상호작용 및 설명 가능성을 위한 LLM(대규모 언어 모델)을 결합하여, SUMO 미시적 교통 시뮬레이터 내에서 작동하는 하이브리드 프레임워크를 제안한다. 시스템 아키텍처는 네 가지 주요 서브시스템으로 구성된다:

1. 시뮬레이션 환경: 신호 교차로, 비신호 보행자 횡단보도, 가변적 교통 흐름을 포함하는 양방향 도시 도로 시나리오를 특징으로 한다. 승객의 의도는 fast(빠르게), comfort(편안하게), stop(정지)의 세 가지 이산 명령으로 추상화된다.
2. 명령 해석 (LLM-1): GPT-4.1-mini를 활용하는 이 모듈은 구두로 전달된 승객의 요청(직접적 또는 간접적)을 전사하고, 이를 확인된 명확한 주행 지침(더 빠르게 운전하라, 더 조심스럽게 운전하라, 또는 정지하라)으로 재구성한다. 이는 제어 에이전트를 위한 수치 클래스(0, 1, 또는 2)를 출력한다.
3. 자율주행 코어 (DRL): 제어 정책은 Dueling Double Deep Q-Network (D3QN)를 사용하여 마르코프 결정 과정(MDP)으로 모델링된다.
   • 상태 공간(State Space): 승객 명령, 자율주행 차량 속도, 제한 속도, 차간 거리, 상대 속도, 신호등 거리/상태, 보행자 횡단 거리 등 8차원 벡터를 포함한다.
   • 행동 공간(Action Space): -3에서 +3 m/s 범위의 이산적 종방향 속도 조절.
   • 보상 함수(Reward Functions): 세 가지 별도의 주행 모드에 대해 다음과 같이 정의된다:
     • Fast: 효율성과 제한 속도 준수를 우선시하면서 안전(충돌 시간(TTC) > 2s)을 유지한다.
     • Comfort: 높은 저크(jerk)를 패널티로 부여하고 보수적인 차간 거리를 선호함으로써 부드러운 주행을 우선시한다.
     • Stop: 속도를 유지하는 것에 대해 높은 패널티를 부여하며 즉각적인 제동을 강제한다.
   • 안전 메커니즘: 경직된 거리 임계값 대신 규칙 준수를 보장하는 car-following 로직을 사용하여 빨간불과 보행자 횡단보도에서 정지하도록 하는 가상 리더(virtual leader) 접근 방식이 사용된다.
4. 설명 가능성 파이프라인 (LLM-2 & LLM-3):
   • 의사결정 모듈 (LLM-2): 현재 차량의 행동을 승객의 요청 및 환경 상태와 비교 평가한다. 이 모듈은 충돌이 발생할 경우(예: "빠르게" 요청에도 불구하고 빨간불 때문에 감속하는 경우)에만 설명을 트리거한다.
   • 설명 생성기 (LLM-3): 충돌이 감지되었을 때, 가장 안전과 직결된 요소(예: "신호등에 접근 중")에 집중하여 간결하고 안심을 주는 한두 문장의 자연어 정당성을 생성한다.

주요 기여

1. 승객 중심 XAI 파이프라인: 자연어 승객 요청을 제어 정책으로 변환하고, 비전문가 사용자를 위해 맥락 인식형 설명을 생성하는 LLM과 DRL의 새로운 통합 방식이다.
2. 멀티 모드 D3QN 에이전트: 단일 주행 내에서 교통 규칙과 안전 제약 조건을 준수하며 fast, comfort, stop 모드 사이를 원활하게 전환할 수 있도록 훈련된 에이전트이다.
3. 충돌 감지 메커니즘: 안전 제약 조건이 승객의 의도를 무시할 때(즉, 설명이 필요할 때)를 동적으로 결정하여 적응성과 투명성의 균형을 맞추는 LLM 기반 모듈이다.

결과
프레임워크는 다양한 교통 밀도(기초 흐름의 0.5배에서 1.5배)에 걸쳐 11,000회의 훈련 에피소드와 25회의 테스트 에피소드를 통해 평가되었다.

• DRL 성능: fast와 comfort 에이전트 모두 안정적인 학습과 충돌 없는 운행을 보여주었다.
  • fast 에이전트는 평균 속도 4.508 m/s, 평균 시간 차간 거리(TH) 2.998s, 충돌 시간(TTC) 5.603s를 달축성했다.
  • comfort 에이전트는 약간 낮은 평균 속도(4.396 m/s)를 기록했으나, 훨씬 더 큰 TH(6.373s)와 낮은 저크(0.205 m/s³)를 유지하여 더 부드러운 주행 행동을 입증했다.
  • 두 에이전트 모두 불안정성 없이 각자의 주행 모드를 무시하고 비상 정지 명령을 성공적으로 수행했다.
• LLM 성능:
  • 명령 해석 (LLM-1): 33개의 요청 데이터셋에 대해 96.9%의 정확도를 달성했으며, fast 클래스에 대해서는 완벽한 정밀도를 보였다. 한 건의 오류는 stop 요청을 comfort로 오분류한 것이었다.
  • 의사결정 및 설명 (LLM-2/3): 질적 평가 결과, 시스템은 안전 중심의 이탈(예: 빨간불을 위해 감속)에 대해 설명을 올바르게 트리거했으며, 적절하고 안심을 주는 정당성을 생성했다. 시스템은 사소하고 예상 가능한 조정에 대한 불필요한 설명을 효과적으로 피했다.

의의 및 주장
본 논문은 이 연구를 DRL 기반 주행 제어와 LLM 기반 승객 상호작용의 통합 가능성을 보여주는 **개념 증명(Proof of Concept)**으로 제시한다. 저자들은 이 프레임워크가 안전하고 사용자 선호에 적응하며 설명 가능한 시스템을 제공함으로써, 자율주행차의 성능과 대중의 신뢰 사이의 간극을 성공적으로 메운다고 주장한다.

본 연구는 프레임워크가 승객의 요청(예: "더 빠르게 운전해줘")이 안전 제약 조건으로 인해 지연되거나 무시되어야 할 때 그 이유를 설명하는 데 가장 효과적임을 강조한다. 저자들은 시뮬레이션(SUMO)에 대한 의존성, 실시간 설명 평가를 위한 표준화된 지표의 부재, 그리고 LLM의 환각(hallucination) 가능성 등의 한계를 명시적으로 언급한다. 따라서 이들은 이 작업을 즉각적인 상업적 이용이 가능한 완전히 성숙한 솔루션이라기보다, 측면 제어(차선 변경) 및 실제 배포를 포함한 미래 확장을 위한 기초 단계로 규정한다.