Scenario Generation for Testing of Autonomous Driving Systems Using Real-World Failure Records

기술 요약: 실제 세계의 실패 기록을 이용한 자율주행 시스템 테스트용 시나리오 생성

문제 정의
본 연구가 다루는 주요 과제는 현재 자율주행 시스템(ADS) 테스트 방식의 비효율성과 경직성입니다. 기존 방식은 정적인 수동 설계 시나리오 템플릿(예: Euro NCAP 프로토콜)이나 고정된 시나리오 표현에 기반하여 템플릿 내의 수치적 파라미터를 최적화하는 데 집중하는 시뮬레이션 기반 탐색에 크게 의존하고 있습니다. 이러한 방법들은 특정 도로 유형, 작업 구역 또는 복잡한 상호작용 역학 등 실제 사고 데이터에서 발견되는 풍부하고 맥락적인 뉘앙스를 포착하는 데 실패하는 경우가 많습니다. 또한, 자연어 사고 서사로부터 시나리오 정의를 직접 추출하고 이를 시스템별 시뮬레이션 테스트에 적합하게 조정하기 위한 원칙적인 프레임워크가 부족한 실정입니다.

방법론
저자들은 다양한 테스트 스위트를 구축하기 위해 역사적 ADS 충돌 기록(특히 NHTSA 데이터)을 활용하는 자동화되고 모듈화된 시나리오 생성 파이프라인을 제안합니다. 이 접근 방식은 범주형 데이터와 자연어 서사를 통합하며, 다음과 같은 3단계 대규모 언어 모델(LLM) 파이프라인을 거칩니다:

1. 메타 변수 추출(Meta-Variable Extraction): 시스템은 충돌 기록에서 범주형 특징(예: 도로 유형, 자차 및 충돌 상대 차량의 충돌 전 움직임, 작업 구역 존재 여부)을 식별하여 고수준의 시나리오 템플릿을 정의합니다.
2. LLM 기반 시나리오 생성: 파이프라인은 세 개의 순차적인 LLM 에이전트를 사용합니다:
   • 패러프레이징 에이전트(Paraphrasing Agent): 가공되지 않은 사고 서사를 처리하여 불필요한 세부 정보(예: 위치, 시간, 부상 보고)를 필터링하고, 재구성에 필요한 위상적 및 맥락적 세부 사항만을 남깁니다. 또한, 특정 타겟 시뮬레이터와 호환되지 않는 시나리오(예: 테스트 중인 특정 에고 정책으로 재현할 수 없는 비-에고 과실에 의한 후방 추돌)를 필터링하고, 그럴듯한 대안적 서사를 생성합니다.
   • 시나리오 생성 에이전트(Scenario Generation Agent): 패러프레이징된 서사와 정의된 메타 변수 템플릿을 바탕으로 특정 시나리오 인스턴스($z_s$)를 생성합니다. 여기에는 에이전트 궤적, 속도, 맵 유형과 같이 시뮬레이터(이 경우 Metadrive)와 호환되는 특정 파라미터 인코딩이 포함됩니다.
   • 미세 조정 에이전트(Fine-Tuning Agent): 궤적 실행(trajectory rollouts) 중에 수집된 성능 지표(예: 최소 간격)를 기반으로 생성된 시나리오를 정교화합니다. 이 단계는 시스템을 스트레스 테스트하기 위해 수치적 파라미터를 반복적으로 조정하며, 잠재적으로 안전 마진을 줄여 실패 모드를 드러냅니다.
3. 클러스터링을 통한 다양성 확보: 제한된 테스트 예산 내에서 폭넓은 커버리지를 보장하기 위해, 저자들은 k-means를 사용하여 역사적 충돌 기록을 클러스터링합니다. 클러스터링 특징에는 원-핫 인코딩된 메타 변수와 서사로부터 생성된 6차원 벡터 임베딩(all-MiniLM-L6-v2 사용)이 포함됩니다. 각 클러스터를 대표하는 하나의 시나리오가 생성됩니다.

핵심 기여

• 자동화된 파이프라인: 저자들은 범주형 특징과 자연어 서사를 모두 활용하여 실제 세계의 충돌 보고서에서 시뮬레이션 준비가 된 시나리오로 전환하는 과정을 자동화하는 새로운 절차를 제시합니다.
• 시스템별 적응: 이 방법은 정적인 템플릿 설계를 넘어, 역사적 기록을 특정 시스템의 제약 조건 및 정책에 적응시키기 위한 모듈형 LLM 기반 접근 방식을 도입합니다.
• 검증 프레임워크: 이 접근 방식은 2021년 NHTSA ADS 충돌 기록을 사용하여 Metadrive 시뮬레이터 상의 IDM 정책에 대한 테스트 스위트를 생성함으로써 검증되었습니다.

실험 결과
저자들은 2021년 NHTSA 데이터를 사용하여 파이프라인을 평가하였으며, 그 결과 20개의 뚜렷한 시나리오 클러스터가 도출되었습니다.

• 정확도: 생성된 20개의 시나리오 중 17개가 의도한 메타 변수 템플릿과 완벽하게 일치했습니다. 세 건의 불일치는 충돌 상대 차량의 이동 방향이나 작업 구역 존재 여부에 관한 경미한 오류였으며, 저자들은 이를 미세 조정 에이전트를 통해 추가로 최적화할 수 있다고 언급했습니다.
• 다양성 및 스트레스 테스트: 클러스터링은 필터링된 역사적 데이터에 자연적으로 존재하는 14개 시나리오 템플릿 중 11개를 성공적으로 포착했습니다. 미세 조정 과정은 조정을 필요로 하는 16개 시나리오 중 14개에서 차량 간의 최소 간격을 유의미하게 감소시켜, 효과적으로 "아차 사고(near-miss)" 또는 충돌 시나리오를 만들어냈습니다.
• 시스템 통찰: 생성된 테스트는 IDM 정책의 구체적인 행동 특성을 드러냈습니다:
  • 해당 정책은 정면 충돌은 성공적으로 피했으나, 직진하는 차량을 피하는 과정에서 바람직하지 않은 진동 운동과 조기 제동 현상을 보였습니다.
  • 정책은 대형 차량에 비해 작은 장애물(예: 작업 구역의 콘)에 대한 반응성이 낮아, 작업 구역 시나리오에서 충돌이 발생했습니다.
  • 횡방향 이동 시나리오는 측면 충돌을 초래하여, 표준 템플릿에서는 포착되지 않을 수 있는 특정 실패 모드를 강조했습니다.

의의 및 주장
본 논문은 이 접근 방식이 구조화되지 않은 실제 세계의 실패 데이터와 구조화된 시뮬레이션 테스트 사이의 간극을 메우는 원칙적인 방법을 제공한다고 주장합니다. 역사적 기록을 활용함으로써, 이 방법은 시나리오 템플릿 설계에 필요한 수동 노력을 완화하고 테스트가 일반적이고 특이한 실패 조건 모두를 커버하도록 보장합니다. 저자들은 생성된 시나리오가 기존의 저수준 테스트 방법(예: 베이지안 최적화 또는 MCMC 샘플링)과 호환되어 수치적 파라미터에 대한 추가 반복이 가능함을 강조합니다. 이 연구는 LLM이 자연어 실패 설명을 실행 가능한 시스템별 테스트 케이스로 효과적으로 변환하여, 제한된 테스트 예산(20개 시나리오) 내에서 시스템의 취약점을 드러낼 수 있음을 입증합니다.

한계 및 향후 과제
저자들은 테스트에서의 "커버리지"에 대한 통일된 정의가 부족하여 다양한 생성 추구가 어렵다는 점을 포함한 한계를 인정했습니다. 또한, 특정 정책을 고정하는 것이 원하는 모든 시나리오에서 에고 차량의 움직임을 완전히 재현하는 데 제한이 될 수 있음을 언급했습니다. 향후 연구 방향으로는 비전 기반 정책을 위한 시각적 조건을 생성하도록 파이프라인을 확장하는 것과, 실제 데이터가 없는 경우 LLM을 사용하여 합성된 실패 서사를 생성하는 것이 포함됩니다.