Dance of the ADS: Orchestrating Failures through Historically-Informed Scenario Fuzzing

이 논문은 오픈드라이브 (OPENDRIVE) 맵 데이터와 그래프 신경망을 활용해 과거 테스트 데이터를 기반으로 고위험 시나리오를 예측·선별하는 'ScenarioFuzz'를 제안함으로써, 기존 방법 대비 시간 비용을 60.3% 절감하고 단위 시간당 발견되는 오류 시나리오를 103% 증가시켜 자율주행 시스템의 안전성을 검증하는 새로운 패러다임을 제시합니다.

핵심

🎭 1. 문제: "연극 대본이 없으면 어떻게 연습할까?"

자율주행차를 개발할 때, 가장 큰 고민은 **"어떤 상황에서 테스트해야 할지"**입니다.

• 기존 방식: 연구자들이 미리 "비가 오는 날, 어린이가 튀어나오는 상황"처럼 구체적인 **대본 (시나리오)**을 직접 써서 테스트했습니다. 하지만 세상은 너무 다양해서 모든 상황을 대본으로 다 적을 수 없죠.
• 기존 방식의 문제점: 대본을 직접 쓰느라 시간이 너무 걸리고, 생각지도 못한 새로운 실수는 찾아내지 못합니다.

💡 2. 해결책: 'ScenarioFuzz'라는 새로운 감독

이 논문은 **'ScenarioFuzz'**라는 새로운 시스템을 제안합니다. 이를 **'과거의 무대 경험을 아는 천재 안무가'**라고 상상해 보세요.

이 안무가는 미리 정해진 대본 없이도, 무대 (도로) 자체를 분석해서 가장 위험할 만한 상황을 즉석에서 만들어냅니다.

🗺️ 단계 1: 무대 지도를 훑어보기 (Map Crawling)

안무가는 먼저 도시의 지도 (OPENDRIVE) 를 훑어봅니다.

• 비유: 마치 연극 무대의 바닥을 꼼꼼히 살펴보며 "여기는 신호등이 있고, 저기는 구덩이가 있을 수 있겠구나"라고 파악하는 것과 같습니다.
• 결과: 이 정보를 바탕으로 **'씨앗 (Seed)'**이라는 기본 시나리오들을 자동으로 모읍니다. "신호등이 있는 교차로", "비가 오는 길" 같은 기본 틀을 미리 준비해 두는 거죠.

🎨 단계 2: 상황을 변형하기 (Mutation)

준비된 씨앗을 바탕으로 안무가는 상황을 조금씩 바꿔봅니다.

• 비유: "오늘 비가 오는데, 갑자기 어린이가 튀어나오고, 차는 미끄러운 웅덩이를 지나가게 해보자!"라고 상황을 바꿉니다.
• 변형 요소: 날씨 (비, 안개), 사람/차의 위치, 도로의 웅덩이, 차의 색깔 등을 무작위로 섞어 새로운 상황을 만듭니다.

🔍 단계 3: 과거의 데이터를 활용해 예측하기 (GNN 모델)

가장 중요한 부분입니다. 안무가는 **"어떤 상황이 가장 위험할까?"**를 예측합니다.

• 비유: 안무가는 과거에 수많은 연습을 해본 데이터 (역사적 테스트 데이터) 를 기억하고 있습니다. "아, 저런 비와 웅덩이 조합은 과거에 사고가 많이 났었지!"라고 판단해서, 가장 위험할 것 같은 상황만 골라내어 실제 테스트 (연습) 에 투입합니다.
• 효과: 모든 상황을 다 테스트할 필요 없이, '사고가 날 확률이 높은' 상황만 집중적으로 테스트하므로 시간이 훨씬 절약됩니다.

🚨 단계 4: 실수 찾기 (Fuzzing)

선택된 위험한 상황에서 자율주행차를 실제로 운전시킵니다.

• 만약 차가 신호를 위반하거나, 다른 차와 부딪히거나, 길에 멈춰 서면 (Stuck), 그 순간을 **'버그 (오류)'**로 기록합니다.

---

🏆 3. 이 방법의 놀라운 성과

이 연구팀은 이 방법으로 6 가지 다른 자율주행 시스템을 테스트했고, 다음과 같은 결과를 얻었습니다.

1. 시간 단축: 기존 방법보다 테스트에 걸리는 시간을 약 60% 줄였습니다. (안무가가 불필요한 연습을 안 시켜주니까요.)
2. 사고 발견 증가: 같은 시간 안에 찾아낸 사고 상황 (오류) 은 2 배 이상 늘었습니다.
3. 새로운 발견: 총 58 개의 버그를 찾아냈습니다.
   • 예: "작은 아이나 바닥에 누운 사람을 라이다 (센서) 가 못 감지한다", "빨간색 차를 못 본다", "비가 오면 신호등이 안 보인다" 등 다양한 문제점을 발견했습니다.
4. 패턴 분석: 찾아낸 58 개의 사고를 분석하여, **"사고가 잘 나는 54 가지 유형"**을 분류했습니다. (예: "어린이가 튀어나오는 상황", "비가 오면서 차가 미끄러지는 상황" 등)

📝 요약

이 논문은 **"미리 정해진 대본 없이도, 도로 지도와 과거 데이터를 활용하여 가장 위험한 상황을 자동으로 찾아내고, 그 안에서 자율주행차의 약점을 낱낱이 파헤치는 새로운 테스트 방법"**을 제시했습니다.

마치 과거의 경험을 바탕으로 가장 위험한 무대 장면을 즉석에서 연출해내는 천재 안무가가 되어, 자율주행차가 실제 도로에서 안전할 수 있도록 미리미리 문제를 찾아내는 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

자율주행 시스템 (ADS) 이 고도화됨에 따라, 그 안전성을 검증하는 작업은 점점 더 복잡해지고 있습니다. 기존 연구들은 주로 **미리 정의된 시나리오 (Predefined Scenarios)**에 의존하여 테스트를 수행합니다. 그러나 이 방식에는 다음과 같은 한계가 존재합니다.

• 시나리오의 제한성: 수동으로 다양한 시나리오를 구축하는 것은 비용이 많이 들고 시간 소모가 큽니다. 또한, 미리 정의된 시나리오만으로는 예상치 못한 취약점을 발견하기 어렵습니다.
• 무작위 생성의 비효율성: 시나리오가 없는 상태에서 무작위로 차량 위치나 경로를 생성하는 기존 방법 (예: Drivefuzz) 은 현실적인 주행 조건과 동떨어진 비현실적인 시나리오를 생성하거나, 실행 시간이 길어 효율성이 낮다는 문제가 있습니다.
• 검증의 복잡성: 도로 구조, 교통 인프라, 기상 조건, 보행자 및 차량의 상호작용 등 다양한 요소를 고려한 포괄적인 테스트 환경 구축이 어렵습니다.

따라서, 미리 정의된 시나리오 없이도 효율적으로 ADS 의 결함 (Bug) 을 발견하고, 다양한 위험 시나리오를 자동 생성할 수 있는 새로운 접근법이 필요합니다.

2. 제안된 방법론: ScenarioFuzz (Methodology)

이 논문은 ScenarioFuzz라는 새로운 시나리오 기반 퍼지 테스트 (Fuzzing) 프레임워크를 제안합니다. 이 방법은 과거의 테스트 데이터를 학습하여 위험한 시나리오를 예측하고 필터링하는 '역사적 정보 기반 (Historically-Informed)' 접근법을 취합니다.

2.1. 맵 크롤링을 통한 시나리오 시드 코퍼스 구축 (Map Crawling & Corpus)

• OPENDRIVE 맵 데이터 활용: CARLA 시뮬레이터의 맵 파일 (예: Town03) 을 분석하여 도로 네트워크 토폴로지 그래프를 구축합니다.
• 자동 시드 추출: 교통 신호등 위치, 교차로, 도로 유형 등을 자동으로 식별하고, 이를 기반으로 합리적인 시작점, 경로, 중심 좌표 등을 추출합니다.
• 코퍼스 (Corpus) 의 역할: 이 과정으로 생성된 '시나리오 시드 코퍼스'는 사전 정의된 시나리오 없이도 테스트의 출발점이 되며, 현실적인 주행 경계 조건을 제공합니다.

2.2. 2 단계 변이 전략 (Two-Stage Mutation Strategy)

생성된 시드 (Seed) 는 다양한 Mutator를 통해 변이됩니다.

• Mutator 종류:
  • Mission Mutator: 자차 (Ego-car) 의 목적지 및 경로 변경.
  • Puddle Mutator: 도로의 물웅덩이 (마찰력 변화) 생성.
  • Object Mutator: 보행자, 차량의 종류, 색상, 행동 (정지, 직진, 조향, 자율주행 등) 변경.
  • Weather Mutator: 구름, 비, 안개, 바람, 햇빛 각도 등 8 가지 기상 조건 변경.
• 변이 전략:
  1. Random: 전역 탐색을 위해 무작위 값 선택.
  2. Random Neighbor: 국소 탐색을 위해 현재 값의 인접 범위 (5 단계 내외) 에서 값을 선택. (이전 테스트에서 낮은 주행 점수를 보인 시드를 기반으로 인접 영역을 집중 탐색)

2.3. 시나리오 평가 모델 (Scenario Evaluation Model, SEM)

• 그래프 신경망 (GNN) 활용: 변이된 시나리오를 그래프 데이터로 변환 (노드: 차량, 보행자, 신호등 등 / 엣지: 경로) 하여 GNN 모델에 입력합니다.
• 히스토리 기반 필터링: 과거 테스트 데이터를 학습시켜, 어떤 시나리오 시드가 사고 (Error) 를 유발할 확률이 높은지 예측합니다.
• 효율성 증대: 예측 확률이 높은 시드만 실제 시뮬레이션 실행에 투입하여, 불필요한 계산 비용을 절감하고 위험 시나리오 발견 속도를 높입니다.

2.4. 실행 및 결과 분석

• 오류 감지: 충돌 (Crash), 신호 위반 (Red), 과속 (Speeding), 차선 침범 (Lane invasion), 정지 (Stuck) 등을 실시간으로 감지합니다.
• 자기지도 학습 클러스터링: 발견된 충돌 시나리오의 궤적을 기반으로 자기지도 학습을 수행하여 54 가지의 고위험 시나리오 카테고리를 자동 분류하고 요약합니다.

3. 주요 기여 (Key Contributions)

1. ScenarioFuzz 프레임워크: 사전 정의된 시나리오 없이 맵 크롤링 기술을 통해 자동 시드 코퍼스를 구축하고, CARLA 시뮬레이터와 통합된 퍼지 테스트 프레임워크를 최초로 제안했습니다.
2. 데이터 기반 시드 필터링: 그래프 신경망 (GNN) 을 활용하여 과거 테스트 데이터를 기반으로 고위험 시나리오 시드를 예측하고 선별함으로써 퍼징 효율을 극대화했습니다.
3. 자기지도 학습 기반 분류: 충돌 궤적 데이터를 클러스터링하여 54 가지의 고위험 시나리오 유형을 자동으로 식별하고 분류하는 방법을 제시했습니다.
4. 광범위한 버그 발견: 6 개의 다양한 ADS 시스템 (Autoware, LAV, Transfuser, NEAT 등) 에서 총 58 개의 버그를 발견했습니다.

4. 실험 결과 (Results)

• 효율성 향상: 기존 방법 (Drivefuzz) 대비 평균 60.3% 의 시간 비용 절감을 달성했습니다.
• 발견률 증가: 단위 시간당 발견된 오류 시나리오의 수가 103% 증가했습니다.
• 코드 커버리지: 시나리오 코퍼스를 통해 합리적인 경로와 상호작용을 제공함으로써, 계획 (Planning) 및 제어 (Control) 모듈의 코드 실행 커버리지가 Drivefuzz 대비 크게 향상되었습니다.
• 모델 성능: SEM(시나리오 평가 모델) 은 학습 데이터가 증가함에 따라 필터링 정확도가 향상되었으며, 기존 RBFN 기반 모델보다 Pearson 상관 계수 및 Brier Score 면에서 우수한 성능을 보였습니다.
• 다양성: 단순한 충돌뿐만 아니라, 보행자 (어린이, 누워있는 사람 등), 다양한 기상 조건, 복잡한 교차로 상황 등 다양한 유형의 오류 시나리오를 발견했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율주행 시스템의 안전성 검증에 있어 미리 정의된 시나리오에 대한 의존성을 제거하고, 맵 데이터와 과거 테스트 데이터를 결합하여 자동화되고 효율적인 결함 발견을 가능하게 했습니다.

• 실용성: 실제 도로 네트워크 데이터를 기반으로 하므로, 생성된 시나리오가 현실적인 주행 조건을 잘 반영합니다.
• 안전성: 발견된 58 개의 버그는 센서 인식, 객체 감지, 의사결정, 제어 등 시스템 전 영역에 걸친 심각한 안전 취약점을 드러내며, 향후 ADS 개발 및 검증 프로세스 개선에 중요한 시사점을 제공합니다.
• 확장성: 제안된 방법은 다양한 시뮬레이션 플랫폼과 ADS 아키텍처에 적용 가능한 일반적인 접근법을 제시합니다.

결론적으로, ScenarioFuzz는 자율주행 시스템의 안전성을 보장하기 위해 과거의 실패 데이터를 학습하고 미래의 위험을 예측하는 지능형 퍼지 테스트의 새로운 패러다임을 제시했습니다.