A Digital Twin Framework for Metamorphic Testing of Autonomous Driving Systems Using Generative Model

기술 요약: 생성형 모델을 이용한 자율주행 시스템의 메타모픽 테스팅을 위한 디지털 트윈 프레임워크

문제 정의
자율주행 시스템(ADS)의 개발 및 인증은 실제 환경의 복잡성과 예측 불가능성으로 인해 어려움을 겪고 있습니다. 전통적인 테스트 방법은 두 가지 주요 한계에 직면해 있습니다: 첫째는 명확한 정답(ground truth)이 없는 상황에서 시스템의 동작이 올바른지 판단하기 어려운 **오라클 문제(oracle problem)**이며, 둘째는 자율주행 차량이 마주할 수 있는 방대한 범위의 시나리오를 포괄적으로 커버할 수 없다는 점입니다. 또한, 현대의 많은 ADS 아키텍처는 의사결정 과정을 가리는 "블랙박스" 형태로 작동합니다. 기존의 메타모픽 테스팅(MT) 접근 방식은 종종 단순하고 고정된 변환(예: 밝기 조절, 회전)에 의존하는데, 이는 모델이 쉽게 적응할 수 있어 에이전트 간의 상호작용이나 동적인 도로 토폴로지 변화와 같은 복잡하고 현실적인 변화에 대한 진정한 강건성을 테스트하는 데 실패합니다.

방법론
저자들은 AI 기반 이미지 생성 모델과 운행 설계 영역(ODD)의 개념을 통합한 디지털 트윈 기반 메타모픽 테스팅 프레임워크를 제안합니다.

1. 디지털 트윈 및 ODD 통합: 이 프레임워크는 ADS와 그 환경의 가상 복제본을 생성합니다. 인프라, 환경, 제약 조건, 시간적 요소 및 연결성 요소를 튜플로 하여 ODD를 공식적으로 정의합니다. 생성 모델은 이러한 ODD 경계 내에서만 작동하도록 제한되어, 생성된 테스트 케이스가 운영상 유효함을 보장합니다.
2. 생성형 시나리오 합성: Stable Diffusion-XL을 활용하여 복잡하고 통제된 주행 장면의 변형을 생성합니다. 단순한 기하학적 변환과 달리, 이 방식은 핵심 의미(예: 차선 방향)를 유지하면서 환경 조건(날씨, 조명, 가시성)과 의미론적 특징(도로 레이아웃, 장애물)을 변경합니다.
3. 메타모픽 관계(MR): 프레임워크는 시스템의 일관성을 검증하기 위해 실제 교통 규칙에서 영감을 얻은 세 가지 특정 MR을 정의합니다:
   • MR1 (배경 변형): 차선 방향/각도는 유지하면서 배경을 약간 변경합니다. 시스템은 특정 오차 범위 내에서 일관된 경로 계획을 유지해야 합니다.
   • MR2 (날씨 시뮬레이션): 차선 기하 구조는 변경하지 않되, 눈이 오는 날씨로 수정하여 시야를 부분적으로 가립니다. 시스템은 폐쇄(occlusion)에도 불구하고 일관된 출력을 내놓아야 합니다.
   • MR3 (차선 좁히기): 차선 방향은 유지하면서 주행 차선을 좁힙니다. 시스템은 주요 방향이 보존됨에 따라 일관된 동작을 보여야 합니다.
4. 검증 메커니즘: 프레임워크는 다음을 포함하는 통합 검증 프로세스를 채택합니다:
   • 불확실성 인지 관계: 예측의 불확실성을 정량화하여 예측값이 임계값 내에 머무는지 확인합니다.
   • 시간적 분석: 시계열 평활화(smoothing)를 사용하여 시간 창(time window) 동안 예측 일관성을 확보함으로써 돌발적인 동작을 방지합니다.
   • 자동 검증: ODD를 준수하는 변환을 생성하고, ADS를 실행하며, 정의된 허용 오차 임계값에 대해 메타모픽 관계를 검증하는 알고리즘 워크플로우를 수행합니다.

주요 기여

• 새로운 프레임워크: 엄격한 ODD 제약 조건 내에서 다양한 고충실도 메타모픽 테스트 케이스를 만들기 위해 생성형 AI(Stable Diffusion)를 활용하는 디지털 트윈 아키텍처를 도입했습니다.
• 고급 MR 정의: 단순한 이미지 섭동을 넘어, 실제 세계의 도전 과제를 더 잘 반영하는 복잡하고 의미론적으로 유의미한 변환(날씨, 토폴로지)을 정의했습니다.
• 포괄적 검증: 메타모픽 관계, 불확실성 정량화, 시간적 일관성 분석을 결합한 다차원적 검증 접근 방식을 제공합니다.

실험 결과
프레임워크는 Udocracy 자율주행 시뮬레이터와 다양한 날씨 조건에서 수집된 충돌 사례 데이터셋을 통해 검증되었습니다. 테스트 모델로는 DAVE-2 아키텍처를 사용했습니다.

• 성능 지표: 제안된 방법은 SelfOracle(Autoencoder/VAE/SAE 사용) 및 DeepRoad를 포함한 베이스라인 접근 방식보다 성능 면에서 크게 앞섰습니다.
  • **MR2 (눈 시뮬레이션)**는 참 양성률(TPR) 0.719, F1 스코어 0.689, 정밀도(Precision) 0.662를 달 기록했습니다.
  • MR1과 MR3 또한 각각 0.668과 0.645의 F1 스코어를 기록하며 견고한 성능을 입증했습니다.
• 비교 분석: 전통적인 방식인 DeepRoad는 TPR 0.225, F1 스코어 0.180에 그쳤습니다. 제안된 Stable Diffusion 변형 모델들은 낮은 거짓 양성률을 유지하면서 실제 충돌 시나리오를 탐지하는 데 탁-월한 성능 향상을 보였습니다.
• 시간적 능력: 분석 결과, 이 방법이 선제적 안전 메커니즘 역할을 한다는 것을 보여주었습니다. 특히 MR3는 결정적인 충돌 전 5초의 윈도우에 도달하기 훨씬 전부터 탐지를 집중시키는 강력한 조기 충돌 예측 능력을 보여주었습니다.

의의 및 주장
본 논문은 디지털 트윈과 AI 기반 시나리오 생성을 통합하는 것이 자율주행차 안전을 위한 확장 가능하고 자동화된 고충실도 테스트 솔루션을 제공한다고 주장합니다. 오라클 문제와 단순 변환의 한계를 해결함으로써, 이 접근 방식은 희귀하고 안전에 치명적인 엣지 케이스 전반에 걸쳐 ADS의 동작을 체계적으로 평가할 수 있게 합니다.

저자들은 Stable Diffusion의 계산 요구량으로 인해 현재 이 프레임워크가 개발 및 인증 단계의 폐쇄 루프(closed-loop) 테스트에 가장 적합하다고 언급하면서도, 이것이 선제적 안전 검증을 향한 중요한 진전임을 강조합니다. 향후 모델 압축 및 하드웨어 가속 기술이 발전함에 따라, 이 프레임워크가 실시간 추적 및 생산 구현으로 확장될 수 있을 것으로 보고 있습니다. 이 연구는 실제 배포 시 머신러닝 구성 요소의 회복 탄력성을 보장하기 위해 정적 테스트에서 동적이고 문맥 인식적인 검증으로 나아가야 하는 가치를 역설합니다.