기술 요약: 신뢰할 수 있는 자율주행 시스템 테스트를 위한 시뮬레이터 앙상블

1. 문제 정의

주행 시뮬레이터를 이용한 시나리오 기반 테스트는 자동 운전 보조 시스템(ADAS)을 검증하고 비용이 많이 드는 실제 도로 테스트의 필요성을 줄이기 위한 표준 방법입니다. 그러나 기존 연구에 따르면 테스트 실행 결과가 종종 일관되지 않은 것으로 나타납니다. 이러한 불일치는 두 가지 주요 원인에서 발생합니다:

1. 테스트 플래키니스(Test Flakiness): 동일한 시뮬레이터 내에서도 동일한 테스트 시나리오가 서로 다른 통과/실패 결과를 생성하는 비결정적 동작으로, 주로 타이밍, 동기화 또는 환경적 불확실성 때문에 발생합니다.
2. 시뮬레이터 불일치(Simulator Disagreement): 서로 다른 시뮬레이터(예: BeamNG, Udacity, Donkey)가 물리 엔진, 렌더링 또는 구현 세부 사항의 차이로 인해 동일한 테스트 입력에 대해 서로 다른 결과를 생성할 수 있습니다.

이러한 문제를 완화하려는 현재의 접근 방식은 제한적입니다. 일부는 플래키한 테스트를 폐기하며, "디지털 형제(Digital Siblings, DSS)" 프레임워크와 같은 다른 방식은 서로 다른 시뮬레이터에서 독립적인 테스트 생성 캠페인을 실행하고 사후 처리 단계로 결과를 병합합니다. 이러한 사후 병합(post-hoc merging)은 비효fer적입니다. 왜냐하면 검색 알고리즘이 단일 시뮬레이터의 피드백을 바탕으로 테스트 케이스를 진화시키기 때문에, 필터링되기 전까지 시뮬레이터 특유의 (유효하지 않은) 실패에 자원을 낭비할 가능성이 있기 때문입니다.

핵적 해결하고자 하는 핵심 문제는 검색 과정 중에 (사후 처리가 아닌) 시뮬레이터 불가지론적 실패(즉, 실제 결함을 나타내는 유효한 실패)를 직접 식별할 수 있는 테스트 방법론이 부족하다는 것입니다.

2. 방법론: MultiSim

저자들은 여러 시뮬레이터를 테스트 생성 과정 중에 하나의 앙상블로 취급하는 새로운 검색 기반 소프트웨어 테스팅(SBST) 접근 방식인 MultiSim을 제안합니다.

2.1 다목적 최적화 정식화

MultiSim은 테스팅 문제를 다목적 최적화(MOO) 문제로 재정식화합니다. 테스트 입력을 단일 시뮬레이터에서 평가하는 대신, 시스템은 이를 앙상블 형태의 시뮬레이터들에서 동시에 평가합니다. 테스트 입력 $x$에 대한 적합도 벡터(fitness vector)는 다음과 같이 정의됩니다:
$$F(x) = (f_1(x), \dots, f_j(x), f_d(x), f_a(x, A))$$
여기서:

• $f_k(x)$: 시뮬레이터 $S_k$로부터 얻은 적합도 값(예: 횡방향 경로 오차/cross-track error).
• $f_d(x)$: 모든 시뮬레이터 간의 적합도 값 사이의 평균 거리. 이 항을 최소화함으로써 시뮬레이터들이 일치하는 시나리오를 향해 검색을 유도합니다.
• $f_a(x, A)$: 아카이브 $A$에 있는 이전에 발견된 테스트들과 현재 테스트 입력 사이의 거리. 이 항을 최대화함으로써 검색 공간의 다양성을 보장합니다.

적합도 값을 최소화(실패를 의미)하고 시뮬레이터 간의 거리를 최소화함으로써, 알고리즘은 시뮬레이터 불가지론적 실패—즉, 서로 다른 시뮬레이션 환경에서 일관되게 실패하는 시나리오—를 우선적으로 찾아냅니다.

2.2 테스트 표현 및 연산자

• 표현: 도로 시나리오는 Catmull–Rom 스플라인을 통해 보간된 제어점(control points)을 사용하여 모델링됩니다. 검색 공간은 세그먼트 각도와 길이에 의해 매개변수화됩니다.
• 유전 연산자: 이 접근 방식은 도로 기하학에 맞게 조정된 표준 유전 연산자(선택, 교차, 변이)를 사용합니다. 교차(crossover)는 부모 도로 간에 도로 세그먼트를 교환하며, 변이(mutation)는 세그먼트 각도나 길이를 무작위로 변경합니다. 유효하지 않은 도로(예: 지도 경계를 가로지르는 도로)는 재생성됩니다.
• 오라클 함수(Oracle Function): 차량이 차선을 이탈했음을 나타내는 최대 횡방향 경로 오차(XTE)가 사전 정의된 임계값(예: 2.2미터)을 초과하는 경우, 해당 테스트는 실패로 간주됩니다.

2.3 검증 전략

식별된 실패가 진정으로 시뮬레이터 불가지론적인지 확인하기 위해 저자들은 검증 단계를 수행합니다:

1. 특징 매핑: 생성된 실패 테스트를 도로 곡률 및 회전 수로 정의된 특징 공간에 매핑합니다.
2. 재실행: 플래키니스를 고려하여, 검색 단계에서 사용되지 않은 시뮬레이터에서 실패하는 테스트를 여러 번 재실행합니다.
3. 임계값 설정: 테스트가 모든 검증 시뮬레이터에서 일관되게 실패할 때만(예: 실패율 100%) "유효한 실패"로 분류됩니다.

2.4 대리 모델 강화 (RQ3)

효율성을 높이기 위해 저자들은 대리 모델(머신러닝 분류기)을 사용하는 강화를 제안합니다. 이 모델은 후보 테스트 입력이 시뮬레이터 간 불일치를 초래할지 여부를 예측합니다. 만약 불일치 확률이 임계값을 초과하면, 비용이 많이 드는 전체 시뮬레이션을 실행하기 전에 해당 후보를 폐기합니다. 이를 통해 검색이 입력 공간의 고가치 영역에 집중할 수 있도록 합니다.

3. 경험적 연구 및 결과

본 연구는 세 가지 단계의 복잡도를 가진 차선 유지 ADAS 모델(DAVE-2, ViT, TCP)을 사용하여 MultiSim을 SingleSim(단일 시뮬레이터 테스팅) 및 DSS(Digital Siblings)와 비교 평가했습니다.

• DAVE-2: 합성곱 신경망(CNN).
• ViT: 비전 트랜스포머(Vision Transformer) 기반 아키텍처.
• TCP: 하이브리드 궤적 제어 정책 네트워크.

실험에는 세 가지 시뮬레이터인 BeamNG, Udacity, Donkey가 다양한 쌍(BD, BU, UD)으로 사용되었습니다.

3.1 효과성 (RQ1)

• 유효 실패율: MultiSim은 평균 **70%**의 유효 실패율을 달성하여, DSS(65%)와 SingleSim(47%)보다 우수한 성능을 보였습니다.
• 구성별 성능: BD (BeamNG + Donkey) 구성은 DAVE-2(99%)와 ViT(98%)에 대해 가장 높은 유효율을 기록했습니다. BU (BeamNG + Udacity) 구성은 TCP(80%)에 대해 가장 좋은 성능을 보였습니다.
• 통계적 유의성: Wilcoxon rank-sum 테스트를 통해 MultiSim이 유효한 실패를 생성하는 데 있어 SingleSim 및 DSS보다 유의미하게 우수하며, 대부분의 비교에서 큰 효과 크기를 가짐을 확인했습니다.

3.2 효율성 (RQ2)

• 검색 예산: MultiSim은 첫 번째 유효한 실패를 찾는 데 SingleSim과 유사한 검색 예산을 필요로 하여 효율성을 입증했습니다.
• DSS와의 비교: MultiSim은 일반적으로 DSS보다 더 나은 효율성을 보였으며, 특히 BD 구성에서 사후 처리 방식인 DSS보다 유효한 실패를 더 빠르게 찾아냈습니다.

3.3 예측 및 대리 모델 (RQ3)

• 분류기 성능: Random Forest 분류기가 시뮬레이터 불일치를 예측하는 데 가장 좋은 성능(F-1 점수 74–83%, AUC 0.81–0.89)을 보였습니다.
• 영향: 대리 모델(BD-P)을 통합함으로써 유효한 실패의 수가 평균적으로 약 38% 증가하였고, 첫 번째 유효 실패를 찾는 데 필요한 검색 예산의 변동성을 줄였습니다. 이는 유효한 결함을 발견하는 능력을 희생하지 않으면서 가치가 낮은 시뮬레이션을 성공적으로 우회했습니다.

4. 주요 기여

1. MultiSim 접근 방식: 시뮬레이터 간의 합의를 시뮬레이터 불가지론적 실패 식별을 위한 일급 목표(first-class objective)로 취급하여, 여러 시뮬레이터를 검색 루프에 직접 통합하는 새로운 검색 기반 테스팅 프레임워크를 제안했습니다.
2. 경험적 검증: MultiSim이 유효한 실패를 식별하는 측면에서 단일 시뮬레이터 테스팅 및 최신 기술인 DSS 프레임워크보다 우수함을 보여주는 광범위한 연구를 수행했습니다.
3. 대리 모델 통합: 머신러닝 예측기를 사용하여 검색 중에 시뮬레이터 불일치를 필터링함으로써 효과성과 효율성을 모두 개선할 수 있음을 입증했습니다.
4. 오픈 재현: 연구 촉진을 위해 소스 코드, 실험 데이터 및 테스트 생성 방식을 공개했습니다.

5. 의의 및 주장

본 논문은 검색 중에 시뮬레이터 앙상블을 결합하는 것이 ADAS 테스팅을 위한 자동화된 교차 복제(cross-replication)에 유망한 접근 방식이라고 주장합니다. 의의는 시뮬레이터 결과의 사후 검증에서 **과정 중 합의 구축(in-process consensus building)**으로 패러다임을 전환하는 데 있습니다.

• 신뢰성: 시뮬레이터들이 일치하는 시나리오를 우선시함으로써, MultiSim은 특정 시뮬레이터의 구현에 의한 인위적 오류(시뮬레이터 의존적 실패)를 식별할 위험을 줄입니다.
• 효율성: DSS와 같은 사후 처리 방식에서 흔히 발생하는 문제인, 생성 후 버려지는 시뮬레이터 특유의 실패를 생성하는 비효율성을 피합니다.
• 일반성: 본 연구는 차선 유지에 집중하고 있으나, 저자들은 모듈형 아키텍처(OpenSBT 기반)와 시뮬레이터 결합 개념이 일관된 시나리오 표현이 확립된다면 다른 ADAS 기능(예: 긴급 제동) 및 더 높은 수준의 자율주행으로 일반화될 수 있다고 언급합니다.

저자들은 본 연구의 범위를 겸손하게 유지하며, 최적의 시뮬레이터 쌍은 특정 SUT(System Under Test)와 그 주요 실패 모드(예: 제어 관련 vs 인지 관련)에 따라 달라질 수 있음을 인정합니다. 또한, 이 접근 방식이 시뮬레이터 불일치의 증상을 완화하지만, 시뮬레이터 코드에 대한 더 깊은 조사가 필요한 불일치의 근본 원인을 본질적으로 해결하는 것은 아니라는 점도 명시했습니다.