기술 요약: 자율 시스템의 차분적 변형 테스트를 위한 CoCoMagic

1. 문제 정의

자율 시스템 (AS), 특히 자율 주행 시스템 (ADS) 은 모델 재학습, 하이퍼파라미터 튜닝, 아키텍처 변경을 포함하는 빈번한 반복적 업데이트를 거칩니다. 이러한 업데이트는 이전 버전에는 존재하지 않았던 의도하지 않은 행동 저하 또는 안전 위반을 도입할 위험이 있습니다. 이러한 시스템을 테스트하는 데는 세 가지 주요 과제가 있습니다:

1. 오라클 문제: 복잡하고 개방형 환경에서는 모든 시나리오에 대한 실제 정답 (ground-truth) 기대 출력을 정의하는 것이 종종 불가능합니다.
2. 시나리오 현실성: 인위적으로 구성된 엣지 케이스는 약점을 노출시킬 수 있지만, 종종 실제 적용 가능성은 부족합니다. 실제 운영 조건과 유사한 시나리오에서의 실패는 안전 평가에 더 중요합니다.
3. 해석 가능성: 버전 간 행동 차이가 감지될 때, 개발자들은 이러한 차이를 유발하는 근본 원인 (예: 특정 환경 요인 또는 상호작용) 에 대한 실행 가능한 통찰력을 종종 갖지 못합니다.

기존의 검색 기반 테스트 방법은 고차원 공간에서 계산 효율성 문제를 겪으며, 업데이트로 인한 저하를 격리하기 위해 버전을 체계적으로 비교하는 데 실패합니다. 또한, 표준 차분 테스트 (DT) 는 출력 차이를 식별하지만 테스트 오라클 없이는 안전 영향을 평가할 수 없으며, 표준 변형 테스트 (MT) 는 오라클 문제를 해결하지만 버전별 차이를 효율적으로 타겟팅하지는 못할 수 있습니다.

2. 방법론: CoCoMagic

저자들은 해석 가능성 계층을 통합한 차분 테스트, 변형 테스트, 협력 공진화 알고리즘 (CCEA) 을 결합한 프레임워크인 CoCoMagic(해석 가능한 사례를 위한 협력 공진화 차분 및 변형 자동 생성기) 을 제안합니다.

2.1 핵심 프레임워크

CoCoMagic 은 참조 버전 ($V_{ref}$) 과 테스트 버전 ($V_{test}$) 간의 변형 관계 (MR) 위반 정도 차이를 최대화하는 소스 시나리오 ($s$) 와 변형 ($q$) 쌍을 찾기 위해 테스트 케이스 생성을 제약된 검색 문제로 공식화합니다.

• 차분 테스트 (DT): 동일한 입력 하에서 두 AS 버전의 출력을 비교하여 행동 차이를 감지합니다.
• 변형 테스트 (MT): 입력과 기대 출력 관계 사이의 관계인 MR(예: "보행자가 나타나면 속도가 감소해야 함") 을 정의함으로써 오라클 문제를 해결합니다. 출력 관계가 성립하지 않을 때 위반이 발생합니다.
• 협력 공진화 알고리즘 (CCEA): 검색 공간은 두 개의 공진화 집단으로 분해됩니다:
  1. 소스 시나리오 ($P_s$): 초기 운영 조건을 나타냅니다.
  2. 변형 ($P_q$): MR 에서 파생된 변환 (예: 보행자 추가, 날씨 변경) 을 나타냅니다.
     두 집단에서 개별 개체들이 협력하여 완전한 솔루션 (시나리오 - 변형 쌍) 을 형성합니다. 개체의 적합도는 반대 집단 구성원들과의 최상 협력에 의해 결정됩니다.

2.2 주요 메커니즘

• 적합도 함수: 목표는 $V_{ref}$와 $V_{test}$ 간의 MR 위반 정도 차이의 절대값을 최대화하는 것입니다:
  $$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$$
  여기서 $E$는 MR 위반 정도를 정량화합니다.
• 제약된 검색 및 현실성: 생성된 테스트 케이스가 실제 적용 가능성을 갖도록 보장하기 위해, 검색은 실제 시스템 실행에서 수집된 실행 시나리오 집합 ($S$) 으로 제약됩니다. 현실적인 시나리오와 크게 벗어난 솔루션은 비유사성 지표로 패널티를 받아 검색이 운영상 타당한 조건을 향해 유도됩니다.
• 런타임 초기화 (RI): 초기 집단은 무작위 생성 대신 실행 시나리오 집합 $S$에서 샘플링된 시나리오로 시드되어 현실적인 실패 모드로의 수렴을 가속화합니다.
• 해석 가능성 (근본 원인 분석): 생성 후, 저자들은 RuleFit 알고리즘을 사용합니다. RuleFit 은 식별된 테스트 케이스로 모델을 훈련하여 인간이 읽을 수 있는 규칙 (예: "속도 > 70km/h 이고 안개 낀 경우, 위반 증가") 을 추출합니다. 이는 버전이 왜 분기하는지, 특정 시나리오 속성이 관찰된 행동 차이와 어떻게 연결되는지 설명합니다.

3. 주요 기여

1. 새로운 테스트 방법: AS 버전 간의 행동 차이를 특정적으로 타겟팅하기 위해 협력 공진화 프레임워크 내에서 MT 와 DT 를 독창적으로 결합한 CoCoMagic 의 도입.
2. 현실성 유도 검색: 생성된 테스트 케이스가 실제 운영 조건을 반영하도록 제약 및 런타임 초기화 전략을 통합하여 자동화된 테스트의 "현실성 격차"를 해결.
3. 해석 가능성 통합: 고차원 테스트 결과를 디버깅 및 안전 평가를 위한 실행 가능한 인간 가독성 규칙으로 변환하는 RuleFit 기반 분석 계층의 통합.
4. 실증적 검증: Carla 시뮬레이터 내 산업 등급 ADS(InterFuser) 에 대한 포괄적 평가를 통해 기존 검색 방법 대비 우수성 입증.

4. 실험 결과

저자들은 Carla 시뮬레이터 내 InterFuser ADS 를 사용하여 CoCoMagic 을 무작위 검색 (RS) 및 표준 유전 알고리즘 (SGA) 과 비교 평가했습니다.

• 효과성 (RQ1): CoCoMagic 은 기존 방법보다 MR 위반을 드러내는 더 많은 고유한 테스트 케이스를 식별했습니다. 평균 적합도 (불일치 심각도) 는 SGA 대비 53%, RS 대비 40% 높았습니다.
• 효율성 (RQ2): CoCoMagic 은 더 빠르게 고유한 솔루션을 발견하여 SGA 대비 126%, RS 대비 169% 의 곡선 아래 면적 (AUC) 개선을 달성했습니다. 또한 시뮬레이션 충돌과 같은 무효 시나리오를 덜 생성했기 때문에 기존 방법 대비 실행 시간을 약 17% 단축했습니다.
• 제약 및 초기화의 영향 (RQ3):
  • 제약과 런타임 초기화 (RI) 를 적용하면 **평균 실행 거리 (AED)**가 크게 개선되어 테스트 케이스가 실제 실행 시나리오와 약 50% 더 유사해졌습니다.
  • 그러나 현실성에 대한 이러한 초점은 트레이드오프를 초래했습니다: 발견된 고유 솔루션의 총 수가 감소 (RI 와 제약 결합 시 최대 약 34% 감소) 하고, 발견된 가장 극단적인 엣지 케이스의 심각도가 약간 감소했습니다.
• 해석 가능성 (RQ4):
  • 정확도: RuleFit 은 Random Forest 및 GBDT 와 같은 복잡한 블랙박스 모델과Comparable 한 정확도를 달성하면서도 (~29 개의 규칙 vs GBDT 의 수천 개의 경로) 간결한 규칙 집합을 생성했습니다.
  • 전문가 검증: 산업 전문가들은 생성된 규칙을 매우 이해하기 쉽다고 평가했습니다 (평균 점수 4.0/5.0) 그리고 테스트 조건 우선순위 지정에 유용하다고 평가했습니다 (평균 점수 3.8/5.0).

5. 중요성 및 주장

이 논문은 CoCoMagic 이 진화하는 자율 시스템의 차분 테스트를 위한 효율적이고 효과적이며 해석 가능한 접근 방식을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 오라클 격차 해소: MR 을 사용하여 실제 정답 출력이 필요 없이 안전 속성을 검증합니다.
• 버전 인식 테스트: 단일 버전을 테스트하는 이전 방법과 달리, CoCoMagic 은 버전 간 차이를 명시적으로 최적화하여 회귀 테스트 및 업데이트 검증을 직접 지원합니다.
• 실행 가능한 통찰력: 해석 가능성 구성 요소는 단순히 실패를 표시하는 것을 넘어 업데이트가 성능을 저하시키는 특정 조건 (예: 날씨, 속도, 객체 근접성) 을 설명함으로써 표적 디버깅을 지원합니다.
• 실제 적용 가능성: 제약의 사용은 테스트 노력이 배포 시 발생할 가능성이 높은 시나리오에 집중되도록 보장하여 안전 필수 시스템에 대한 테스트 프로세스의 실제 가치를 높입니다.

저자들은 현실성과 효율성을 개선하지만, 검색 공간의 전체 범위 (희귀하고 심각한 엣지 케이스 발견) 를 탐색하는 것과 현실적이고 운영 기반 시나리오에 집중하는 것 사이에는 본질적인 트레이드오프가 있음을 인정하며 겸손한 입장을 견지합니다. 그들은 CoCoMagic 을 안전 평가에서 인간의 판단을 대체하기보다 지원하는 도구로 위치시킵니다.