UAMTERS: Uncertainty-Aware Mutation Analysis for DL-enabled Robotic Software

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율 적응형 로봇 (Self-adaptive robots) 은 예측 불가능한 환경 변화에 대응하기 위해 딥러닝 (DL) 구성 요소를 활용하여 인지, 의사결정, 제어를 수행합니다. 이는 로봇의 자율성을 높이지만, DL 모델의 본질적인 불확실성 (Uncertainty) 으로 인해 동적 환경에서의 신뢰성 보장이 어렵습니다.
• 문제점:
  • 기존 변이 분석 (Mutation Analysis) 은 소프트웨어의 결함을 주입하여 테스트 스위트의 효과를 평가하는 기법이지만, DL 기반 로봇 소프트웨어의 고유한 확률적 불확실성 (Stochastic Uncertainty) 을 명시적으로 고려하지 못합니다.
  • 기존 DL 변이 분석 도구 (DeepMutation, DeepCrime 등) 는 주로 모델 구조나 가중치에 결함을 주입하거나, 드롭아웃 (Dropout) 을 정규화 기법으로만 간주하여 추론 시의 예측 불확실성을 체계적으로 시뮬레이션하지 못합니다.
  • 따라서, 불확실성으로 인해 발생하는 실패를 탐지할 수 있는 테스트 스위트의 품질을 평가할 수 있는 새로운 방법론이 필요합니다.

2. 제안 방법론: UAMTERS (Methodology)

저자들은 UAMTERS라는 불확실성 인식 변이 분석 프레임워크를 제안했습니다. 이 프레임워크는 MAPLE-K 루프 (자율 적응 로봇의 안전성 검증 프레임워크) 의 'Legitimate' 구성 요소를 지원하며, 다음과 같은 핵심 단계로 구성됩니다.

A. 불확실성 인식 변이 연산자 (Uncertainty-Aware Mutation Operators)

기존의 고정된 결함 주입 대신, DL 모델 추론 시점에 확률적 불확실성을 명시적으로 주입하는 두 가지 새로운 연산자를 설계했습니다.

1. MC-Dropout 기반 변이 (MCD): 추론 시 드롭아웃 레이어를 활성화하여 뉴런을 무작위로 제거함으로써 불확실성을 주입합니다. 드롭아웃 비율 ($\mu$) 을 조절하여 불확실성의 강도를 제어합니다.
2. MC-DropBlock 기반 변이 (MCB): 객체 감지 모델 (CNN) 에 특화된 기법으로, 특징 맵 (Feature Map) 에서 뉴런이 아닌 연속적인 영역 (Block) 을 무작위로 제거합니다. 드롭아웃 비율과 블록 크기를 조절하여 불확실성의 공간적 범위를 제어합니다.

B. 새로운 변이 점수 (Mutation Scores) 정의

기존의 이미지 단위 (Image-level) 변이 점수만으로는 객체 감지 모델의 미세한 성능 저하를 포착하기 어렵기 때문에, 세 가지 새로운 차원의 점수를 제안했습니다.

1. 객체 단위 변이 점수 (Object-level MS):
   • Miss: 원래 모델은 감지했으나 변이 모델이 놓친 객체 비율.
   • Ghost: 변이 모델은 감지했으나 원래 모델은 놓친 (거짓 양성) 객체 비율.
   • Combined: Miss 와 Ghost 를 모두 고려한 종합 점수.
2. IoU 기반 변이 점수 (IoU-based MS): 매칭된 객체들의 바운딩 박스 겹침 정도 (IoU) 의 감소를 정량화하여 공간적 위치 예측의 불안정성을 측정합니다.
3. 불확실성 인식 변이 점수 (Uncertainty-Aware MS, UA-MS):
   • 모델의 예측 불확실성 지표 (VR, Shannon Entropy, Mutual Information 등) 를 활용하여, 원래 모델과 변이 모델 간의 불확실성 차이를 측정합니다. 이는 테스트 스위트가 불확실성으로 인한 행동 변화를 얼마나 잘 포착하는지 평가합니다.

3. 주요 기여 (Key Contributions)

1. UAMTERS 프레임워크: DL 기반 로봇 소프트웨어를 위해 불확실성을 명시적으로 주입하고 평가하는 새로운 변이 분석 프레임워크를 제안했습니다.
2. 새로운 변이 연산자 및 점수: 추론 시점의 불확실성을 시뮬레이션하는 MCD/MCB 연산자와, 이를 정량화하는 19 가지의 새로운 변이 점수 (Obj-MS, IoU-MS, UA-MS 등) 를 개발했습니다.
3. 광범위한 실증 평가: 산업 수준의 3 가지 로봇 사례 연구 (노트북 스티커 제거 로봇, 노트북 분해 로봇, TIAGo Pro 휴머노이드) 와 7 개의 임베디드 DL 모델, 8 개의 테스트 스위트에 대한 실험을 수행했습니다.

4. 실험 결과 (Results)

세 가지 연구 질문 (RQ) 을 통해 다음과 같은 결과를 도출했습니다.

• RQ1 (전통적 vs 제안된 점수 비교):
  • 기존 이미지 단위 변이 점수 (Img-MS) 는 다양한 테스트 스위트 간의 품질 차이를 구분하지 못하거나 (모든 값이 1.0 등), 민감도가 낮았습니다.
  • 반면, 제안된 Obj-MS, IoU-MS, UA-MS는 테스트 스위트의 품질 차이를 명확하게 구분했으며, 불확실성으로 인한 실패를 더 민감하게 포착했습니다.
• RQ2 (테스트 스위트 품질 구분 능력):
  • 통계적 검정 (Kruskal-Wallis) 결과, 제안된 점수들은 대부분의 모델에서 통계적으로 유의미한 차이 ($p < 0.01$) 를 보였으며, 효과 크기 (Eta-squared) 가 큰 편이었습니다.
  • 특히 MS_miss_obj (놓친 객체 기반) 와 IoU-MS가 테스트 스위트 품질을 구분하는 데 가장 일관되게 효과적이었습니다.
• RQ3 (불확실성 수준에 따른 영향):
  • 변비 비율 (드롭아웃/블록 크기) 이 증가함에 따라 (불확실성 증가), 제안된 점수들은 일관되게 증가하는 경향을 보였습니다.
  • Obj-MS와 IoU-MS는 불확실성 수준과 매우 높은 상관관계 (Spearman's $\rho \approx 1.0$) 를 보여, 모델 성능 저하를 효과적으로 추적함을 입증했습니다.
  • 일부 UA-MS 지표는 모델에 따라 불안정하거나 역상관 관계를 보였으나, 전반적으로 불확실성 증가에 따른 모델의 열화를 감지하는 데 유효했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 테스트 평가: DL 기반 로봇 소프트웨어의 핵심 문제인 '불확실성'을 변이 분석에 통합함으로써, 테스트 스위트가 실제 동적 환경에서 발생할 수 있는 실패를 얼마나 잘 발견하는지 더 정확하게 평가할 수 있게 되었습니다.
• 안전성 강화: 제안된 프레임워크는 자율 적응 로봇의 MAPLE-K 루프 내 'Legitimate' 단계에서 계획된 행동의 안전성을 검증하는 데 직접적으로 활용될 수 있습니다.
• 향후 방향: UAMTERS 는 테스트 스위트의 품질을 개선하고, 불확실성 기반의 테스트 생성 및 우선순위 결정에 활용될 수 있으며, 향후 비전 - 언어 - 행동 (Vision-Language-Action) 모델 등 더 복잡한 DL 아키텍처로 확장될 수 있습니다.

요약: 본 논문은 DL 기반 로봇 소프트웨어의 고유한 불확실성을 고려한 새로운 변이 분석 프레임워크 (UAMTERS) 를 제안하고, 이를 통해 기존 방법론보다 훨씬 정밀하게 테스트 스위트의 품질을 평가하고 불확실성으로 인한 실패를 포착할 수 있음을 실증했습니다.