Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing

안전-중요 머신러닝을 위한 런타임 모니터링 접근법 통합: 비전 기반 착륙 적용에 대한 해당 논문의 상세 기술 요약입니다.

1. 문제 제기

머신러닝 (ML), 특히 심층 신경망 (DNN) 을 안전-중요 시스템 (예: 항공, 자율주행) 에 통합하는 것은 상당한 신뢰성 문제를 야기합니다. DNN 은 견고성이 부족하며, 종종 예측하지 못한 입력 하에서 실패하고, 잘못된 예측에 대해 과도한 확신을 보입니다. 이러한 위험을 완화하기 위해 런타임 안전 모니터가 존재하지만, 현재 연구는 서로 다른 커뮤니티 (신뢰성 공학 대 머신러닝) 에 걸쳐 분열되어 있습니다.

• 격차: 기존 모니터링 방법은 서로 다른 용어와 범위를 가진 실리 (silos) 내에서 작동합니다. 일부는 시스템 수준의 운영 제약에 초점을 맞추고, 다른 일부는 통계적 데이터 분포 변화에, 또 다른 일부는 모델 내부 상태에 초점을 맞춥니다.
• 결과: 이러한 통합 부재는 부분적인 안전 커버리지, 중복되는 방법론, 그리고 공통 지표를 사용하여 서로 다른 모니터를 비교하거나 결합하는 어려움을 초래합니다. 위협을 체계적으로 분류하고 적절한 모니터링 전략을 선택할 수 있는 통합된 프레임워크는 존재하지 않습니다.

2. 방법론: SwMF 프레임워크

저자들은 SwMF(Safety-critical ML Monitoring Framework, 안전-중요 ML 모니터링 프레임워크) 라는 통합 프레임워크를 제안합니다. 이 프레임워크는 ML 입력 공간을 재정의하고, 각 모니터링 접근법이 해결하는 특정 "데이터 위협"에 따라 이를 분류합니다.

A. 입력 공간의 분해

저자들은 ML 입력 공간 (예: 이미지) 에 세 가지 핵심 개념을 투영하여 고유한 영역과 위협을 정의합니다:

1. 운영 설계 영역 (ODD): 시스템이 작동하도록 설계된 조건의 집합 (예: 기상, 고도, 활주로 가시성).
   • 위협: ODD 위반. 의도된 운영 조건을 벗어난 입력.
2. 동일 분포 영역 ($D_{ID}$): 학습 데이터와 동일한 분포에서 추출된 데이터.
   • 위협: 분포 외 (OOD) 위협. ODD 내에는 있지만 학습 데이터와 통계적으로 다른 입력 (예: 조명 변화와 같은 공변량 변화, 또는 새로운 객체 클래스와 같은 의미론적 변화).
3. 모델 범위 ($D_f$): 특정 ML 모델 $f$가 올바른 예측을 생성하는 입력의 부분집합.
   • 위협: 동일 분포 (ID) 오류. $D_{ID}$ 내에 있지만 여전히 모델이 실패하게 만드는 입력 (예: 적대적 공격, 미묘한 물리적 결함, 또는 모델 일반화 한계).

B. 모니터 분류

이러한 위협을 기반으로 프레임워크는 세 가지 보완적인 모니터 카테고리를 정의합니다:

1. ODD 모니터: 사전 정의된 제약 조건에 대해 시스템 변수 (예: GPS, IMU, 기상 센서) 를 검증하는 규칙 기반 모니터입니다. 운영 조건이 유효하지 않으면 ML 모델에 도달하기 전에 입력을 거부합니다.
2. OOD 모니터: 학습 분포와 비교하여 입력 데이터의 통계적 이상 (예: 밝기, 엔트로피, 에지 밀도) 을 감지하는 데이터 기반 모니터입니다. ODD 내에는 있지만 학습 분포에서 벗어난 입력을 거부합니다.
3. OMS(Out-of-Model-Scope, 모델 범위 외) 모니터: ML 모델의 내부 특징 (예: 로짓, 뉴런 활성화) 또는 출력을 분석하여 이상 행동을 감지하는 사후 (post-hoc) 모니터입니다. 입력이 "정상"으로 보이더라도 모델이 실패할 가능성이 높은 입력을 특히 대상으로 합니다.

C. 실험 설정

• 적용 분야: 비전 기반 착륙 (VBL), 구체적으로 활주로 감지 (VBRD) 하작업.
• 데이터셋: Google Earth Studio 를 통해 생성된 합성 이미지인 LARD 데이터셋.
• 모델: YOLOv5-n(단일 단계 객체 감지기).
• 아키텍처: ODD 모니터가 먼저 실행되고, 그 다음 OOD 모니터가, 마지막으로 모델 예측 후 OMS 모니터가 실행되는 직렬 모니터링 파이프라인.
• 평가 지표: Guerin 등이 제안한 안전 중심 지표:
  • 안전 이득 (SG): 올바르게 필터링된 위험 상황의 비율.
  • 잔류 위험 (RH): 놓친 위험 상황의 비율.
  • 가용성 비용 (AC): 잘못 거부된 안전한 상황의 비율 (오경보).

3. 주요 기여

1. 통합 용어: 논문은 ODD, OOD, OMS 의 정의를 명확히 하여, 문헌에서 종종 상호 교환적으로 사용되는 이러한 용어들 사이의 모호성을 해소합니다. 이는 *데이터 분포 변화 (OOD)*와 *모델 실패 영역 (OMS)*을 명시적으로 구분합니다.
2. 위협 기반 분류: 구체적인 데이터 위협 (ODD 위반, OOD 변화, ID 오류) 과 적절한 모니터링 카테고리 간의 공식적인 매핑을 도입하여 안전 엔지니어를 위한 체계적인 설계 가이드를 제공합니다.
3. 상호 보완성 입증: 실험을 통해 저자들은 이 세 가지 모니터 유형이 서로 다른 실패 모드를 다루며 본질적으로 중복이 아닌 상호 보완적임을 증명합니다.
4. 통합 평가: 프레임워크는 단일 세트의 안전 지표 (SG, RH, AC) 를 사용하여 다양한 모니터를 비교할 수 있게 합니다.

4. 실험 결과

이 연구는 두 가지 실험으로 수행되었습니다:

실험 1: 명목 테스트 세트 (합성 데이터)

• 기준선: YOLOv5-n 모델은 약 20% 의 잔류 위험 (RH) 을 보였습니다 (즉, 이미지의 20% 가 오류를 유발함).
• 개별 성능:
  • ODD 모니터는 오류의 약 4.6% 를 감지했습니다 (SG).
  • OOD 모니터는 오류의 약 4.1% 를 감지했습니다.
  • OMS 모니터는 오류의 약 4.0% 를 감지했습니다.
• 결합 성능: 세 가지 모니터를 순차적으로 적용했을 때, 안전 이득은 **9.7%**로 증가했고 잔류 위험은 **10.5%**로 감소했습니다.
• 트레이드오프: 결합된 접근 방식은 가용성 비용 (AC) 을 약 31% 로 증가시켰으며, 이는 안전한 이미지의 약 30% 가 거부되었음을 의미합니다. 이는 "안전 대 가용성" 트레이드오프를 강조합니다.

실험 2: 손상된 데이터 (견고성 테스트)

• 설정: 이미지 밝기 변화, 흐림, 안개, 노이즈로 손상되었습니다.
• OOD 모니터: 손상된 이미지를 거부하는 데 매우 효과적이었습니다 (높은 SG), "예방적" 필터 역할을 했습니다. 그러나 모델이 올바르게 처리할 수 있었을지라도 데이터를 거부했기 때문에 가용성 비용 (AC) 이 높았습니다.
• OMS 모니터: 손상된 데이터에서는 OOD 보다 효과가 낮았습니다. 이는 "깨끗하지만 어려운" 입력 (ID 오류) 에서 가장 잘 수행되었습니다.
• 결론: 결과는 직렬 아키텍처를 검증합니다. OOD 모니터는 먼저 명백한 분포 변화를 필터링해야 하며, 이를 통해 OMS 모니터가 나머지 "안전한" 분포 내의 미묘한 모델 실패에 집중할 수 있게 합니다.

5. 중요성 및 결론

• 체계적인 안전 설계: SwMF 프레임워크는 운영, 통계, 모델 특정 등 모든 주요 위협 벡터를 커버하도록 런타임 모니터링 시스템을 설계하기 위한 구조화된 접근 방식을 제공합니다.
• 커뮤니티 간 연결: 이는 신뢰성 공학 커뮤니티 (시스템 수준 안전) 와 ML 커뮤니티 (데이터 분포 및 모델 행동) 간의 격차를 성공적으로 연결합니다.
• 실용적 함의: 이 연구는 모니터를 결합하면 잔류 위험을 줄여 안전성이 크게 향상되지만, 필연적으로 오경보율 (가용성 비용) 이 증가한다는 것을 확인합니다. 향후 작업은 이 트레이드오프를 최적화하고 운영 위협을 더 잘 대표하도록 이러한 모니터를 학습하기 위한 데이터 선택을 개선하는 데 초점을 맞춰야 합니다.

요약하자면, 해당 논문은 고립된 솔루션을 넘어 전체적인 안전 아키텍처로 이동하기 위해, 항공 시스템에서 ML 의 안전한 배포를 위해 통합된 다중 계층 모니터링 전략이 필수적이라고 주장합니다.