Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

본 논문은 수집된 데이터로부터 운영 설계 영역 (ODD) 을 도출하기 위해 다차원 커널 기반 표현을 활용하는 새로운 자동화된 안전 설계 (Safety-by-Design) 방법을 제안하며, 몬테카를로 시뮬레이션과 실제 항공기 충돌 회피 사례를 통해 검증된 안전-중요 AI 시스템의 인증 과제를 해결합니다.

핵심

로봇이 비행기를 조종하도록 가르친다고 상상해 보세요. 로봇이 안전하려면 어디에서 언제 비행이 허용되는지 정확히 알려주어야 합니다. AI 안전 분야에서 이 "허용 구역"은 **운용 설계 영역 (Operational Design Domain, ODD)**이라고 불립니다.

전통적으로 전문가들은 화이트보드 앞에 앉아 이 구역을 손으로 그리며 "비 내릴 때 비행 금지"나 "고도 30,000 피트 이상 비행 금지"와 같은 규칙을 적어냈습니다. 하지만 현실 세계는 복잡합니다. 날씨, 교통, 바람이 서로 얽히는 방식은 화이트보드에 완벽하게 나열할 수 없을 정도로 복잡합니다. 이로 인해 로봇은 안전하다고 생각하지만 실제로는 알려지지 않은 위험 상황에 처해 있는 안전 공백이 자주 발생합니다.

이 논문은 그 안전 구역을 그리는 새로운 방식을 제안합니다: 데이터에게 그 구역을 그리게 하십시오.

일상적인 비유를 들어 그들이 어떻게 했는지 간단히 설명해 드리겠습니다.

1. 문제: "빈 지도"

도시 지도가 있는데, 거리들이 안개에 가려져 있다고 상상해 보세요. 도시가 존재한다는 것은 알지만, 안전한 도로가 어디이고 절벽이 어디인지 정확히 알지 못합니다.

• 옛 방식: 전문가들이 경험을 바탕으로 도로가 어디일지 추측합니다. 숨겨진 절벽을 놓칠 수 있습니다.
• 새 방식: 수천 개의 빛나는 구슬 (데이터 포인트) 을 지도 위에 떨어뜨립니다. 구슬이 떨어진 곳은 안전하다고 알 수 있습니다. 구슬이 떨어지지 않은 곳은 위험할 수 있다고 가정합니다.

2. 해결책: "빛나는 그물"

저자들은 흩어진 데이터 포인트들을 매끄럽고 연속적인 안전 지도로 변환하는 방법을 고안했습니다. 이를 **커널 기반 표현 (Kernel-Based Representation)**이라고 부릅니다.

각 데이터 포인트 (안전한 비행 조건) 를 모닥불이라고 생각하세요.

• 불꽃: 모닥불 바로 옆은 매우 따뜻합니다 (매우 안전함).
• 열기: 불꽃에서 멀어질수록 열기는 약해집니다. 갑자기 멈추는 것이 아니라 서서히 식다가 거의 느껴지지 않을 정도로 미약해집니다.
• 그물: AI 시스템은 이 모든 모닥불의 온기를 합쳐 거대한 보이지 않는 "열지도"를 생성합니다.
  • 열기가 강한 곳에 서 있다면 안전 구역 안에 있는 것입니다.
  • 불꽃 사이의 차가운 곳에 있다면 안전 구역 밖인 것입니다.

모닥불 주변에 딱딱한 상자를 그리는 것보다 이 방식이 더 나은 이유는 그 사이의 "회색 지대"를 고려하기 때문입니다.

3. 실수를 위한 "안전망"

실수로 절벽 가장자리처럼 실제로 위험한 곳에 구슬을 떨어뜨렸다면 어떻게 될까요? 시스템은 그곳에 모닥불을 세우지 말아야 한다는 것을 알아야 합니다.

• 저자들은 다음과 같은 규칙을 추가했습니다: "위험한" 데이터 포인트가 인근 모닥불로부터 너무 많은 열기를 받으면, 시스템은 그 위험 지점이 다시 차가워질 때까지 주변 모닥불의 불빛을 자동으로 약하게 조절합니다.
• 이를 통해 안전 구역이 실수로 알려진 위험을 덮지 않도록 보장합니다.

4. 인증에 왜 중요한가

비행기나 자동차의 사용 승인을 받기 위해 규제 기관은 규칙이 확실한지 알아야 합니다.

• 결정론적: 이 논문에 따르면, 동일한 데이터로 이 과정을 두 번 실행하면 매번 동일한 안전 지도가 나옵니다. 이는 "블랙박스" 추측이 아니라 수학적 계산입니다.
• 순서 무관성: 데이터를 아침에 컴퓨터에 넣든 오후에 넣든, 혹은 순서를 다르게 넣든 상관없습니다. 결과는 항상 동일합니다.
• 보수적: 시스템이 특정 지점이 안전한지 확신하지 못할 때 (해당 지점에 데이터 포인트가 없기 때문에), 그 지점을 위험하다고 가정합니다. 이는 안전이 중요한 시스템에 필수적인 "안전이 최우선" 접근법입니다.

5. 증명: "비행 시뮬레이터" 테스트

저자들은 이 방법을 두 가지 방식으로 테스트했습니다.

1. 수학적 시뮬레이션: 컴퓨터 위에 가상의 완벽한 안전 구역을 만든 다음, 흩어진 데이터 포인트만을 사용하여 이를 재구성해 보았습니다. 그들의 "빛나는 그물" 방식은 원래 구역을 98% 이상의 정확도로 재현했습니다.
2. 실제 항공: 실제 항공 문제인 충돌 회피에 적용했습니다. 비행기끼리 충돌하는 것을 막도록 설계된 시스템의 데이터를 사용했습니다. 이 방법은 해당 복잡한 시스템의 안전한 운용 조건을 성공적으로 매핑하여, 실제의 복잡한 데이터로도 작동함을 입증했습니다.

요약

이 논문은 안전이 중요한 시스템의 원시 데이터를 받아 그 주변에 정밀하고 수학적으로 입증된 "안전 구역"을 자동으로 그리는 도구 (autoSAFE라고 명명됨) 를 제시합니다. 규칙을 추측하는 대신 데이터 자체에서 경계를 학습하여 AI 가 안전이 입증된 곳에서만 작동하도록 보장합니다. 이는 비행기 조종이나 자동차 운전과 같은 분야에서 AI 시스템을 인증하는 것을 훨씬 더 쉽게 만듭니다.

기술 요약

기술 요약: 데이터로부터 안전-중요 AI 기반 시스템의 운영 조건 정의

1. 문제 제기

항공, 자동차와 같은 안전-중요 분야에 인공지능 (AI) 이 빠르게 도입됨에 따라 엄격한 안전 보증 및 인증이 필수적입니다. AI 기반 시스템을 인증하기 위한 핵심 요구사항은 시스템이 안전하게 작동하도록 의도된 특정 환경 및 운영 조건의 집합인 **운영 설계 영역 (Operational Design Domain, ODD)**을 정의하는 것입니다.

전통적으로 ODD 는 개발 초기 단계에서 도메인 전문가가 수동으로 정의합니다. 그러나 복잡한 실제 시스템의 경우 이 접근 방식은 다음과 같은 중대한 도전에 직면합니다:

• 복잡성: 매개변수 간의 상호 관계 (온톨로지) 를 정의하는 것은 어렵고 종종 불완전합니다 (예: 날씨가 착륙 속도에 미치는 영향).
• 정적 성격: 전문가가 정의한 ODD 는 암묵적인 매개변수 종속성을 포착하지 못하거나 새로운 데이터에 적응하지 못할 수 있습니다.
• 인증 격차: 현재 데이터 기반 접근 방식은 종종 공식 인증의 전제 조건인 결정론적이고 순서 독립적인 표현 또는 ODD 유사성을 위한 공식적 프레임워크가 부족합니다.

기존의 수학적 표현 (예: 볼록 다면체) 은 비선형 ODD 온톨로지를 모델링하지 못하며, 신경망 기반 접근 방식은 순서 의존성과 불확실성을 도입합니다. 따라서 결정론적이고, 순서 독립적이며, 경계가 설정되어 있고, 해석 가능한 방법으로 데이터로부터 직접 ODD 를 도출할 수 있는 방법이 필요합니다.

2. 방법론

본 논문은 수집된 데이터로부터 다차원 커널 기반 표현을 사용하여 사후 (a posteriori) 에 ODD 를 정의하는 Safety-by-Design 방법을 제안합니다. 핵심 방법론은 다음과 같은 단계를 포함합니다:

2.1 수학적 형식화

저자들은 ODD 를 수학적 구조 $O = (X, R^O, f^O, \Omega^O)$로 형식화합니다. 여기서 $X$는 분류 체계 (매개변수 공간), $R^O$는 온톨로지 (제약 조건), $f^O$는 해석 함수입니다. 특히, 저자들은 의미적 동등성이 아닌 데이터 중심 동등성으로 ODD 유사성($O_1 \sim O_2$) 을 정의합니다. 즉, 두 ODD 가 동일한 데이터셋 $Y$를 생성할 때 유사하다고 간주합니다.

2.2 커널 기반 친화도 표현

수동으로 경계를 구성하는 대신, 이 방법은 데이터 샘플로부터 직접 ODD 를 구성합니다:

• 앵커 포인트: 분포 내 (In-distribution, ID) 샘플 ($D_{ID}$) 은 앵커 포인트 ($A$) 로 작용합니다. 분포 외 (Out-of-distribution, OOD) 샘플 ($D_{OOD}$) 은 명시적으로 제외됩니다.
• 국소 친화도: 각 앵커 포인트 $x_i$에 대해 양의 정부호 커널 (구체적으로 반경 기반 함수 (RBF) 커널) 을 사용하여 국소 친화도 함수 $\alpha_i(x)$를 정의합니다.
• 전역 친화도: 전역 ODD 소속 여부는 국소 친화도들의 중첩에 의해 결정됩니다:
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  샘플 $x$가 $\alpha(x) \geq \zeta$일 때 ODD 에 속하며, 여기서 $\zeta$는 사전 정의된 임계값입니다.

2.3 자동화된 매개변수화

프로세스가 완전히 자동화되고 수동 튜닝을 피하도록 하기 위해:

• 대각 공분산: 국소 독립성과 균일한 앵커 포인트 분포를 가정하여 커널 공분산 행렬 $\Sigma$가 대각 행렬이라고 가정합니다.
• 거리 의존적 스케일링: $\Sigma$의 대각 성분은 가장 가까운 이웃까지의 거리 ($d^*_i$) 의 함수로 정의됩니다:
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  이를 통해 하이퍼파라미터의 수를 $N \times n^2$에서 하한 $\lambda$를 더한 두 개 ($\kappa, \eta$) 로 줄입니다.

2.4 OOD 일관성 제약

안전성을 보장하기 위해 이 방법은 OOD 샘플이 ODD 의 일부로 분류되어서는 안 된다고 강제합니다. OOD 샘플 $x$가 임계값을 위반하는 경우 ($\alpha(x) > \xi$), 알고리즘은 해당 점에 가장 영향력 있는 커널의 공분산 행렬을 반복적으로 축소합니다. 이 과정은 순서 독립적이며 유한한 단계에서 종료함이 증명되어, 모든 OOD 샘플에 대해 $\alpha(x) \leq \xi$가 보장됩니다.

3. 주요 기여

1. 결정론적, 순서 독립적 프레임워크: 본 논문은 데이터에 의해 고유하게 결정되고 샘플 순서에 불변인 커널 기반 표현을 사용하여 데이터로부터 ODD 를 도출하는 최초의 완전 자동화 파이프라인을 제시합니다.
2. ODD 유사성의 공식적 정의: 의미적 정렬이 필요 없이 데이터 기반 ODD 를 기준 진실 (ground truth) 또는 대리 변수와 비교할 수 있도록 하는 데이터 중심 ODD 유사성 정의가 도입되었습니다.
3. Safety-by-Design 구현: 결과적으로 도출된 ODD 표현은 경계가 설정되어 있고, 보수적이며 (희소 영역에서 실제 ODD 를 과소 추정하며), 해석 가능하여 향후 AI 인증의 핵심 요구사항을 충족합니다.
4. 희소 데이터 처리: 이 방법은 희소 데이터 영역에서도 효과적으로 작동하도록 설계되어 초기 개발 단계에 적용 가능합니다.
5. 오픈 소스 도구 (autoSAFE): 저자들은 이 프레임워크를 구현하고 다양한 데이터 형식 (CSV, JSON/ASAM OpenLABEL) 과 효율적인 최근접 이웃 검색을 지원하는 도구 (autoSAFE) 를 개발하여 오픈 소스로 공개했습니다.

4. 검증 및 결과

이 방법론은 두 가지 주요 실험을 통해 검증되었습니다:

4.1 몬테카를로 시뮬레이션

• 설정: 선형 부등식 제약 조건이 있는 합성 2D ODD 가 생성되었습니다. 앵커 포인트는 실제 ODD 에서 샘플링되었고, 검증 샘플은 더 넓은 초직사각형 (hyperrectangle) 전반에 걸쳐 생성되었습니다.
• 결과: 데이터 기반 ODD 는 실제 기본 ODD 및 앵커 포인트의 볼록 껍질과 비교되었습니다.
  • 정밀도 및 재현율 곡선은 데이터 기반 ODD 와 볼록 껍질 간에 강한 상관관계를 보여주었습니다 (정밀도 $R^2 = 0.9855$, 재현율 $R^2 = 0.9987$).
  • 이는 기준 진실 ODD 를 알 수 없는 경우 볼록 껍질이 친화도 임계값 튜닝을 위한 신뢰할 수 있는 대리 변수로 작용할 수 있음을 시사합니다.
  • 결과는 최대 10 차원 및 복잡한 관계 함수에서도 유효했습니다.

4.2 실제 항공 사용 사례 (VCAS)

• 맥락: 이 방법은 차세대 ACAS X 시스템의 구성 요소인 **수직 충돌 회피 시스템 (Vertical Collision Avoidance System, VCAS)**에 적용되었습니다.
• 데이터: 데이터셋은 상태 벡터 (상대 고도, 수직 속도, CPA 까지 시간, 이전 권고 사항) 를 나타내는 622,110 개의 앵커 포인트를 포함했습니다.
• 결과:
  • 데이터 기반 ODD 는 알려진 기준 진실 ODD 및 볼록 껍질과 비교되었습니다.
  • 높은 결정 계수가 관찰되었습니다 (정밀도 $R^2 = 0.991$, 재현율 $R^2 = 0.999$).
  • 이러한 결과는 몬테카를로 시뮬레이션에 비해 앵커 포인트의 밀도가 낮음에도 불구하고, 커널 기반 접근 방식이 현실적이고 고차원인 안전-중요 시나리오에서 잘 작동함을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 데이터만으로는 ODD 를 "완전히 진실하게" 재구성하는 것이 항상 가능하지는 않지만, 제안된 커널 기반 접근 방식이 인증 목적으로 기본 ODD 를 충분히 근사한다고 주장합니다.

• 인증 준비성: 이 방법은 운영 경계를 정의하기 위해 수학적으로 엄격하고, 결정론적이며, 설명 가능한 기반을 제공합니다. 이는 지속적인 안전 평가와 명확한 운영 한계를 요구하는 규제 프레임워크 (예: EASA) 를 지원합니다.
• 런타임 모니터링: 경직된 기하학적 경계와 달리, 연속적인 친화도 함수 $\alpha(x)$는 등급화된 경고 구역을 허용합니다. 시스템 상태가 앵커 포인트에서 벗어나면 친화도 점수가 부드럽게 감소하여 단단한 안전 경계를 넘기 전에 분포 외 조건을 조기에 감지할 수 있게 합니다.
• 보수성: 이 접근 방식은 본질적으로 보수적입니다. 희소 데이터 영역에서 도출된 ODD 는 실제 안전 영역을 과소 추정하여 시스템이 충분한 훈련 데이터로 지원되는 영역에서만 배포되도록 보장합니다. 이는 Safety-by-Design 원칙과 일치합니다.
• 한계: 저자들은 이 방법이 커널 매개변수 ($\kappa, \eta$) 에 의존하며, 대각 공분산 가정은 차원 간 종속성을 단순화한다고 인정합니다. 또한 결과 ODD 가 희소 영역에서 과도하게 보수적이어서 유효한 운영 조건을 제외할 수 있음을 지적하지만, 이는 안전 보장을 위한 필수적인 타협이라고 주장합니다.

결론적으로, 이 연구는 경험적 데이터와 안전-중요 시스템의 AI 인증에 대한 엄격한 요구 사항 간의 격차를 해소하는 공식적 안전 논리와 호환되는 데이터 기반 ODD 구축을 위한 경로를 확립합니다.