Formally Guaranteed Control Adaptation for ODD-Resilient Autonomous Systems

1. 문제 정의 (Problem)

자율 시스템 (Autonomous Systems) 이 안전-중요 (Safety-critical) 분야 (의료, 해상 운송 등) 에 통합되면서, 사전에 정의된 **운용 설계 영역 (Operational Design Domain, ODD)**을 벗어난 상황에서도 신뢰할 수 있는 성능을 보장하는 것이 핵심 과제로 대두되었습니다.

• ODD 의 한계: 설계 시 ODD 는 시스템이 안전하게 작동할 것으로 예상되는 조건을 정의하지만, 실제 환경의 복잡성, 환경 변화, 그리고 예측 불가능한 시스템 행동으로 인해 시스템은 ODD 를 벗어난 (Out-of-ODD) 상황에 직면할 수 있습니다.
• 위험 요인: ODD 를 벗어난 상황은 시스템 행동을 본질적으로 불확실하게 만듭니다. 런타임 (Runtime) 에 시스템 자체를 재설계하거나 재학습하는 것은 비용이 너무 많이 들거나 불가능한 경우가 많습니다. 또한, 시스템이 이러한 상황을 감지하지 못하거나, 안전 요구사항을 위반하는 치명적인 상황에 처할 수 있습니다.
• 기존 방법의 부족: 기존 런타임 접근법 (온라인 테스트, 런타임 검증 등) 은 편차를 감지하는 데는 효과적이지만, ODD 를 벗어난 상황을 완화하고 안전 요구사항을 준수하면서 시스템의 기본 모델을 동적으로 적응시키는 체계적인 프레임워크가 부족합니다.

2. 제안 방법론: SAVE (Methodology: SAVE)

저자들은 **SAVE(Situation-Aware Verification and control synthEsis)**라는 새로운 접근법을 제안합니다. 이는 ODD 기반의 상황 중심 모델링 및 적응 프레임워크로, 확률적 모델 체킹 (Probabilistic Model Checking, PMC) 을 활용하여 형식적 보장 (Formal Guarantees) 을 제공합니다.

SAVE 는 전 배치 (Pre-deployment) 및 배치 (Deployment) 두 단계로 나뉘며, MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) 루프와 유사하게 작동합니다.

3.1 전 배치 단계 (Pre-deployment)

1. SCG 확장 (Situation Coverage Grid Augmentation):
   • ODD 에서 추출된 유효한 상황 (Situation) 집합을 기반으로 이산 상태 공간인 SCG 를 생성합니다.
   • 경험적 테스트 데이터를 활용하여 상황 간 전이 확률 (Transition Probabilities) 을 도출하고, 실패 (Failure) 상태를 포함하여 확장된 SCG 를 구성합니다.
2. 확률적 모델 생성:
   • 확장된 SCG 를 기반으로 각 상황에 대한 이산 시간 마르코프 체인 (DTMC) 모델을 생성합니다.
3. 치명적 상황 분석 (Critical Situations Analysis):
   • 확률적 모델 체킹 (PMC, 도구: PRISM) 을 사용하여 안전 속성 (Safety Properties) 을 검증합니다.
   • 요구사항 위반 정도에 따라 **치명성 점수 (Criticality Score)**를 산출합니다. 점수가 높을수록 해당 상황에서의 안전 위험이 큽니다.
   • 이 단계에서 위험한 상황을 식별하고 제어기를 반복적으로 개선하여 모든 테스트된 제어기가 안전하도록 만듭니다.

3.2 배치 단계 (Deployment)

시스템이 실제 환경에서 운영될 때 지속적으로 적응합니다.

1. 모니터링 (Monitoring):
   • 현재 시스템 상황 ($\rho_t$) 과 알려진 실패 조건 ($\xi$) 을 실시간으로 감시합니다.
2. 모델 업데이트 및 분석 (Model Update & Analysis):
   • 수집된 데이터를 바탕으로 전이 확률을 업데이트 (빈도론적 또는 베이지안 접근법) 하여 새로운 확장 SCG 와 DTMC 모델 세트를 생성합니다.
   • 현재 상황의 치명성 점수를 재계산합니다. 만약 안전 요구사항 위반이 감지되면 (점수 > 0), 해당 상황을 "치명적"으로 간주합니다.
3. 제어기 합성 (Controller Synthesis):
   • 적응 루프: 가장 치명적인 상황 (가장 높은 점수) 을 식별하고, 해당 상황으로의 전이를 차단 (확률 0 으로 설정, 상태는 싱크 상태/Sink State 로 변환) 합니다.
   • 이 과정을 반복하여 모든 안전 요구사항을 만족하거나 (치명성 점수 0), 최대 반복 횟수에 도달할 때까지 수행합니다.
   • 결과적으로 안전이 보장된 새로운 제어기가 합성됩니다.
4. 제어기 실행 (Execution):
   • 합성된 제어기를 시스템에 적용하여 안전한 작동을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 상황 중심 접근법: SAS(자율 적응 시스템) 원칙에 기반하여 ODD 에서 추출된 상황을 확률적 모델로 변환하고, 배치 시점에 형식적 보장을 제공하는 제어기를 생성합니다.
2. 전이 확률 인코딩 및 치명성 지표: 마주친 상황 간의 확률적 전이를 인코딩하는 방법과 데이터 기반 업데이트를 포함하는 상황 평가용 치명성 점수 (Criticality Score) 메트릭을 제안했습니다.
3. 런타임 검증 기반 적응 루프: 배치 시 안전 위반을 감지하고, ODD 드리프트 (ODD drift) 상황에서도 안전을 유지하는 제어기를 합성하는 동적 적응 메커니즘을 구현했습니다.

4. 실험 결과 및 평가 (Results)

• 사례 연구: 해상 자율 표류선 (MASS) 이 두 가지 유형의 유인 선박과 조우하는 시나리오를 사용하여 평가했습니다.
• 평가 질문 (RQs):
  • RQ1 (효과성): SAVE 는 ODD 를 벗어난 상황으로 인한 요구사항 위반을 얼마나 효과적으로 줄이는가?
  • RQ2 (적응성): SAVE 의 적응은 기존 고정 제어기 (Baseline) 대비 위반 없는 제어기 합성에 얼마나 효과적인가?
  • RQ3 (확장성): 상황 수가 증가함에 따라 새로운 제어기 합성 시 계산 효율성은 어떠한가?
• 결과:
  • 위반 감소: 20 가지 시나리오 변형 중 14 건에서 SAVE 가 요구사항 위반을 성공적으로 방지했습니다. (기존 Baseline 은 모든 경우에서 충돌 또는 위반 발생)
  • 적응 성공: ODD 를 벗어난 사건 (예: 선박 감속 실패) 발생 시, SAVE 는 충돌을 예측하고 고위험 상황을 차단하여 충돌을 완전히 방지하고 안전 요구사항 ($\Phi_1$: 충돌 회피 확률, $\Phi_2$: 근접 충돌 회피 확률) 을 다시 만족시켰습니다.
  • 성능: PMC 를 통한 치명성 점수 계산은 계산 비용이 가장 큰 부분이지만, 상태 수가 증가함에 따라 선형적으로 증가하는 등 런타임 검증의 실현 가능성을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율 시스템이 예측하지 못한 환경 변화 (Out-of-ODD) 에 직면했을 때, 시스템의 재설계 없이도 형식적으로 검증된 안전 보장을 제공하며 동적으로 적응할 수 있는 체계를 제시했습니다.

• 안전성 강화: 단순한 이상 탐지를 넘어, 위험 상황을 차단하고 새로운 안전 제어기를 실시간으로 합성함으로써 안전-중요 시스템의 신뢰성을 높입니다.
• ODD 와 런타임의 연결: 설계 단계의 ODD, 테스트 데이터, 런타임 검증을 명확하게 연결하여 추적 가능성 (Traceability) 을 제공합니다.
• 미래 방향: 해상 운송 분야를 넘어 다양한 사이버 - 물리 시스템 (CPS) 으로 확장 적용 가능하며, 산업 파트너와의 협력을 통해 실제 시뮬레이션 및 더 복잡한 제어 전략 적응을 연구할 예정입니다.

요약하자면, SAVE 는 자율 시스템이 예상치 못한 위험 상황에서도 수학적 증명을 바탕으로 안전을 유지할 수 있도록 하는 혁신적인 적응형 제어 프레임워크입니다.