기술 요약: 안전 필수 소프트웨어를 위한 결합 테스트 가능성 아키텍처 (JTA)

1. 문제 정의

비행 제어, 자율 주행과 같은 안전 필수 소프트웨어 시스템에서 검증의 적절성은 종종 테스트 케이스의 부족이 아니라, 크리티컬 시나리오를 안정적으로 구축하거나, 실행 증거를 판정 가능한 형태로 조직하거나, 비정상적인 결과를 실행 가능한 엔지니어링 경계로 귀속시키는 능력의 부재로 인해 저해된다. 전통적인 테스트 가능성 연구는 주로 소프트웨어 산출물 자체에 집중하며, 테스트 가능성을 코드의 정적 속성(제어 가능성 및 관측 가능성)으로 취급한다. 그러나 이러한 산출물 중심의 관점은 페일세이프(failsafe) 활성화, 모드 전환 또는 다중 컴포넌트 협업을 포함하는 안전 필수 시나리오에는 불충분하다. 이는 시나리오, 테스트 시스템, 그리고 테스트 대상 시스템(SUT)의 결합된 역량이 적절한 검증을 지원하기에 충분한지 여부를 다루지 못한다. 결과적으로, "코드가 테스트 가능한 것"이 "시나리오 기반 검증이 적절함"을 보장하지는 않는다.

2. 방법론: 결합 테스트 가능성 아키텍처 (JTA)

JTA는 테스트 가능성을 시나리오에 의해 조건화된 결합 시스템의 역량으로 재정의한다. 이는 결합된 역량 격차를 식별하고 메우기 위해 공식적인 아키텍처와 5단계 분석 워크플로우를 제안한다.

2.1 공식 모델

아키텍처는 $JTA = \langle D_\Sigma, D_T, D_S, BC, BO, BI, L \rangle$로 정의되며, 다음을 포함한다:

• 세 가지 도메인:
  • 시나리오 도메인 ($D_\Sigma$): 검증 목표, 제약 조건 및 중요도를 조직한다.
  • 테스트 시스템 도메인 ($D_T$): 자극, 증거 수집 및 판정 생성 역량을 포괄한다.
  • 테스트 대상 시스템(SUT) 도메인 ($D_S$): 기능적 동작과 노출된 검증 훅(제어 지점, 증거 지점, 책임 경계)을 포함한다.
• 세 가지 브릿지 (Bridges): 도메인을 연결하여 역량 불일치를 해결하는 아키텍처 패턴:
  • 제어 브릿지 ($BC$): 시나리오 전제 조건을 재현 가능한 파라미터 설정 및 결함 주입으로 변환한다.
  • 증거 브릿지 ($BO$): 로우 로그(raw logs)와 상태를 자동 판정을 위한 구조화되고 시간적으로 정렬된 증거로 조직한다.
  • 귀속 브릿지 ($BI$): 이상 결과를 특정 트리거 소스와 책임 경계로 매핑하여 복구를 가능하게 한다.
• 폐쇄 루프 (Closed Loop, $L$): 분석, 설계, 평가 및 개선의 반복 프로세스.

2.2 핵심 개념

• 결합 테스트 가능성 시스템 ($JTS_\sigma$): 분석의 단위는 소프트웨어 단독이 아니라, 특정 시나리오, 참여하는 테스트 역량, 그리고 관련 SUT 경계를 나타내는 트리플렛 $\langle \sigma, T_\sigma, S_\sigma \rangle$이다.
• 시나리오 계약 (Scenario Contracts, $SC(\sigma)$): 검증 목표, 전제 조건, 자극 모드, 최소 증거, 판정 규칙, 구별 가능한 결함 소스 세트($r$), 중요도, 그리고 제어 가능성, 관측 가능성, 격리성에 대한 최소 임계값을 명시적으로 정의하는 8-튜플 명세 $\langle g, p, u, e, o, r, \kappa, \Theta \rangle$이다.
• 결합 역량 평가:
  • 제어 가능성 ($C$), 관측 가능성 ($O$), 격리성 ($I$): SUT($CS, OS, IS$)와 테스트 시스템($CT, OT, IT$) 모두에 대해 측정된다.
  • 결합 역량 ($JTCap$): 각 차원에 대해 SUT와 테스트 시스템 역량 중 최솟값으로 정의된다 (예: $JC = \min(CS, CT)$). 이는 "최약체 원칙(weakest link principle)"을 반영한다.
  • 적절성 (Adequacy, $Adeq$): 시나리오는 세 가지 결합 차원이 계약에 정의된 최소 임계값을 충족할 때만 적절하다.
  • 블라인드 스폿 (Blind Spots): $Adeq(\sigma) = 0$인 시나리오.

2.3 5단계 워크플로우

1. 크리티컬 시나리오 식별: 집합 $\Sigma$를 결정하고 중요도 가중치를 할당한다.
2. 시나리오 계약 인스턴스화: 목표, 증거 요구 사항 및 구별할 결함 소스 세트를 명시적으로 정의한다.
   림.
3. 양방향 역량 평가: 계약 요구 사항에 대해 $Cap_S$와 $Cap_T$를 평가한다.
4. 격차 계산 및 블라인드 스폿 식별: 역량 격차 벡터 $Gap(\sigma)$를 계산하고 적절성을 통과하지 못한 시나리오를 식별한다.
5. 브릿지 설계 및 재평가: 격차를 제어, 증거 또는 귀속 브릿지에 대한 특정 설계 동작으로 매핑한 후 재평가한다.

3. 주요 기여

1. 결합 테스트 가능성 시스템 모델 ($JTS_\sigma$): 검증의 대상을 고립된 산출물에서 시나리오로 인스턴스화된 결합 엔티티(시나리오, 테스트 시스템, SUT)로 확장한다.
2. 결함 소스 세트를 포함한 시나리오 계약: 구별 가능한 결함 소스 세트($r$)를 포함하는 공식적인 계약을 도입하여, 격리성을 일반적인 개념에서 귀속을 위한 구체적인 설계 제약 조건으로 변환한다.
3. 브릿지 중심 설계 방법론: "세 가지 도메인, 세 가지 브릿지, 그리고 폐쇄 루프" 프레임워크를 제안하여 역량 격차를 제어, 증거 또는 귀속 브릿지에 대한 실행 가능한 아키텍처 설계 동작(예: 제어 브릿지에 타이밍 컨트롤러 추가 또는 귀속 브릿지에 원인 코드 확장)으로 직접 매핑한다.
4. ArduPilot 사례 연구: ArduPilot의 링크 손실 및 상태 추정 이상 시나리오에서의 블라인드 스폿을 식별함으로써 JTA를 적용함을 입증한다.

4. 결과: ArduPilot 사례 연구

저자들은 오픈 소스 ArduPilot 프로젝트의 세 가지 페일세이프 시나리오인 RC 링크 손실(S1), GCS 하트비트 타임아웃(S2), EKF 상태 추정 이상(S3)에 JTA를 적용하였다.

• S1 (RC Link Loss): **적절함 (1)**로 평가됨. 테스트 시스템과 SUT가 시나리오를 공동으로 지원하지만, 증거 구조화 측면에서 일부 병목 현상이 존재함.
• S2 (GCS Heartbeat Timeout): **부적절함 (0)**으로 평가됨. 시나리오를 트리거할 수는 있으나, 귀속 브릿지가 취약함. 현재의 로그로는 실제 타임아웃과 테스트 툴체인 오류를 구별할 수 없음.
• S3 (EKF Anomalies): **부적절함 (0)**으로 평가됨. 이 시나리오는 제어 가능성(섭동 강도와 타이밍을 분리하는 어려움)과 격리성(EKF 헬스 실패와 동시 발생하는 GPS 성능 저하 사이의 모호함) 모두에서 병목 현상을 드러냄.

시스템 수준 지표: 분석된 시나리오에 대한 중요도 가중 적절성 커버리지($JT(JTS)$)는 **28.6%**로 계산되었으며, 이는 단순한 시나리오를 위한 성숙한 인프라에도 불구하고 고위험 시나리오(예: EKF 이상)가 여전히 중요한 검증 블라인드 스폿으로 남아 있음을 강조한다.

설계 권고 사항: 분석을 통해 다음과 같은 브릿지 수준의 조치들이 도출되었다:

• S2를 위해 "삼원적 귀속 뷰(triadic attribution view: 타임아웃 이벤트–원인 코드–링크 상태)"를 추가할 것.
• S3의 제어 가능성을 개선하기 위해 파라미터화된 섭동 템플릿 및 주입 가능 리플레이 어댑터를 구현할 것.

5. 의의 및 주장

본 논문은 JTA가 기존의 테스트나 안전 분석 기법을 대체하는 것이 아니라, 시나리오 기반 검증을 모델링, 설계 및 평가하기 위한 아키텍처적 기초를 제공한다고 주장한다.

• 관점의 전환: 초점을 "코드가 테스트 가능한가?"에서 "결합 시스템이 이 특정 시나리오를 검증할 능력이 있는가?"로 이동시킨다.
• 실행 가능한 출력: "테스트하기 어렵다"라는 모호한 엔지니어링 인상을 차원별로 추적 가능하고, 객체별로 국지화 가능하며, 실행 가능한 설계 격차로 변환한다.
• 선제적 검증: 검증 능력을 구현 후에 확인하는 것이 아니라, 기능적 능력과 함께 설계되어야 하는 아키텍처 품질 속성으로 취급할 것을 옹호한다.
• 상호 보완성: JTA는 시나리오를 식별하는 STPA나 결함을 생성하는 결함 주입(fault injection)과 같은 기존 방법론을 보완하며, 공동 적절성과 귀속 수렴성을 평가하기 위한 누락된 연결 고리를 제공한다.

저자들은 본 사례 연구가 정량적 성능 지표보다는 서열적(H/M/L) 평가에 의존하며, 제한된 인터페이스를 가진 폐쇄형 산업 시스템에 대한 적용 가능성에 대해서는 추가 검증이 필요함을 언급하며 자신들의 주장에 대해 겸허한 태도를 유지한다.