기술 요약: 보증 케이스를 위한 정량적 신뢰도 평가 방법의 확장성 분석

문제 정의

보증 케이스(Assurance Cases, ACs)를 작성하는 것은 안전 및 보안 필수 시스템을 위한 핵심 활동이지만, GSN(Goal Structuring Notation)과 같은 구조화된 표기법을 사용하는 것이 상위 수준의 클레임(claim)이 충분히 뒷받침됨을 보장하지는 않는다. 신뢰도 평가 방법(Confidence Assessment Methods, CAMs)은 이러한 논증을 평가하기 위한 체계적인 수단을 제공한다. 정성적, 정량적, 혼합형 CAM이 존재하지만, 최근 실무자 조사에 따르면 이러한 방법들을 적용하는 데 필요한 추가적인 노력이 도입의 주요 장벽으로 확인되었다.

특히, 정량적 또는 혼합형 방법의 경우, 계산 파라미터(예: 에지 가중치)를 할당하고 모든 증거 요소에 대해 평가를 제공하는 데 상당한 노력이 필요하다. Graydon과 Holloway의 선행 연구에서는 이러한 기법들의 경험적 확장성 데이터가 부족함을 지적하며, 실제 적용 가능성에 대한 우려를 제기했다. 결과적으로, 논증의 크기가 증가함에 따라 정량적 CAM을 적용하는 데 필요한 "의사결정 복잡도"와 노력의 양을 추정할 수 있는 모델이 필요하다.

방법론

본 논문은 정량적 CAM을 적용할 때 발생하는 의사결정 복잡도(사용자가 내려야 하는 의사결정의 수)와 노력 수준(소요 시간)을 추정하기 위한 수치 모델을 제안한다. 분석은 **최악의 경우(worst-case)**와 평균적인 경우(average-case) 시나리오를 모두 고려한다.

1. 논증 구조 모델

확장성 분석을 용이하게 하기 위해, 저자들은 AC 논증을 높이 $h$를 가진 클레임들의 **$n$-진 트리($n$-ary tree)**로 모델링하며, 각 리프(leaf) 클레임은 $m$개의 증거 노드에 의해 뒷받침된다. 실제 AC는 다양한 구조를 가지지만, 이 이상적인 모델은 의미 있는 비교를 가능하게 한다. 파라미터 $n$(단계당 평균 자식 클레임 수)과 $m$(논리 전개당 증거 노드 수)은 발표된 AC 사례 연구에서 도출되었으며, $n \approx 1.72$, $m \approx 1$의 값을 갖는다.

2. 의사결정 복잡도 및 노력 모델

모델은 다음과 같이 정의된다:

• $p$: 부모 클레임당 의사결정 횟수 (신념 전파 설정).
• $v$: 증거 노드당 의사결정 횟수 (리프 값 평가).
• $\alpha$: 비사소하고 맞춤화된 의사결정이 필요한 사례의 비율 (표현력 연구에 근거하여 평균 사례 분석을 위해 0.20으로 설정).
• $t_p$ 및 $t_v$: 결정당 예상 시간 (전파에 0.5분, 증거 평가에 5분).

최악의 경우 의사결정 복잡도($O_d$)는 모든 파라미터를 수동으로 지정해야 한다고 가정한다. 평균적인 경우의 복잡도($\Omega_d$)는 전체 단계 중 $(1-\alpha)$의 비율에 대해 툴링이나 합리적인 기본값(defaults)이 의사결정 부하를 $p'$ 및 $v'$로 줄여준다고 가정한다.

3. 분석 대상 방법론

모델은 세 가지 대표적인 정량적 CAM에 적용된다:

• 베이지안 신념 네트워크 (BBN): 확률 이론을 사용하며 결합 연산자(NoisyAND/OR), 누설(leakage), 연결 가중치를 위한 파라미터를 사용한다.
• 뎀프스터-셰퍼 이론 (DST): 결정 및 신뢰도 척도를 사용하며 순방향/역방향 파라미터 및 규칙을 사용한다.
• Certus: 언어적 신념 수준과 전파 표현(예: 매크로, 조건부 로직)을 위한 도메인 특화 언어를 사용하는 혼합 방법이다.

주요 결과

확장성 분석은 논증 높이 $h$가 1에서 12까지 변하는 상황에 대해 수행되었으며, $h=10$은 발표된 사례 연구를 바탕으로 한 일반적인 크기(총 노드 수 약 350개)를 나타낸다.

• 최악의 경우 복잡도: Certus는 $h=10$일 때 10,000개 이상의 의사결정이 필요하여 가장 높은 의사결정 복잡도를 보인다. 이는 BBN(971개) 및 DST(1,716개)보다 현저히 높은 수치이다. 이는 모든 자식 노드에 대해 커스텀 신념 전파 표현을 허용하는 Certus의 유연성 때문이다.
• 평균적인 경우 복잡도: 단계의 80%($\alpha=0, 1-\alpha=0.8$)에 대해 툴 지원 및 기본값이 존재한다고 가정할 때, Certus는 세 방법 중 가장 낮은 의사결정 복잡도를 보여준다.
• 노력 추정치: 약 350개의 노드를 가진 논증($h=10$)에 대해, 모델은 다음과 같은 평균적인 경우의 노력을 예측한다:
  • Certus: 약 13시간
  • BBN: 약 14시간
  • DST: 약 26시간

의의 및 기여

본 논문은 수치 모델을 통해 정량적 CAM의 확장성을 다룬 최초의 연구임을 주장한다. 주요 기여는 다음과 같다:

1. 개념적 프레임워크: 도입 장벽을 정량화하기 위해 두 가지 특정 척도인 의사결정 복잡도(의사결정 수)와 노력 수준(시간)을 도입하였다.
2. 확장성 모델: 적용에 필요한 노력을 평가할 수 있도록 파라미터화된 모델을 제안하여, 새로운 또는 개선된 CAM을 개발하는 연구자들이 활용할 수 있게 하였다.
3. 경험적 검증: BBN, DST, Certus에 모델을 적용함으로써, Certus와 같이 유연성이 높은 방법이 최악의 경우 극단적인 복잡도를 가질 수 있지만, 매크로와 기본값 덕분에 평균적인 경우의 노력은 기존의 확률적 방법들보다 낮을 수 있음을 입증하였다.

한계점

저자들은 다음과 같은 몇 가지 한계점을 명시하였다:

• 논증 모델: $n$-진 트리는 이상적인 모델이며, 실제 AC는 이 구조에서 벗어난 깊은 체인(chain)이나 넓은 단계(step)를 가질 수 있다.
• 의사결정 난이도: 모델은 의사결정 횟수를 계산하지만, 상대적인 인지적 난이도(예: 5점 척도 부여와 연속적인 [0,1] 척도 부여의 차이)는 고려하지 않는다.
• 시간 파라미터: 시간 추정치($t_p, t_v$)는 경험적 교정보다는 직관에 기반하였으며, 맥락에 따라 달라질 수 있다.

본 논문은 Certus가 가장 높은 최악의 경우 복잡도를 가지지만, 툴링이 수동 의사결정을 줄여준다면 그 평균적인 효율성 덕분에 실행 가능한 후보가 될 수 있다고 결론짓는다.