A Structured Approach to Safety Case Construction for AI Systems

이 논문은 항공이나 원자력 분야의 전통적 안전 사례 접근법이 역동적이고 예측 불가능한 현대 AI 시스템의 특성을 포착하지 못한다는 점을 지적하고, AI 고유의 주장·논증·증거 분류 체계와 재사용 가능한 템플릿을 제시하여 진화하는 AI 시스템에 대한 신뢰할 수 있고 감사 가능하며 적응적인 안전 사례 구축을 위한 체계적인 방법론을 제안합니다.

핵심

1. 왜 기존 방식은 AI 에게 실패했을까요? (기차 vs. 살아있는 생물)

과거 비행기나 원자력 발전소 같은 시스템을 만들 때는 **'기차'**를 만들 때와 비슷했습니다.

• 기차 (전통 공학): 설계도면대로 부품을 조립합니다. "이 기어가 고장 나면 어떻게 될까?"를 미리 다 계산해 두죠. 모든 것이 정해져 있고, 한 번 만들어지면 잘 변하지 않습니다. 그래서 "이 기차는 안전하다"라고 완벽한 설계도로 증명할 수 있었습니다.

하지만 **AI 는 다릅니다. AI 는 '살아있는 생물'이나 '유연한 점토'**와 같습니다.

• AI 의 특징:
  • 예측 불가: 학습을 시키면 어떤 능력을 갖게 될지 미리 다 알 수 없습니다. (예: 갑자기 새로운 언어를 배우거나, 엉뚱한 짓을 할 수도 있음)
  • 변화: 배포된 후에도 계속 업데이트되고, 새로운 데이터로 다시 학습됩니다.
  • 정답 없음: "이 답변이 100% 정답이다"라고 말할 수 없는 경우가 많습니다.

문제점: 기존의 안전 증명 방식은 "설계대로만 움직여야 한다"는 전제에 기반합니다. 하지만 AI 는 설계도대로 움직이지 않고, 스스로 배우고 변하기 때문에 기존의 '안전 증명서'는 AI 에게는 낡은 지도가 되어버린 것입니다.

---

2. 이 논문이 제안하는 해결책: "AI 전용 안전 증명서"

이 논문은 AI 의 특성을 반영한 **새로운 안전 증명서 작성 가이드 (템플릿)**를 만들었습니다. 이를 세 가지 핵심 요소로 나누어 설명해 보겠습니다.

① 주장 (Claim): "무엇을 증명할 것인가?"

• 기존: "이 시스템은 100% 안전하다." (절대적)
• AI 전용: "이 시스템은 특정 조건 안에서 안전하다" 또는 "이전 버전보다 더 안전하다." (상대적/조건부)
  • 비유: "이 비오는 날 우산은 100% 방수다"라고 하기보다, "이 우산은 10 분 내의 소나기에는 안전하다"라고 말하는 것입니다.

② 논리 (Argument): "왜 안전한가?"

• 기존: "부품 A, B, C 가 모두 안전하므로 전체가 안전하다." (연역적)
• AI 전용: "수천 번의 테스트에서 안전했고, 다른 시스템보다 나쁘지 않으며, 위험이 발견되면 즉시 막을 수 있다." (유도적, 통계적, 비교적)
  • 비유: "이 요리사가 안전하다"라고 증명할 때, "손가락을 잘랐던 적이 없다"는 사실 (데이터) 과 "다른 요리사들보다 실수가 적다"는 비교 (비교) 를 통해 증명하는 방식입니다.

③ 증거 (Evidence): "어떤 자료로 증명할 것인가?"

• 기존: 설계서, 검사 기록, 공식 인증서.
• AI 전용: 적대적 해킹 테스트 (Red-teaming), 실제 사용 데이터, 전문가의 판단, 모델이 왜 그런 결정을 내렸는지 설명하는 자료.
  • 비유: 요리사의 안전을 증명할 때, "위생 검사 통과증"뿐만 아니라, "실제 손님들의 리뷰"와 "다른 요리사들과의 요리 대결 결과"도 증거로 제시하는 것입니다.

---

3. 구체적인 활용 패턴 4 가지 (요리 레시피)

논문은 다양한 AI 상황에 맞춰 쓸 수 있는 **4 가지 '안전 증명 레시피 (패턴)'**를 소개합니다.

1. 발견형 증명 (Discovery-driven):

   • 상황: AI 가 무엇을 할지 몰라서 테스트해 봐야 알 때.
   • 방법: "우리는 아직 모든 위험을 모릅니다. 하지만 계속 테스트하고 발견된 위험은 바로 고치고 있습니다."라고 증명합니다.
   • 비유: "이 새 요리는 아직 다 맛보지 못했지만, 매번 맛보면서 나쁜 맛을 찾아내고 고치고 있습니다."

2. 기준치 비교형 (Marginal-risk without ground truth):

   • 상황: '정답'이 없는 경우 (예: 예술 작품 평가, tender 평가).
   • 방법: "완벽한 정답은 없지만, 기존에 사람이 하던 방식보다 나쁘지 않거나 더 좋습니다."라고 증명합니다.
   • 비유: "이 AI 가 쓴 글이 완벽할 수는 없지만, 기존에 사람이 쓴 글보다 오타가 적고 논리가 더 좋습니다."

3. 지속적 진화형 (Continuous-evolution):

   • 상황: AI 가 계속 업데이트될 때.
   • 방법: "AI 가 변해도 안전성이 유지되도록 실시간으로 감시하고, 업데이트될 때마다 다시 검증합니다."
   • 비유: "이 자동차는 소프트웨어가 계속 업데이트되지만, 매번 업데이트할 때마다 안전 장치가 다시 작동하는지 확인합니다."

4. 임계값 결정형 (Threshold-based):

   • 상황: 숫자로 위험을 판단할 때.
   • 방법: "위험도가 5% 미만이면 안전합니다. 현재 위험도는 2% 입니다."
   • 비유: "수온이 40 도를 넘으면 위험합니다. 현재 수온은 38 도이므로 안전합니다."

---

4. 실제 사례: 정부 입찰 심사 AI

논문의 마지막에는 실제 사례를 들어 설명합니다.

• 상황: 정부가 기업 입찰을 심사할 때, 인간 심사관 2 명 대신 AI 1 명을 투입했습니다.
• 문제: "AI 가 심사한 결과가 100% 맞다"라고 증명할 정답 (Ground Truth) 이 없습니다.
• 해결: 이 논문이 제안한 '기준치 비교형' 방식을 썼습니다.
  • "AI 가 심사한 결과가 기존 인간 심사관 2 명이 한 결과보다 더 일관성 있고 (불일치율 0.2% 감소), 더 안전합니다."라고 증명했습니다.
  • 이를 위해 200 개의 가짜 입찰 서류로 실험을 하고, 통계적으로 "인간보다 나쁘지 않다"는 것을 숫자로 증명했습니다.

---

5. 결론: 왜 이것이 중요한가요?

이 논문은 AI 안전을 **"한 번 만들고 끝나는 문서"**가 아니라, **"AI 가 변하는 대로 계속 업데이트되는 살아있는 문서"**로 만들어야 한다고 말합니다.

• 기존: "이 기차는 안전합니다. (끝)"
• 이 논문의 제안: "이 AI 는 현재 이 조건에서 안전합니다. 하지만 우리가 계속 감시하고, 업데이트할 때마다 다시 검증하며, 새로운 위험이 발견되면 즉시 대응할 준비가 되어 있습니다."

이처럼 유연하고, 증거 기반이며, 계속 업데이트되는 안전 증명서를 통해 우리는 더 안전하고 신뢰할 수 있는 AI 세상을 만들 수 있게 됩니다.

기술 요약

1. 문제 정의 (Problem)

기존의 항공, 원자력 등 전통적인 공학 분야에서 사용되는 안전 사례 (Safety Case) 는 시스템의 경계가 명확하고, 아키텍처가 안정적이며, 실패 모드가 잘 정의된 가정을 기반으로 합니다. 그러나 현대의 생성형 AI 및 에이전트 기반 AI 시스템은 다음과 같은 근본적인 차이로 인해 기존 접근법이 적용되지 않습니다.

• 예측 불가능한 능력의 등장 (Emergence): AI 의 능력은 저수준의 훈련 목표에서 훈련 후 발견되며, 프롬프트나 미세 조정 (fine-tuning) 에 따라 행동이 변합니다.
• 고정된 정답 (Ground Truth) 의 부재: 많은 AI 시스템은 고정된 정답이 없는 환경에서 작동하며, 위험 평가가 절대적 기준이 아닌 상대적 비교에 의존합니다.
• 지속적인 진화: 모델 업데이트, 데이터 갱신, 컨텍스트 엔지니어링 변경 등으로 인해 시스템이 인증 후에도 지속적으로 변하여 정적 (static) 인 안전 증거가 무효화됩니다.
• 맥락 의존성: 모델의 행동은 프롬프트, 도구 인터페이스, 사용자 워크플로우 등 외부 컨텍스트에 강하게 종속됩니다.

이로 인해 기존 안전 사례의 논리 (결정론적, 설계 중심) 는 AI 의 불확실성, 발견 기반 평가, 그리고 동적인 위험 프로파일을 포착하지 못합니다.

2. 연구 방법론 (Methodology)

이 연구는 체계적 문헌 검토 (Systematic Literature Review, SLR) 방식을 따랐습니다.

• 데이터 수집: IEEE, ACM, Springer, ScienceDirect 등 주요 데이터베이스에서 'AI Safety', 'CAE (Claims-Arguments-Evidence)' 관련 키워드로 자동 검색을 수행하고, 시드 논문 (Seed Papers) 을 기반으로 눈덩이식 (Snowballing) 검색을 병행했습니다.
• 선정 기준: AI 시스템의 안전 사례, 주장 - 논증 - 증거 (CAE) 구조, 그리고 관련 보증 접근법을 명시적으로 다루는 연구를 선정했습니다. (2025 년 8 월 기준)
• 품질 평가: 선정된 112 개의 주요 연구에 대해 11 가지 품질 평가 기준 (QC1-QC11) 을 적용하여 평균 점수가 2.0 미만인 저품질 논문을 제외하고 최종 분석에 사용했습니다.
• 분석: 선정된 연구들을 바탕으로 주장 (Claim), 논증 (Argument), 증거 (Evidence) 의 유형을 분류하고, 이를 재사용 가능한 템플릿과 패턴으로 구성했습니다.

3. 주요 기여 (Key Contributions)

이 연구는 AI 시스템의 특성을 반영한 포괄적인 분류 체계 (Taxonomy), 재사용 가능한 템플릿 (Templates), 그리고 패턴 (Patterns) 을 제안합니다.

A. AI 특화 CAE 분류 체계 (Taxonomy)

안전 사례의 세 가지 핵심 요소를 AI 상황에 맞게 세분화했습니다.

• 주장 (Claim) 유형:
  • 단정적 (Assertion-based): 절대적 안전 또는 기준 대비 상대적 안전 주장.
  • 제약 기반 (Constrained-based): 운영 환경, 데이터 범위, 모달리티 등 특정 조건 하에서의 안전 주장.
  • 능력 기반 (Capability-based): 시스템의 기능 제한 (도구 접근 제한, 거부 행동 등) 을 통한 안전 주장.
• 논증 (Argument) 유형:
  • 시증적 (Demonstrative): 계층적 제어나 장벽을 통한 안전 증명 (연역적).
  • 비교적 (Comparative): 기준 시스템 대비 성능 비교 (귀납적/통계적).
  • 위험 기반 (Risk-based): 정량적 위험 추정 및 임계값 준수 (통계적).
  • 인과/설명적 (Causal/Explanatory): 실패 원인 규명 및 완화 (귀납적/귀추적).
  • 규범적 (Normative): 표준 및 가이드라인 준수 (연역적).
• 증거 (Evidence) 패밀리:
  • 경험적 (테스트, 레드팀), 비교적 (벤치마크), 모델 기반 (시뮬레이션), 전문가 기반, 형식적 방법, 운영/현장 데이터, 기계적 (해석 가능성) 증거 등.

B. 재사용 가능한 안전 사례 템플릿 및 패턴

AI 의 고유한 도전을 해결하기 위한 4 가지 엔드 - 투 - 엔드 (End-to-End) 패턴을 정의했습니다.

1. 발견 기반 평가 패턴 (Discovery-driven evaluation): 정답이 없는 상태에서 지속적인 실험과 발견을 통해 안전을 정당화하는 패턴.
2. 정답 부재 시 한계 위험 패턴 (Marginal-risk without ground truth): 절대적 안전이 아닌, 기존 시스템 (Human baseline 등) 대비 "그 이상으로 안전함"을 증명하는 패턴.
3. 지속적 진화 패턴 (Continuous-evolution): 모델 업데이트, 재학습, 도구 변경 시 안전 사례를 동적으로 갱신하고 유지하는 패턴.
4. 임계값 비교 패턴 (Threshold-comparator): 정량적 임계값 (위험 점수, 계산 비용 등) 을 기반으로 안전 수용 여부를 결정하는 패턴.

C. 동적 보증 (Dynamic Assurance) 통합

안전 사례를 정적 문서가 아닌, 실시간 지표 (Live metrics) 및 거버넌스 아티팩트와 연결되는 살아있는 아티팩트 (Living Artefact) 로 설계하여, 시스템이 진화함에 따라 안전 주장과 증거가 자동으로 업데이트되도록 합니다.

4. 결과 및 사례 연구 (Results & Case Study)

연구팀은 제안된 접근법을 정부 입찰 평가 AI 시스템 사례에 적용하여 검증했습니다.

• 상황: 기존 인간 심사관 2 인 체제를 AI + 인간 1 인 체제로 변경하는 시나리오. 절대적인 정답 (Ground Truth) 이 존재하지 않음.
• 적용 패턴: "정답 부재 시 한계 위험 패턴 (Marginal-risk pattern)"을 사용.
• 구현:
  • 주장: "AI+ 인간 프로세스는 기존 인간 + 인간 프로세스보다 안전하고 공평하며 신뢰할 수 있다."
  • 논증:
    • 비교 논증 (귀납적): 200 개의 합성 입찰 사례를 통해 AI+ 인간과 인간 + 인간의 일관성 (불일치율) 을 비교. 결과: AI+ 인간 (2.8%) 이 인간 + 인간 (3.0%) 보다 오히려 일관성이 높음 (차이 -0.2%).
    • 위험 기반 논증 (통계적): 불일치율 차이가 사전 정의된 수용 임계값 (5%) 을 초과하지 않음을 통계적으로 검증 (95% 신뢰구간).
• 결과: 제안된 템플릿과 패턴을 통해 정답이 없는 상황에서도 정량적 데이터와 비교 분석을 기반으로 한 검증 가능한 안전 사례를 성공적으로 구성할 수 있음을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 표준화된 프레임워크 제공: 기존에 파편화되어 있던 AI 안전 사례 접근법을 통합된 CAE 분류 체계와 재사용 가능한 템플릿으로 표준화하여, 조직 간 일관성과 상호 운용성을 높입니다.
• 실용적 적용성: 이론적 논의를 넘어, 실제 개발자가 AI 시스템의 동적인 특성 (업데이트, 불확실성, 정답 부재) 을 고려하여 안전 사례를 구축하고 유지할 수 있는 구체적인 방법론을 제시합니다.
• 규제 및 감사 대응: 안전 사례를 감사 가능 (Auditable) 하고 검증 가능 (Verifiable) 하게 만들어, AI 규제 (예: EU AI Act 등) 준수 및 책임 있는 AI 개발을 지원합니다.
• 미래 지향성: 동적 안전 사례 관리 시스템 (DSCMS) 과의 통합을 통해, AI 시스템의 수명 주기 전반에 걸친 지속적인 안전 보증을 가능하게 하는 기반을 마련했습니다.

결론적으로, 이 논문은 AI 시스템의 불확실성과 진화적 특성을 수용하면서도, 전통적인 공학의 엄격한 안전 보증 논리를 확장하여 신뢰 가능하고, 감사 가능하며, 적응적인 AI 안전 사례를 구축할 수 있는 체계적인 길을 제시했습니다.