기술 요약: AI 평가 가능성 격차 (The AI Evaluability Gap)

문제 정의

AI를 대규모로 배포하는 조직들은 이중 과제에 직면해 있다: AI 리스크를 관리하는 것(시스템이 운영하기에 충분히 안전하고, 공정하며, 신뢰할 수 있고, 규정을 준수하는지 결정하는 것)과 AI 가치를 유지하는 것(시스템이 지속적인 자원 할당을 정당화하는지 결정하는 것)이다. 현재의 거버넌스 관행은 종종 이들을 서로 다른 소유자와 어휘를 가진 별개의 문제로 취급하거나, 시스템의 속성 자체가 아니라 그 속성에 대한 의사결정에 필요한 '증거'에 집중하지 못함으로써 실패한다.

본 논문은 **AI 평가 가능성 격차(AI Evaluability Gap)**라고 명명된 근본적인 기저 조건을 식별한다: 이는 조직이 리스크나 가치에 관한 고신뢰도 거버넌스 결정을 내리는 데 필요한 충분한 증거를 확보하지 못한 상태를 의미한다. 이 격차는 두 가지 실패 모드로 이어진다:

1. 과잉 배포(Over-deployment): 안전성에 대한 증거가 불충분함에도 불구하고 측정되지 않은 리스크를 수용함.
2. 투자 저해(Under-investment): 이익에 대한 증거가 불충분함에도 불구하고 측정되지 않은 가치를 포기함.

저자들은 기존 프레임워크가 '범주 오류(category error)'를 범하고 있다고 주장한다. 즉, 거버넌스를 리스크 관리와 동일시하고, 증거의 충분성을 거버넌스의 일차적 대상이 아닌 당연한 전제로 간주한다는 것이다. 또한, 기존의 관행은 사용자의 적응, 모델 재학습, 변화하는 환경 등으로 인해 증거가 빠르게 쇠퇴하는 AI 시스템의 비정상성(non-stationarity)을 고려하지 못하는 경우가 많다.

방법론 및 프레임워크

본 논문은 이 격차를 해결하기 위해 **평가 가능성(Evaluability)**이라는 새로운 이론적 프레임워크를 제안한다. 평가 가능성은 특정 지표나 통계적 방법을 처방하기보다는, 거버넌스 결정이 방어 가능해지는 증거적 조건을 정의한다.

핵심 정의

평가 가능성은 시스템이 운영 및 자원 할당에 관한 고신뢰도 거버의 결정을 지원하기에 충분한 증거를 생성, 유지 및 갱신할 수 있는 능력을 의미한다.

형식적으로, 평가 가능성은 AI 시스템의 증거 스트림이 가진 여섯 가지 속성의 함수로 정의된다:
$$\text{Evaluability} = f(O, A, I, V, C, T)$$
여기서:

• 관측 가능성 (Observability, O): 의사결정에 유의미한 결과(예: 로그, 텔레메트리, 비즈니스 성과)를 관찰할 수 있는가?
• 기여도 추적 가능성 (Attributability, A): AI의 기여를 혼란 변수로부터 분리할 수 있는가? (인과적 또는 준실험적 설계 필요)
• 개입 가능성 (Intervenability, I): 주장을 테스트하고 실패에 대응하기 위해 시스템을 수정할 수 있는가? (예: 롤백, A/B 테스트)
• 검증 가능성 (Verifiability, V): 독립적인 제3자가 분석을 감사하고 재현할 수 있는가?
• 교정성 (Calibration, C): 명시된 신뢰 수준이 관찰된 정확도의 빈도와 일치하는가?
• 시간적 타당성 (Temporal Validity, T): 환경과 시스템이 진화함에 따라 증거가 여전히 유효한가?

의사결정 중심의 정식화

이 프레임워크는 초점을 시스템의 속성을 측정하는 것에서, 증거($E$)가 주어졌을 때 의사결정($D$)에 대한 신뢰도를 평가하는 것으로 전환한다.

• 신뢰도 ($Conf(D|E)$): 이는 세계의 상태에 대한 확률이 아니라, 증거의 충분성에 대한 인식론적 상태이다.
• 의사결정 규칙: 행동 $D$는 $Conf(D|E) > \tau(D)$를 만족할 때에만 정당화된다. 여기서 $\tau$는 의사결정의 중요도와 오류 비대칭성에 의해 결정되는 임계값이다.
• 격차: $Conf(D|E) < \tau(D)$일 때 평가 가능성 격차가 존재한다.

두 가지 유형의 인증

프레임워크는 서로 다른 증거 구조를 요구하는 두 가지 유형의 거버넌스 결정을 구분한다:

1. 운영 인증 (Operational Certification): 시스템의 작동 허용 여부를 결정한다. 이는 실패 모드의 부재를 확립하기 위한 구조적 증거(검증, 스트레스 테스트, 적대적 평가)에 의존한다. 증거 표준은 일반적으로 높다.
2. 투자 인증 (Investment Certification): 시스템의 지속적인 자원 투입 여부를 결정한다. 이는 가치 창출을 확립하기 위한 인과적 증거(역사실적 추론, 무작위 배포)에 의존한다. 증거 표준은 지출의 중요도에 따라 규모가 달라진다.

평가 가능성 사이클 (The Evaluability Cycle)

여섯 가지 속성은 정적인 체크리스트가 아니라 연속적인 사이클이다:

1. 관측 가능성이 발생한 일을 포착한다.
2. 기여도 추적 가능성이 결과를 AI와 연결한다.
3. 검증 가능성이 독립적인 신뢰를 허용한다.
4. 교정성이 신뢰도 진술이 믿을 만한지 보장한다.
5. 시간적 타당성이 증거가 여전히 최신인지 평가한다.
6. 개입 가능성은 불확실성이 발생했을 때 행동(테스트, 재학습)을 가능하게 하여, 새로운 관찰을 생성하고 사이클을 재시작한다.

프레임워크는 증거가 소모적임을 강조한다. 갱신이 이루어지지 않으면 신뢰도는 시간이 지남에 따라 쇠퇴한다 ($Conf(D|E(t)) \to Conf(D|\emptyset)$). 따라서 이는 일회성 승인이 아닌 지속적인 재인증 과정을 필요로 한다.

제도적 계층 (Institutional Layer)

인식론적 포획(epistemic capture)을 방지하기 위해, 프레임워크는 분산된 제도적 모델을 제안한다:

• 증거 생산자: 로그와 결과를 생성하는 엔지니어링 및 데이터 팀.
• 증거 검증자: 무결성과 교정성을 확인하는 리스크, 감사 및 재무 기능.
• 증거 판정자: 임계값을 설정하고 인증 간의 갈등을 해결하는 이사회 또는 위원회.

주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 거버넌스 대상의 통합: 증거의 충분성을 거버넌스 영역 전반의 통합 객체로 식별하고, 이를 $Conf(D|E)$를 통해 정식화한다. 거버넌스는 속성(안전성, 가치 등)을 직접 측정하는 것이 아니라, 그러한 속성에 대한 의사결정을 내리기에 충분한 증거가 존재하는지를 결정하는 것임을 논증한다.
2. 운영 인증 vs 투자 인증: 운영 결정과 투자 결정 사이의 구조적 구분을 도입한다. 이는 거버넌스 분류 체계에서의 '가치'에 대한 혼란을 해소하며, 조직이 어떤 시스템이 운영상으로는 안전하지만 투자 가치는 낮다고(또는 그 반대로) 일관되게 주장할 수 있게 함으로써 거버넌스 마비를 해결한다.
3. 시간적 타당성 및 교정성의 격상: 시간적 타당성과 교정성을 주변적인 관심사에서 일급 속성으로 격상시킨다. 논문은 현재의 AI 거버넌스가 모니터링에는 풍부하지만 교정성에는 취약하여, "신뢰할 수 없는 신뢰를 바탕으로 한 확신 있는 결정"을 내리고 있다고 주장한다.

결과 및 주장

본 논문은 이론적 프레임워크이므로 경험적인 실험 결과를 제시하지 않는다. 대신 논문의 "결과"는 논리적 명제와 구조적 주장들이다:

• 명제 3.1 (거버론 비식별성): 관찰된 결과가 구별 불가능한 두 AI 시스템이라 할지라도, 그 증거 스트림이 보증하는 신뢰도가 다르기 때문에 서로 다른 거버넌스 결정을 요구할 수 있다. 거버넌스는 결과만으로 추론될 수 없으며, 증거의 구조와 출처에 달려 있다.
• 여섯 가지 속성의 필연성: 시스템이 정확하거나 수익성이 높더라도, 이를 뒷받침하는 증거가 검증 불가능하거나, 교정되지 않았거나, 시대에 뒤떨어졌다면 평가 가능성 테스트를 통과할 수 없다.
• 증거의 쇠퇴: 논문은 AI에서 비정상성, 능력의 발현, 인간의 적응으로 인해 증거가 급격히 쇠퇴한다고 주장한다. 따라서 거버넌스는 달력상의 관례가 아닌, 경험적으로 추정된 쇠퇴율에 기반한 지속적인 재인증 과정이어야 한다.

의의 및 범위

저자들은 평가 가능성을 기존 거버넌스 프레임워크(NIST RMF, ISO/IEC 42001, assurance cases 등)를 대체하는 것이 아니라, 그 데를 위한 **기질(substrate)**로 위치시킨다.

• 성격: 이것은 충분한 증거가 존재하는지를 결정하기 위한 프레임워크이다. 즉, 증거 생성과 검증을 위한 건축적 표준을 제공한다.
• 한계: 이것은 시스템이 실제로 안전한지, 공정한지, 신뢰할 수 있는지, 혹은 가치 있는지를 결정하지 않는다. 또한 도메인 특화 리스크 모델, 공정성 지표, 또는 ROI 계산기를 대체하지 않는다. 인과 추론이나 신뢰도 표현을 위한 특정 통계적 방법(베이지안, 빈도주의 또는 뎀스터-셰퍼 접근법 등)을 규정하지 않는다.

결론적으로, AI 시스템이 더욱 역동적이고 자율적으로 변함에 따라, 증거를 생성, 유지 및 갱신하는 능력(평기 가능성)은 근본적인 모델 자체만큼이나 중요해질 수 있다. 이 프레임워크는 현대 AI 시스템의 복잡성과 이를 책임감 있게 거버넌스하기 위해 필요한 증거의 충분성 사이의 격차를 메우는 것을 목표로 한다.