기술 요약: AI 시스템 변화에 따른 불투명성, 인식적 접근성 및 거버넌스 업데이트

1. 문제 정의: 업데이트 불투명성 (Update Opacity)

본 논문은 전문가 사용자가 특정 입력($x$)에 대해 현재 버전의 AI 시스템이 이전 버전($z \neq y$)과 다른 출력($y$)을 생성하는 이유를 검사 과정에서 설명할 수 없는 현상인 업데이트 불투명성을 다룬다. 정적 모델 불투명성(단일 모델의 내부 메커니즘에 관한 것)과 달리, 업데이트 불투명성은 **통시적(diachronic)**이며 **비교적(comparative)**이다. 즉, 이는 배포된 시스템의 시간적 진화로부터 발생한다.

핵심 문제는 이를 인식적 접근성(epistemic accessibility)의 실패로 규정한다. 의료, 금융과 같은 고위험 영역에서 사용자는 시스템의 행동, 신뢰성 및 실패 모드에 대해 학습된 기대치인 '축적된 교정(accumulated calibration)'에 의존하여 AI 출력을 의사결정에 통합한다. 모델에 영향을 미치는 업데이트(재학습, 재교정, 파이프라인 수정, 종속성 업데이트 등)가 투명한 소통 없이 수행될 때, 이러한 사용자 측의 교정은 시스템의 실제 행동과 어긋나게 된다. 이러한 불일치는 정당한 신뢰를 저해하고, 인지적 부담을 가중시키며, 책임 소재를 약화시킨다.

저자들은 업데이트 불투명성이 다음과 같은 세 가지 불만족스러운 극단 사이의 긴장으로 특징지어지는 거버넌스 문제라고 주장한다:

1. 전면적 투명성 (Total Transparency): 모든 업데이트를 공개하는 것은 불가능하며 역효과를 낳아, 정보 과부하와 워크플로우 중단을 초래한다.
2. 침묵 (Silence): 아무것도 공개하지 않으면 침묵 속의 행동 변화가 정당한 신뢰를 잠식하게 된다.
3. 업데이트 동결 (Freezing Updates): 모든 업데이트를 중단하는 것은 비정상적 환경(nonstationary environments)에서 성능 저하를 초래하므로 실행 불가능하다.

중심 과제는 사용자를 압도하지 않으면서도 어떤 변화가 실질적으로 유의미한지, 언제 이를 표면화해야 하는지, 그리고 누구에게 전달해야 하는지를 결정하는 것이다.

2. 방법론: 두 가지 거버넌스 문화의 통합

제안된 솔루션은 두 가지 상호 보완적인 거버넌스 문화를 통합한다: **EU AI 법(AIA)**과 머신러닝 운영(MLOps).

EU AI 법 (규범적 경계)

AIA는 관련 변화의 "경계"를 정의하기 위한 규범적 프레임워크를 제공한다.

• 실질적 변경 (Substantial Modification): AIA는 새로운 적합성 평가를 촉발하는 변경(의도된 목적의 변경 또는 고위험 요구사항 준수 여부와 관련된 실질적 변경)과 그렇지 않은 변경을 구분한다.
• 한계: AIA는 언제 변화가 법적으로 중요한지(정체성을 깨뜨리는 변화인지)는 식별하지만, 인식적 문제에 적용하기에는 너무 거칠다. "적합성 범위(conformity envelope)" 내에 있는 많은 허용 가능한 변화들은 법적 재평가를 촉발하지 않으면서도 사용자의 신뢰와 워크플로우 기대치를 실질적으로 변화시킬 수 있다.

MLOps (운영 기제)

MLOps는 변화를 추적하고 관리하기 위한 운영 도구를 제공한다.

• 드리프트 탐지 및 모니터링 (Drift Detection & Monitoring): MLOps는 지속적인 텔레메트리, 버전 관리, 드리프트 탐지(운영 데이터를 베이스라인과 비교)를 활용하여 개입(재학습, 롤백)을 트리거한다.
• 한계: MLOps는 엔지니어링 제어와 기술적 지표(예: 정확도, 드리프트 지표)에 초점을 맞춘다. 이는 모니터링된 변화가 특정 이해관계자(예: 임상의 vs 감사관)에게 어떻게 인식적으로 유의미한지, 또는 교정된 신뢰를 유지하기 위해 이를 어떻게 소통해야 하는지를 본질적으로 결정하지 못한다.

제안된 프레임워크: 신뢰성 기반 거버넌스

저자들은 업데이트 불투명성을 관리하기 위해 이 두 문화를 결합한 프레임워크를 제안하며, 세 단계의 과정을 거친다.

1단계: 허용 가능한 변화 vs 허용 불가능한 변화

프레임워크는 다음을 구분한다:

• 허용 불가능한 변화: 평가된 신뢰성 범위 밖의 변화(AIA 재평가를 촉발함).
• 허용 가능한 변화: 범위 내에 머물러 있지만 잠재적으로 사용자 신뢰에 영향을 줄 수 있는 변화. 프레임워크는 이 두 번째 범주를 관리하는 데 집중한다.

2단계: 신뢰성 프로필 및 레벨

저자들은 시스템 상태에 대한 공식 모델을 도입한다:

• 신뢰성 프로필 ($P_A$): 사전에 정의된 정량화 가능한 차원($d_i$)과 측정 프로토콜($m_i$)의 집합 (예: 정확도, 강건성, 하위 그룹 안정성, 데이터 파이프라인 무결성).
• 신뢰성 레벨 함수 ($T_A$): 시간 인덱스 측정 벡터($m_A(t)$)를 이산적인 신뢰성 레벨($1, \dots, K$)로 매핑하는 함수.
  • $T_A(t) = L_A(m_A(t))$, 여기서 $L_A$는 레벨 할당 함수이다.
  • 단계적 매핑 (Step-wise Mapping): 저자들은 부드러운 곡선보다는 단계적(plateau) 매핑을 옹호한다. 이는 전이 지점 근처에서의 미세한 변동으로 인한 "거버넌스 스트레인(governance strain)"을 방지하여, 시스템의 체제(regime)에서 유의미한 변화가 일어날 때만 에스컬레이션을 트리거하도록 보장한다.

3단계: 임계값 기반 공개 (Threshold-Based Disclosure)

단일 신뢰성 레벨(플래토) 내에서의 불투명성을 해결하기 위해, 프레임워크는 비유사성 함수($\Delta_A$)와 맥락 상대적 임계값($\epsilon_A$)을 도입한다.

• 메커니즘: $t_0$ 시점에 배포된 시스템 $A$의 베이스라인 프로필 $m_A(t_0)$에 대하여, 시간 $t_i$에서의 업데이트는 다음을 만족할 때 공개를 트리거한다:
  $$\Delta_A(m_A(t_0), m_A(t_i)) > \epsilon_A$$
• 인식적 유의성 (Epistemic Materiality): 임계값 $\epsilon_A$는 허용 가능한 플래토 내부에 엄격하게 설정된다. 이는 "인식적 유의성" 필터 역할을 한다. 즉, 시스템이 동일한 규제 레벨 내에 있더라도, 누적 변화가 $\epsilon_A$를 초과하면 교정된 신뢰를 저해할 만큼 크다고 간주되어 공개가 필요하다고 판단한다.
• 구현: $\Delta_A$는 표준 MLOps 모니터링 요약(예: 측정 벡터 간의 $L_1$ 거리)을 사용할 수 있으며, 특정 성능 저하에 가중치를 부여할 수 있다.

3. 주요 기여

1. 업데이트 불투명성에 대한 인식적 해석: 업데이트 불투명을 단순한 기술적 설명 가능성의 부족이 아니라, 실질적으로 유의미한 변화가 사용자의 실질적 제약 조건 하에서 접근 가능성을 유지하지 못함으로써 발생하는 통시적 인식적 접근성의 실패로 재정의했다.
2. AIA와 MLOps의 통합: AIA가 관련 변화의 범위(엔벨로프)를 정의하고, MLOps가 해당 범위 내에서 변화를 추적하고 공개를 트리거하는 기제를 제공하는 하이브리드 거버넌스 모델을 제안했다.
3. 신뢰성 프로필 및 레벨: 시스템 상태를 이산적 신뢰성 레벨로 공식화하여, 단순한 배경 소음과 거버넌스 관련 이벤트를 구분함으로써 연속적 모니터링의 취약성을 피했다.
4. 임계값 기반 공개 규칙: 업데이트의 존재 자체가 아니라, 베이스라인 대비 변화의 크기에 따라 공개를 트리거하는 비례성 기준을 도입하여, 특히 교정된 신뢰를 위협할 때를 대상으로 한다.
5. 역할 민감형 공개 설계: 공개는 맥락화되어야 한다고 주장한다. 최전방 사용자(예: 임상의)는 워크플로우에 내재된 간결하고 실행 가능한 정보가 필요하며, 감사관은 완전한 추적성을 필요로 한다. 이 프레임워크는 계층적 공개 방식을 지원한다.

4. 결과 및 예시

본 논문은 경험적 실험 결과를 제시하는 대신, 의료 AI 사례인 **뇌졸중 분류 의사결정 지원(Stroke Triage Decision Support)**을 통해 개념적 시연을 제공한다.

• 시나리오: 뇌졸중 분류를 위해 배포된 시스템이 공변량 드리프트(CT 스캐너의 펌웨어 변경)로 인해 모델 업데이트를 거친다. 이 업데이트는 전역적 AUROC를 개선하며 최고 신뢰성 레벨 내에 머물러 있어 AIA 재평가를 트리거하지 않는다.
• 불투명성: 전역적 안정성에도 불구하고, 업데이트는 특징 가중치(feature weights)를 변화시켜 특정 하위 그룹(예: 고령 환자)에 대한 전원 권고 사항을 변경한다. 기존의 교정된 기대치에 의존하던 임상의들은 이러한 변화를 알지 못한다.
• 프레임워크 적용:
  • 비유사성 함수가 하위 그룹 행동의 누적 변화가 임계값 $\epsilon_A$를 초 exceed함을 감지한다.
  • 공개 트리거 발생: 일반적인 변경 로그 대신, 워크플로우에 삽입된 배너가 임상의에게 다음과 같이 알린다: "모델이 [날짜]에 업데이트되었습니다. 75세 이상 환자에 대한 전원 권고 사항이 달라질 수 있습니다."
  • 책임성: 이를 통해 폐쇄된 인식 루프를 생성한다. 만약 업데이트 후 환자가 과소 분류되는 경우, 시스템은 제공자가 변화를 공개했고 사용자가 이를 인지했음을 입증할 수 있어, 침묵 시 발생할 수 있는 "책임의 공백(accountability lacuna)"을 메울 수 있다.

5. 의의 및 주장

본 논문은 AI 시스템의 업데이트를 관리하는 것이 단순히 기술적 유지보수나 법적 준수의 문제가 아니라, 변화하는 시스템이 여전히 이해 가능한 상태를 유지하기 위한 필수 조건이라고 주장한다.

• 제한적 범위: 저자들은 모든 투명성 문제를 해결하거나 모든 AI 시스템을 위한 보편적 알고리즘을 제공한다고 주장하지 않는다. 그들은 프로필 차원, 비유사성 함수, 임계값에 대한 선택이 맥락 의존적이며 사례별로 정당화되어야 함을 명시한다.
• 실용적 유용성: 이 프레임워크는 투명성에 대한 "전부 아니면 전무(all-or-nothing)" 방식에 대한 원칙적이고 실행 가능한 대안을 제공한다. 이를 통해 제공자는 변화가 배포자와 영향받는 당사자들에게 실질적으로 유의미해질 때만 경고를 발행함으로써 투명성을 유지할 수 있다.
• 향후 연구: 저자들은 도메인 특화된 프로필 차원 및 비유사성 함수 선택을 정교화하고, 다양한 공개 인터페이스가 고위험 환경에서의 교정된 사용에 미치는 영향을 경험적으로 테스트하는 후속 연구의 필요성을 강조한다.

요약하자면, 본 논문은 업데이트 불투명성을 인식적 접근성의 거버넌스 실패로 보고 있다. EU AI 법의 규범적 경계와 MLOps의 운영적 모니터링을 결합하고 임계값 기반의 공개 규칙을 적용함으로써, 시스템의 진화를 관리하는 동시에 안전하고 책임 있는 AI 배포에 필요한 교정된 신뢰를 유지할 수 있다는 것이다.