Macro-Prudential AI Governance: A Two-Layer Early Warning and Response System for Frontier AI

기술 요약: 거시적 건전성 AI 거버넌스 (MEWRS)

문제 정의
본 논문은 현재의 프런티어 AI 거버넌스에 존재하는 구조적 격차를 식별한다. 즉, 상당한 노력이 미시적 건전성(micro-prudential) 감독(개별 모델 또는 특정 출시 결정에 대한 평가)에 집중되어 있는 반면, 섹터 전반의 상관관계가 있는 리스크 축적을 관리하기 위한 거시적 건전성(macro-prudential) 도구는 부족하다는 점이다. 저자는 2008년 이전의 금융 위기 사례를 유추하며, 단일 모델에서 위험을 발견하는 것이 반드시 조치로 이어지는 것을 보장하지 않으며, 개별 모델 검토는 서로 다른 연구소의 구조적으로 유사한 시스템 전반에 걸쳐 일반화되는 취약점(예: 탈옥 기법)과 같은 시스템적 역학을 포착하는 데 실패한다고 주장한다. 현재의 제안들은 종종 단일 모델의 안전성을 다루지만, 경쟁적인 가속화, 공유된 아키텍처, 공통된 의존성으로 인해 발생하는 연쇄적 붕괴에 대해 섹터 전체를 무방비 상태로 남겨둔다.

방법론: 2계층 MEWRS 프레임워크
본 논문은 거시적 건전성 조기 경보 및 대응 시스템(MEWRS)을 제안하며, 이는 특히 개발자 내부 프런티어 AI(외부 제품과는 구별되는, 내부 연구, 테스트 및 프로덕션 워크플로우에 사용되는 시스템)로 범위를 한정한다. 이 프레임워크는 Basel III 금융 안정성 아키텍처와 미국 금융 안정성 감독 모델을 두 개의 별도 계층으로 변형하여 적용한다.

계층 A: 조기 경보 및 조율된 대응
이 계층는 "발견자-조율자-방어자" 모델을 채택하여 구조화된 보고서를 정부의 클리어링하우스(clearinghouse)를 통해 도메인별 워킹 그룹으로 전달하도록 한다.

• 발견자(Finders): 내부 평가 팀, 계약된 레드팀, 독립 연구자, 정부 파트너(예: NIST CAISI)가 네 가지 범주(이중 용도 역량, 자율성 지표, 보안 침해, 정렬-무결성 실패)에 대해 구조화된 보고서를 제출한다.
• 조율자(Coordinator): 관할 구역별 엔티티(미국 내 BIS 및 NIST CAISI를 포함한 구현체 또는 EU/UK의 유사 기관으로 제안됨)가 심각도, 영향 범위(blast radius), 그리고 연구소 간 상관관계 신호를 기준으로 우선순위를 결정한다.
• 방어자(Defenders): 위협 도메인별(사이버, 생물/화학, 자율성, 절도)로 조직된 독립 워킹 그룹은 즉각적인 완화, 조율된 공개 및 에스컬레이션을 위해 사전 약속된 플레이북을 활용한다.
• 보고 스키마: Basel의 Pillar 3 공시와 유사하게, 영업 비밀을 공개할 필요 없이 배포 범위, 역량 증거 및 보안 상태를 포착하는 표준화된 스키마를 사용한다.

계층 B: AI 안전 버퍼
이 계층는 세 가지 정량적 버퍼 지표를 통해 운영 통제를 조정한다. 이는 리스크 가중 자산이 자본 비율을 결정하는 은행업과 유사하게, 리스크 프로필이 증가함에 따라 더 강력한 안전장치를 트리거한다.

1. 유효 컴퓨팅 리스크(Effective Compute-at-Risk, ECAR): 시스템적 영향 범위를 나타내는 대리 지표로, $ECAR(m) = C(m) \cdot A(m) \cdot R(m)$으로 계산된다. 이는 유효 훈련 컴퓨팅($C$), 자율성 계수($A$), 도달 계수($R$)를 결합하며, 섹터 프런티어 대비 규모로 스케일링된다.
2. 누적 레드팀 시간(Cumulative Red-Team Hours, CRTH): 평가자의 독립성, 역량 및 접근 수준에 따라 가중치가 부여된 전문가 스트레스 테스트 시간의 합계이다. 이는 "변동성 헤어컷(volatility haircut)" 역할을 하며, 낮은 CRTH는 높은 잔여 불확실성을 의미하며 더 큰 버퍼를 요구한다.
3. 정렬 강건성 점수(Alignment Robustness Score, ARS): 적대적 공격 및 분포 변화 조건 하에서의 모델 안정성에 대한 경험적 측정치이다. 낮은 ARS는 취약한 시스템을 나타내며, 테스트 및 배포 속도 제한을 트리거한다.

주요 기여
본 논문은 AI 거버넌스 분야에 다음과 같은 다섯 가지 구체적인 기여를 명시한다.

1. 보고 스키마 및 아키텍처: 내부 시스템을 위한 조율된 보고 파이프라인과 진화하는 리스크 범주를 위한 버전 관리된 스키마에 대한 상세한 개요를 제공한다.
2. 버퍼 지표: 리스크에 따라 운영 통제를 확장하도록 설계된 ECAR, CRTH, ARS의 정의 및 캘리브레이션 로직을 제공한다.
3. 메커니즘 매핑: Basel III의 6가지 메커니즘(리스크 가중 자본 버퍼, G-SIB 등급 분류, 경기 대응적 버퍼, Pillar 3 공시, 리빙 윌(Living wills), 중앙은행 기술 역량)을 AI 거버넌스 유사체로 구조적 매핑한다.
4. 실패 모드 분석: 데이터 최소화, 일몰 조항, 표준화된 계수 테이블 등의 구체적인 완화책과 함께 7가지 잠재적 실패 모드(규제 포획, 조율자 남용, 컴플라이언스 해자, 메트릭 게이밍 포함)를 식별한다.
5. 검증 계획: 이론적 가정에 의존하기보다 시간-트리아지(time-to-triage) 및 완화 수용도를 테스트하기 위해 레드팀/블루팀 연습을 중심으로 한 단계적 검증 계획을 제안한다.

결과 및 주장
본 논문은 정책 제안 및 프레임워크 설계이므로 경험적인 실험 결과를 제시하지 않는다. 대신 다음과 같은 사항을 주장한다.

• 개념적 프레임워크: 개별 모델의 안전성과 섹터 전반의 리스크 감시 사이의 간극을 메우는 프레임워크를 제공한다.
• 사전 약 commitment 메커니즘: 버퍼 요구 사항을 추적 지표 및 경기 대응적 조정(예: 역량 급증 지수)에 연결함으로써, 연쇄 반응이 발생하기 전에 "탈출로(off-ramps)"를 생성한다.
• 비례성의 원칙: 소규모 및 오픈 소스 프로젝트에는 최소한의 부담을 주는 반면, 시스템적으로 중요한 AI 기관(SIAI)에는 엄격한 기준을 적용한다.
• 하이브리드 트리거 시스템: 게이밍을 방지하기 위한 추적 지표(trailing metrics)와 대응성을 유지하기 위한 선행적 위험 역량 임계값(forward-looking dangerous-capability thresholds)을 결합한다.

의의
저자는 MEW-RS가 "발견-대응 간극"과 섹터 전반의 리스크 감시 부재를 해결하기 때문에 중요하다고 주장한다. 2008년 이후의 금융 규제 구조를 차용함으로써, 이 프레임워크는 상관관계가 있는 리스크 축적을 관리하기 위한 테스트 가능하고 실행 가능한 경로를 제공한다. 저자는 이 비유가 (역량 주기 및 최후의 대부자 부재를 인정하며) 문자 그대로의 금융업이 아닌 구조적 비유임을 강조하지만, 경기 대응적 버퍼 및 시스템적 등급 분류와 같은 도구의 기능적 전이는 현재의 미시적 건전성 접근 방식을 넘어선 필수적인 진화임을 밝힌다. 이 프레임워크는 유익한 혁신을 보존하면서 시스템적 실패 확률을 줄이는 것을 목표로, 성숙해질 때까지 자발적으로 시범 운영될 수 있도록 설계되었다.