기술 요약: 포괄적인 AI 거버넌스를 위한 비모델 역량 증대(Non-Model Capability Gains) 대응의 필요성

1. 문제 제기

현재 프런티어 AI 거버넌스의 지배적인 패러다임은 **모델 수준의 거버넌스(model-level governance)**이며, 이는 모델의 역량 프로필이 주로 사전 학습(pre-training) 및 표준 사후 학습(post-training) 단계에서 사용된 컴퓨팅 자원과 데이터의 함수라는 가정하에 작동합니다. 이 접근 방식은 모델 개발자에 의한 배포 전 평가와 완화 조치에 크게 의존합니다.

그러나 본 논문은 역량의 진보가 점차 **"비모델 증대(non-model gains)"**에 의해 주도됨에 따라 모델 수준의 거버넌스가 구조적으로 비효율적이 되고 있다고 주장합니다. 여기서 비모델 증대란 베이스 모델 자체의 발전과는 독립적인 역량의 향상을 의미합니다. 접근 가능한 역량의 "하한선(floor)"이 이러한 비모델 벡터를 통해 상승함에 따라, 위험한 결과를 초래할 수 있는 행위자의 범위가 확장됩니다. 설령 절대적인 역량의 상한선(ceiling)이 프런티어 개발자들에게 남아 있더라도 말입니다. 결과적으로, 베이스 모델의 배포 전 평가에만 의존하는 리스크 관리 전략은 진화하는 리스크 환경을 관리하기에 불충분합니다.

2. 방법론 및 프레임워크

본 논문은 비모델 증대의 개념을 공식화하기 위해 개념적 분석 및 분류 체계 개발 방식을 채택합니다. 새로운 경험적 실험을 제시하는 것이 아니라, AI 개발의 신흥 트렌드(예: 추론 모델, 다중 에이전트 시스템, 물리적 구현 등)를 합성하여 전통적인 학습 루프 외부에서 발생하는 역량 증가를 범주화합니다.

저자들은 다음을 구분하는 프레임워크를 구축합니다:

1. 모델 수준 증대(Model-level gains): 사전 학습 컴퓨팅과 데이터의 스케일링으로부터 기인함.
2. 비모델 증대(Non-model gains): 사후 학습 강화, 추론 시 스케일링(inference-time scaling), 또는 제한된 자산에 대한 접근으로부터 기인함.

분석은 세 가지 주요 비모델 증대 벡터와 세 가지 신흥 미래 벡터를 식별한 후, 이를 현재의 거버넌스 전략의 한계와 매핑하여 더 넓은 포트폴리오의 거버넌스 메커니즘을 제안하는 방식으로 진행됩니다.

3. 핵심 기여: 비모델 증량의 분류 체계

본 논문은 모델 수준의 거버넌스를 약화시키는 역량 증량의 분류 체계를 공식화합니다:

A. 주요 벡터

1. 추론 증대 (Inference Gain): 테스트 시(test-time) 컴퓨팅 자원을 스케일링함으로써 얻는 역량 향상.

   • 메커니즘: 순차적 및 병렬적 추론 스케일링(예: "생각하는" 모델)과 같은 기술은 더 작거나 오픈 웨이트(open-weight) 형태인 모델이 더 큰 프런티어 모델의 성능을 모방할 수 있게 합니다.
   • 거버넌스 영향: 독점 모델과 오픈 웨이트 모델 간의 성능 격차를 줄여, 악의적인 행위자가 독점 모델을 탈옥(jailbreaking)하기 위해 노력하는 대신, 접근 가능한 오픈 모델에 대한 추론 스케일링을 높임으로써 독점 모델의 제약을 우회할 가능성을 높입니다.

2. 시스템 증대 (Systems Gain): 베이스 모델이 출시된 후 적용되는 맞춤형 사후 학습 강화로부터 얻는 역량 향상.

   • 메커니즘: 스캐폴딩(scaffolding), 다중 에이전트 오케스트레이션, 도구 사용, 그리고 반복적인 자기 개선 체계 등을 포함합니다.
   • 거버넌스 영향: 이러한 증대는 사전 학습에 비해 상대적으로 저렴한 비용으로 발생합니다. 고성능 스캐폴드에 대한 "레시피"가 발견되면 이는 자유롭게 확산됩니다. 개발자는 제3자가 발견할 수 있는 모든 다운스트림 수정이나 특정 "최적의 스캐폴드"를 예측할 수 없습니다.

3. 자산 증대 (Asset Gain): 원래 개발자가 보유하지 못한 제한된 자산을 결합하여 얻는 역량 증가.

   • 메커니즘: 정부 보유 전문 지식(예: 핵물리학, 스텔스 기술), 특수 하드웨어(물리적 구현체), 또는 기밀 데이터(예: 미공개 취약점, 병원체 데이터)와의 통합을 포함합니다.
   • 거버넌스 영향: 이는 제한된 자산의 특성 때문에 배포 전에는 추정하거나 평가하기 어려운 "역량 오버행(capability overhang)"을 생성합니다.

B. 미래 벡터

본 논문은 거버넌스를 더욱 위협할 수 있는 세 가지 신흥 벡터를 식별합니다:

• 구현 증대 (Embodiment Gain): 물리적 센서 및 액추에이터와의 통합으로, 리스크의 성격을 정보적 안전에서 물리적 안전(예: 로봇 공학)으로 전환합니다.
• 지속적 학습 (Continual Learning): 모델이 시간이 지남에 따라 진화할 수 있는 능력으로, 배포 후 안전 훈련의 망각(forgetting)이나 안전 드리프트(safety drift)를 초래할 수 있습니다.
• 확산 효과 (Diffusion Effects): 광범위한 배포로 인한 집합적 효과, 예를 들어 단일 문화(monoculture) 리스크나 상호 의존적인 시스템(예: 금융 시장)에서의 연쇄적 실패 등을 의미합니다.

4. 결과 및 거버넌스 분석

분석 결과, 배포 전 유도(elicitation)에 의는 것은 다음과 같은 이유로 불충 sufficient(불충분)합니다:

• 유도 실패 (Elicitation Failure): 개발자가 다운스트림 행위자(스캐폴딩, 추론 스케일링 등)에 의해 자신의 모델이 어떻게 수정될지 예측하는 것이 점점 더 어려워지고 있습니다.
• 완화 실패 (Mitigation Failure): 위험한 역량이 유도되더라도, 비모델 벡터를 통해 이러한 증량을 복제하는 비용이 매우 낮기 때문에 완화가 어렵습니다.
• 오버행 비용 (Overhang Cost): 비모델 증량으로 인해 더 많은 행위자가 위험한 역량에 접근할 수 있게 됨에 따라, 역량 유도 실패의 잠재적 피해 규모가 커집니다.

제안된 거버넌스 포트폴리오

본 논문은 모델 수준의 거버넌스가 교체되는 것이 아니라, 다각화된 포트폴리오의 거버넌스 전략에 의해 보완되어야 한다고 주장합니다:

1. 강화된 모델 수준 거버넌스:

   • 진화적 유도 표준 (Evolutive Elicitation Standards): "모델이 무엇을 할 수 있는가"에서 "특정 자원을 가진 행위자가 주어진 시간 동안 무엇을 유도할 수 있는가?"로 관점을 전환합니다.
   • 파트너십: 평가 스택을 개선하기 위해 제3자 테스터, 국가 안보 당국, 하드웨어 제조업체와의 협력을 심화합니다.
   • 배포 후 모니터링: 리더보드 및 위협 인텔리전스 공유를 통해 배포된 모델을 지속적으로 재평가합니다.
   • 예측 (Forecasting): 특히 추론 및 시스템 증량에 대한 역량 오버행을 예측하는 방법론에 투자합니다.

2. 모델 수준을 넘어선 거버넌스:

   • 시스템 거버넌스 (System Governance): 베이스 모델의 역량을 크게 끌어올리는 복잡한 스캐폴드나 에이전트를 구축하는 시스템 제공자에게 리스크 관리 책임을 묻습니다.
   • 엔티티 거버넌스 (Entity Governance): 단순히 모델 가중치에 집중하는 것이 아니라, AI를 개발하거나 배포하는 엔티티의 조직 구조, 인센티브, 리스크 문화를 중심으로 합니다.
   • 에이전트 거버넌스 (Agent Governance): 다중 에이전트 역학, 위임, 자율적 상호작용(예: 미스코디네이션, 담합)에서 발생하는 리스크를 다룹니다.
   • 클라우드 거버넌스 (Cloud Governance): 오용 패턴을 탐지하기 위해 클라우드 제공자 수준에서 추론 컴퓨팅 사용량 및 콘텐츠에 대한 프라이버시 친화적 모니터링을 탐색합니다.
   • 사회적 회복력 (Societal Resilience): 기술적 거버넌스가 리스크 발생을 막지 못할 경우를 대비하여, 공동체가 AI 기반의 교란(예: 생물학적 공급망, 경제 인프라 보안)에 대처하고 회복할 수 있도록 돕는 개입을 포함합니다.

5. 의의 및 주장

본 논문은 비모델 증량의 중요성이 커짐에 따라 모델 수준 개입의 상대적 수익(returns)이 감소할 수 있다고 주장합니다. 본 논문의 주요 의의는 다음과 같습니다:

• 개념의 공식화: 그동안 일화적으로만 논의되었던 비모델 증량에 대해 엄격한 분류 체계를 제공합니다.
• 정책 준비: AI 생태계가 "베이스 모델"이 더 이상 통제의 유일한 지점이나 리스크의 유일한 소재가 아닌, 변화하는 리스크 환경에 대비해야 함을 강조합니다.
• 전략적 다각화: 거버넌스 전략이 모델을 넘어 시스템, 엔티티, 에이전트, 클라우드 노드, 그리고 사회적 회복력까지 포함하는 포괄적인 분석과 탐색을 수행해야 함을 입증합니다.

저자들은 이러한 대안적 거버넌스 전략들이 실무적, 법적, 기술적으로 높은 장벽에 직면해 있다는 점을 인정하며 신중한 입장을 유지합니다. 이들은 이러한 대안들이 즉시 실행 가능해야 한다거나 모델 수준의 거버넌스가 불필요해질 것이라고 주장하는 것이 아닙니다. 대신, 비모델 증량이 역량 진전의 지배적인 동력이 됨에 따라 거버넌스 생태계가 준비되지 않은 상태로 남겨지는 것을 방지하기 위해, 이러한 더 넓은 메커니즘에 대한 포괄적인 분석과 탐색이 "조속히" 이루어져야 한다고 주장합니다.