NeurIPS Should Require Reproducibility Standards for Frontier AI Safety Claims

기술 요약: NeurIPS 는 최첨단 AI 안전 주장에 대한 재현성 기준을 요구해야 한다

문제: 증거의 역전
이 논문은 '증거의 역전 (evidential inversion)'이라는 용어로 명명된 최첨단 AI 안전 연구의 치명적인 구조적 결함을 지적한다. 표준 머신러닝에서는 더 중대한 경험적 주장이 더 강력한 공개 및 재현성 규범에 의해 뒷받침되는 것이 일반적이다. 그러나 최첨단 AI 안전 분야에서는 이 관계가 역전되어 있다. 즉, 고도로 유능한 범용 모델이 배포에 안전하거나, 충분히 완화되었거나, 특정 위험 임계값 이하라는 주장은 가장 중대한 주장임에도 불구하고 종종 재현성이 가장 낮다.

현재의 투명성 지표 (예: 2025 파운데이션 모델 투명성 지수) 에 따르면 주요 개발자들은 프롬프트 세트, 평가 파이프라인, 훈련 데이터 공개와 같은 이러한 주장을 평가하는 데 필요한 아티팩트를 자주 공개하지 않는다. 이로 인해 안전 주장이 과학적 정통성에 필요한 증거적 뒷받침 없이 규범적 진술 (예: "이 모델은 안전하다") 로 취급되는 상황이 발생한다. 이 논문은 이것이 단순한 투명성 선호가 아니라 측정 타당성 실패라고 주장한다. 여기서 공격 성공률이나 위험 완화 비교는 종종 낮은 타당성을 가진 측정치나 '사과와 오렌지 비교 (apples-to-oranges)'에 기반하고 있다.

방법론: 3 단계 공개 프레임워크
저자들은 위험한 아티팩트의 공개를 의무화하지 않으면서도 이 격차를 해결하기 위해 NeurIPS 컨퍼런스에 대한 방법론적 개입을 제안한다. 핵심 방법론은 의무적인주장 인벤토리 (Claim Inventory)와 결합된3 단계 공개 프레임워크이다.

1. 주장 인벤토리: 최첨단 AI 안전 주장을 하는 저자는 각 주장, 그 범위, 평가에 필요한 아티팩트, 그리고 요청된 공개 등급을 나열한 구조화된 인벤토리를 제출해야 한다. 여기에는 평가된 시스템 (체크포인트 유형), 환경 (오프라인 대 라이브), 파이프라인 구성 요소, 불확실성 정량화를 상세히 설명하는 '범위 진술서'가 포함된다.
2. 3 단계 시스템:
   • 1 단계 (공개): 기본값이다. 주장 재현에 충분한 평가 프롬프트, 코드, 평가 기준, 버전 식별자의 완전한 공개를 요구한다. 완전한 경험적 타당성을 지원한다.
   • 2 단계 (통제): 공개가 실질적인 오용이나 보안 위험을 초래하지만 기밀 검토가 가능한 경우에 적용된다. NeurIPS 기밀 패널 또는 승인된 독립 감사자가 비공개로 접근할 수 있어야 한다. 공개된 논문에는 방법 요약, 편집 정당성, 검토자 범위 진술서가 포함된다. 이는 '강하지만 조건부'인 경험적 타당성을 지원한다.
   • 3 단계 (제한): 기밀 검토조차 불가능한 경우 (예: 라이브 CBRN 상향 조정 하네스) 에 적용된다. 주장은 '적정 규모 (right-scaled)'로 조정되어 제한된 증거가 지지할 수 있는 수준으로 그 강도가 낮아진다. 이는 맥락이나 기술적 노트로 나타날 수 있지만, '임계값 이하' 또는 '배포 지원' 결론의 근거로 사용될 수는 없다.
3. 거버넌스 메커니즘: 이 제안은 2 단계 검토를 위한**연방 콜로키움 (Federated Colloquium)**을 제시한다. 단일 중앙 기관에 의존하는 대신, T2 제출물은 도메인 전문성 (예: CBRN, 사이버 공격, 시스템적 위험) 에 따라 국가 AI 안전 연구소, METR 과 같은 독립 평가자, 신뢰받는 학술 연구소 등 안전한 검토 호스트 네트워크로 라우팅된다. 비연관 학자와 연구소 인력으로 구성된 기밀 패널이 비밀유지계약 (NDA) 하에 아티팩트를 검토하여 민감한 데이터를 공개하지 않고 공개적인 '적절성 진술서'를 작성한다.

주요 기여
이 논문은 AI 안전 거버넌스 담론에 다음과 같은 여섯 가지 구체적 요소를 기여한다:

1. 운영적 정의: EU AI 법의 컴퓨팅 임계값 ($10^{25}$ FLOPs) 또는 CBRN 상향 조정, 자율적 사이버 공격, 자기 복제, 전략적 기만과 같은 등장하는 위험 능력의 존재에 기반한 '최첨단 AI 안전 주장'의 정량적 및 기능적 정의.
2. 진단: 2025~2026 년 경험적 증거에 기반한 '증거의 역전'에 대한 공식적 진단으로, 재현성 실패가 기술적 설명이 아닌 규범적 주장에 집중되어 있음을 입증한다.
3. 제도적 논증: 기존 재현성 규범 (예: ML 재현성 체크리스트) 과 최첨단 안전 프레임워크에 과학적 정통성을 부여하는 역할 등을 들어 NeurIPS 를 적절한 장소로 정당화하는 논증.
4. 프레임워크: 주장 인벤토리, 범위 진술서, 연방 검토 인프라를 포함한 상세한 3 단계 공개 모델.
5. 구현 경로: 단계적 출시 계획:
   • 1 년 차: 기존 제출 프로세스에 주장 인벤토리 및 체크리스트 구현.
   • 2 년 차: 기밀 2 단계 패널 시범 운영 (최대 5 편의 논문).
   • 3 년 차: 가시적 공개 라벨 (ACM 아티팩트 배지 모방) 도입 및 미준수자에 대한 점진적 제재.
6. 이의 처리: 업계 참여, 기밀 검토의 실현 가능성, 패널 장악 위험 등 다섯 가지 주요 이의에 대한 체계적 대응.

결과 및 주장
이 논문은 입장 논문 (position paper) 으로, 저자가 생성한 실험 결과나 경험적 데이터를 제시하지 않는다. 대신 그 '결과'는 기존 증거와 선례에서 제안된 프레임워크를 논리적으로 유도한 것이다. 논문은 다음과 같이 주장한다:

• 현재 관행은 재현 가능한 증거 없이 안전 주장이 동료 검토 정통성을 획득하도록 허용하여 과학적 엄격성과 거버넌스 필요성 사이의 격차를 조성한다.
• 제안된 프레임워크는 공개를 요구하지 않으면서도 민감한 안전 주장에 대한 감시를 가능하게 하여, 의료 윤리 검토 및 조정된 취약점 공개의 선례와 부합한다.
• 3 단계에서 주장의 '적정 규모 조정'은 증거가 제한될 때 논문이 발견 사항을 과장하지 않도록 보장하여 과학적 무결성을 유지한다.

의의
이 논문은 이 제안의 의의가 "AI 안전에서 가장 중대한 주장이 종종 재현성이 가장 낮은" 구조적 병리를 교정하는 데 있다고 주장한다. 최첨단 안전 주장에 커뮤니티가 표준 머신러닝 주장에 적용하는 것과 동일한 재현성 기준을 적용함으로써, NeurIPS 는 검증되지 않은 안전 주장의 정통화를 방지할 수 있다. 저자들은 이것이 NeurIPS 를 규제 기관으로 만들자는 요청이 아니라, NeurIPS 의 깃발 하에 출판된 주장의 증거적 지위가 그 주장의 강도와 일치하도록 보장하는 것이라고 강조한다. 이 제안은 프레임워크가 아직 유연한 단계일 때 관행을 형성하여, 동료 검토된 출판물이 글로벌 AI 거버넌스 및 정책의 신뢰할 수 있는 입력 자료로 기능하도록 하는 것을 목표로 한다.