📊 statistics

Deployment-complete benchmarking

본 논문은 증거의 모호성을 정량화하여 벤치마크 점수가 배포 행동을 신뢰성 있게 결정하는지 평가하는 "배포 완료형 벤치마킹" 프레임워크를 소개하며, 높은 점수에도 불구하고 현재 벤치마크가 종종 실제 세계의 의사결정을 지원하지 못한다는 사실을 밝히고, 잘못된 배포 의사결정을 크게 줄이기 위한 "인증 후 획득" 전략을 제안합니다.

원저자: El Mustapha Mansouri, Keigo Arai

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: El Mustapha Mansouri, Keigo Arai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

특정 직무, 즉 폭설 속에서 배송 트럭을 운전하는 직업을 채우기 위해 누가 채용될지 결정해야 하는 채용 담당자라고 상상해 보세요.

후보자 명단이 있으며, 그들에게 표준 운전 시험을 실시했습니다. 이 시험은 빈 주차장에 차를 주차하는 능력과 맑은 날 운전하는 능력을 측정합니다. 결과는 명확합니다: A 후보는 100/100 만점을 받았고, B 후보는 95/100 을 받았습니다.

이 '벤치마크 점수'를 바탕으로 자연스럽게 A 후보를 채용하게 될 것입니다. 하지만 여기에 문제가 있습니다: 그들이 받은 시험은 실제로 폭설 속 운전 능력을 측정하지 않았습니다.

'배포 완료형 벤치마킹 (Deployment-complete benchmarking)'이라는 제목의 이 논문은 우리가 AI 모델, 신소재, 의약 화합물에 대해 정확히 같은 실수를 저지르고 있다고 주장합니다. 우리는 시험 점수를 시스템이 현실 세계에 준비되었다는 보장으로 취급하지만, 실제로는 그 점수가 단지 시스템이 시험 자체에 능하다는 것만 증명할 뿐인 경우가 많습니다.

다음은 간단한 비유를 통해 그들의 연구 결과를 정리한 것입니다:

1. '파이버 (Fiber)' 문제: 동일한 점수, 다른 현실

저자들은 '파이버 (fiber)'라는 개념을 소개합니다. 파이버란 운전 시험에서 정확히 동일한 점수를 받은 사람들의 그룹이라고 상상해 보세요.

이상적인 시나리오: 그 그룹의 모든 사람이 폭설 속 운전 실력이 동일하게 뛰어납니다. 그 그룹에서 누구를 채용하든 안전합니다.
실제 문제 (혼합 파이버): 실제로는 그 그룹이 섞여 있습니다. 어떤 이들은 폭설 속 운전을 잘하지만, 다른 이들은 즉시 사고를 냅니다. 그들은 모두 맑은 날 시험에서 동일한 점수를 받았지만, 그 시험은 그 차이를 포착하지 못했습니다.

이 논문은 이를 '혼합 파이버 (mixed fiber)'라고 부릅니다. 이는 당신의 시험 점수가 결정을 내리기에는 불충분하다는 수학적 증명입니다. 만약 '혼합 파이버'가 있다면, 당신은 눈가리개를 하고 날아가는 것과 같습니다.

2. '완벽한 점수'의 함정

저자들은 완벽한 시험을 만들어 실험을 수행했습니다. 그들은 벤치마크 (맑은 날 시험) 에서 모델이 100% 완벽한 점수를 받더라도 실제 업무 (폭설) 에는 쓸모없을 수 있음을 발견했습니다.

비유: 조용한 주방에서 케이크를 만드는 데 완벽한 요리사를 상상해 보세요. 당신은 그들을 소란스럽고 시끄러운 주방에서 대규모 연회를 준비하게 고용합니다. 그들의 '완벽한 케이크 점수'가 그들이 혼란을 처리할 수 있는지 알려주지 않습니다.
연구 결과: 그들의 실험에서 시험에서 '완벽한' 모델은 여전히 약 55% 의 경우에 실제 결과를 예측하지 못했습니다. 이는 시험이 중요한 정보 (잔차 또는 '폭설') 를 놓쳤기 때문입니다.

3. '혼합 파이버' 감사

저자들은 실제 벤치마크 (독성학 분야의 Tox21, 재료 과학 분야의 JARVIS 등) 를 조사하여 몇 개의 '혼합 파이버'가 존재하는지 확인했습니다. 결과는 충격적이었습니다:

독성학 (Tox21): 동일한 시험 점수를 가진 그룹 중 **97.9%**가 안전하고 유독한 화학 물질이 섞여 있었습니다. 시험 점수는 안전성을 결정하는 데 거의 쓸모가 없었습니다.
재료 (Matbench/JARVIS): 주요 감사에서 확신 있게 채용할 수 있는 후보자의 중앙값은 **0%**였습니다. 점수가 너무 모호하여 추가 정보 없이는 그 어느 것도 신뢰할 수 없었습니다.

4. 해결책: '인증 후 획득 (Certify-Then-Acquire)'

그렇다면 어떻게 해야 할까요? 이 논문은 '인증 후 획득 (Certify-Then-Acquire)'이라는 새로운 워크플로우를 제안합니다.

점수만 보고 결정을 내리는 대신 다음 단계를 따릅니다:

점수 확인: 벤치마크 결과를 확인합니다.
파이버 확인: "이 점수 그룹에 좋은 결과와 나쁜 결과가 섞여 있는가?"라고 묻습니다.
혼합 (모호) 인 경우: 추측하지 마세요! 중단하세요. 혼란을 해소하기 위해 하나의 구체적인 시험 ('프로브') 을 더 수행해야 합니다.
- 비유: 운전 시험이 모호하다면, 운전자를 아직 채용하지 마세요. 그들에게 눈속에서 5 분간 빠르게 운전하는 시험을 추가로 실시하세요.
순수한 경우: 그룹이 모두 안전 (또는 모두 안전하지 않음) 한 경우, 그때 결정을 내릴 수 있습니다.

이 새로운 접근법의 결과:

독성학 테스트에서 이 방법은 잘못된 결정 (거짓 경보) 을 1.19% 에서 0.027% 로 감소시켰습니다.
재료 테스트에서는 잘못된 결정을 20.3% 에서 0.128% 로 감소시켰습니다.
보너스: 이 방법은 종종 선택한 모델이나 재료를 변경했습니다. 이전 점수로 '최고'였던 모델이 종종 실제 업무에는 최악의 선택이었습니다. 새로운 방법은 올바른 것을 선택했습니다.

5. '완료 곡선 (Completion Curve)'

저자들은 결과를 보고하는 새로운 방식을 제안합니다. 단순히 "우리의 모델은 95% 정확도를 달성했다"라고 말하는 대신, 보고서에는 **'완료 곡선 (Completion Curve)'**이 포함되어야 합니다.

이 곡선은 다음과 같은 질문에 답합니다: "우리의 결정이 옳다는 것을 확신하기 위해 얼마나 더 많은 정보 (또는 비용) 를 투자해야 하는가?"

곡선이 평평하다면, 확신을 얻기 위해 많은 추가 테스트가 필요합니다.
곡선이 가파르다면, 이미 확신에 가까운 상태입니다.

결론

이 논문은 점수가 결정이 아님을 주장합니다. 점수는 단지 증거의 한 조각일 뿐입니다.

구식 방식: "모델 점수가 95% 이므로 배포합니다." (이것은 점수가 실제 세계의 위험을 다루지 못할 수 있으므로 위험합니다.)
신식 방식: "모델 점수가 95% 이지만, 그 점수는 20% 의 경우에 대해 우리를 불확실하게 만듭니다. 배포하기 전에 그 20% 에 대해 한 번 더 테스트를 실행해 보겠습니다."

저자들은 고위험 의사결정 (AI 배포, 재료 구매, 약물 승인 등) 에 있어 점수만 보고하는 것을 중단해야 한다고 결론지었습니다. 우리는 점수가 실제로 무엇을 지지하는지, 어디가 모호한지, 그리고 그 모호함을 해결하는 데 얼마나 비용이 드는지를 보고해야 합니다.

기술적 요약: 배포 완료형 벤치마킹

문제 제기
현재의 머신러닝 벤치마킹은 모델 조달, 소재 스크리닝, 화합물 분류와 같은 중요한 배포 결정들을 점점 더 주도하고 있습니다. 그러나 근본적인 단절이 존재합니다. 벤치마크 점수는 기록된 특정 응답 (예: 테스트 세트에 대한 예측 정확도) 에 대한 증거만 제공할 뿐, 반드시 필요한 배포 행동 (예: 안전성, 견고성, 또는 특정 물리적 임계값) 에 대한 증거를 제공하는 것은 아닙니다. 벤치마크 범위 밖의 응답 (예: 독성, 안정성, 또는 분포 외 견고성) 에 배포가 의존하기 때문에, 모델이 벤치마크에서 완벽하게 수행하더라도 그 점수에서 도출된 행동은 여전히 불확정적일 수 있습니다. 본 논문은 정확도, 보정, 불확실성과 같은 표준 지표들이 벤치마크 점수가 특정 배포 주장을 지지한다는 것을 보장하지 않는다고 주장합니다.

방법론
저자들은 벤치마크 증거에서 배포 행동으로의 전환을 수학적 인수분해 문제로 취급하는 배포 완료형 벤치마킹 (deployment-complete benchmarking) 프레임워크를 소개합니다.

공식적 정의:
- $S$ 를 후보의 공간, $Z$ 를 기록된 증거 (벤치마크 점수) 의 공간, $A$ 를 배포 행동의 공간이라고 합시다.
- 벤치마크는 증거 매핑 $E: S \to Z$ 를 기록합니다. 배포 주장은 행동 $D: S \to A$ 입니다.
- 주장 완전성 (Claim-Completeness): 벤치마크가 주장 $D$ 에 대해 완전하다는 것은 $D$ 가 모든 증거 섬유 (evidence fiber) $E^{-1}(z)$ 위에서 상수일 때에만 성립합니다. 동등하게, $D = \phi \circ E$ 가 되는 매핑 $\phi: Z \to A$ 가 존재해야 합니다.
- 혼합 섬유 (Mixed Fibers): 만약 섬유 $E^{-1}(z)$ 가 서로 다른 배포 행동을 요구하는 후보들 (예: 한 후보는 배포해야 하고, 다른 후보는 거부해야 함) 을 포함한다면, 이를 "혼합 섬유"라고 합니다. 이는 보고된 증거가 행동을 결정하기에 불충분함을 수학적으로 증명하는 증거가 됩니다.
진단 도구:
- 혼합 섬유 감사 (Mixed-Fiber Audit): 혼합 섬유에 속하는 후보들의 비율을 계산하는 진단 도구입니다.
- 완성 곡선 (Completion Curves): 모호성을 해결하는 데 필요한 비용 (추가 응답 프로브 또는 예산 측면에서) 을 정량화합니다. 이는 "인증된 비율" (순수 섬유를 가진 후보) 을 "응답 예산"에 대해 그래프로 나타냅니다.
- 인증 유형: 논문은 정확한 인증 (레이블이 알려진 유한 집합), 보정 인증 (홀드아웃 데이터에 대한 경험적 위험), 예측 인증 (모델링 가정에 기반한 구간 경계) 을 구분합니다.
실험 설계:
- 제어된 응답 공간: 응답 공간의 기하학적 구조가 알려진 합성 실험으로, 벤치마크에 보이지 않는 배포 응답의 구성 요소인 "잔여 크기 (residual size)"를 정밀하게 계산할 수 있습니다.
- 공개 감사: 실제 세계 벤치마크에서 혼합 섬유의 prevalence 를 측정하기 위해 기존 데이터셋 (Tox21, Matbench, JARVIS, Vision) 을 분석합니다.
- 홀드아웃 재생 (Held-out Replays): "인증 후 획득 (certify-then-acquire)" 워크플로우를 테스트하는 운영 시뮬레이션입니다. 순수 섬유를 가진 후보는 즉시 결정하고, 혼합 섬유에 있는 후보는 추가 측정 (획득) 을 위해 보냅니다.

주요 결과

벤치마크 정확도 $\neq$ 배포 완전성:
- 제어된 실험에서 벤치마크 채널 컨포멀 예측은 측정된 레이블에 대해서는 94.98% 커버리지를 달성했으나, 측정되지 않은 배포 채널에서는 10.07% 만 달성했습니다.
- 벤치마크 오류가 0 인 경우에도(벤치마크에서 완벽한 예측), 배포 방향이 벤치마크 스패너에 수직인 성분을 가지고 있기 때문에 배포 커버리지는 붕괴되었습니다 (특정 잔여 크기에서 45.4% 로 감소).
- 리더보드 역전: 벤치마크 평균 절대 오차 (MAE) 가 가장 좋은 모델이 배포 후보를 인증하는 데는 종종 가장 나빴습니다. 일부 실행에서 최우수 MAE 모델은 상위 후보의 6% 만 인증한 반면, 더 나쁜 MAE 를 가진 모델은 응답 스패너가 배포 프로브를 포함했기 때문에 100% 를 인증했습니다.
공개 벤치마크의 체계적 불완전성:
- Tox21: 97.9% 의 섬유 (7 개 어세이 프로필이 동일한 화합물 그룹) 가 SR-p53 배포 엔드포인트에 대해 혼합되었습니다.
- Matbench 및 JARVIS: 주요 20 분위 감사에서 안정성 및 밴드갭 주장에 대한 중앙값 인증 가능 비율은 **0%**였습니다.
- Vision: 깨끗한 예측 섬유는 22.7% 의 오염 견고성 주장을 모호하게 남겼습니다.
완성 인식 정책의 운영적 영향:
- 오류 결정 감소: Tox21 홀드아웃 재생에서 "인증 후 획득" 워크플로우는 벤치마크 다수결 정책에 비해 경험적 오류 결정을 1.19% 에서 0.027% 로 줄였습니다. JARVIS 의 경우 오류 밴드갭 결정은 20.3% 에서 0.128% 로 감소했습니다.
- 모델 선택: 완성 인식 워크플로우는 벤치마크-MAE 워크플로우와 다른 모델을 선택했습니다. 대표적인 JARVIS 분할에서 벤치마크-MAE 모델은 613 개의 오류 밴드갭 결정을 내렸으나, 응답 선택 워크플로우는 하나도 내지 않았습니다.
- 프로브 선택: "응답 순위 (Response-rank)" 및 "잔여-탐욕 (residual-greedy)" 정책은 모호성을 줄인 배포 관련 프로브 (예: 특정 독성 어세이 또는 밴드갭 계산) 를 성공적으로 식별하여 불확실성 기반 또는 다양성 기반 획득 전략을 능가했습니다.

의의 및 주장
본 논문은 배포 준비가 된 벤치마크는 "점수만" 보고하는 것에서 감사 가능한 증거 패키지로 보고 표준을 전환해야 한다고 주장합니다. 이 패키지에는 다음이 포함되어야 합니다:

점수.
사용된 증거 매핑.
해당 점수가 지지하려는 특정 행동.
행동이 이미 결정된 (순수 섬유) 후보의 비율.
모호성 비율 (혼합 섬유).
모호성을 해결하는 데 필요한 완성 비용 (예산).

저자들은 정확도, 보정, 불확실성 추정이 순위 매기기 및 신뢰성에는 여전히 유용하지만 다른 질문에 답한다고 주장합니다. 배포 완전성은 증거 패키지가 행동을 결정하는지 여부를 구체적으로 묻습니다. 이 프레임워크는 증거가 불충분할 때의 진단, 동일한 증거에만 의존하는 통계가 누락된 정보를 복구할 수 있는 한계 (없음), 그리고 배포 결정을 지원하기 위해 필요한 정보를 획득하기 위한 설계 규칙을 제공합니다.

한계 및 범위
본 논문은 모든 벤치마크가 무용지물이라고 주장하는 것이 아니라, 특정 배포 주장에 대해 종종 불완전하다고 주장합니다. "인증 후 획득" 워크플로우는 모호한 후보를 실패가 아닌 추가 측정에 대한 요청으로 취급합니다. 이 프레임워크는 증거 상대적이며, 설명자, 제약 조건, 또는 새로운 측정을 추가하면 증거 매핑이 변경되고 완성 비용을 낮출 수 있습니다. 결과는 관찰되지 않은 분포에 대한 공식적 인구 보장보다는 홀드아웃 데이터에 대한 경험적 위험 평가와 유한 집합에 대한 수학적 진단으로 제시됩니다.