🤖 AI

When benchmark inferences do not compose: Projectibility in AI evaluation

본 논문은 유효한 AI 벤치마크 추론이 종단점, 가정 및 의존성에서의 불일치로 인해 자동으로 정당한 결과적 주장으로 결합되지 못한다고 주장하며, 이러한 뒷받침되지 않는 논리적 결합을 진단하기 위한 "투사 가능성 감사(projectibility audit)" 프레임워크를 제안한다.

원저자: Brett Reynolds

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Brett Reynolds

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 새로운 로봇 셰프가 바쁜 레스토랑을 운영할 준비가 되었는지 확인하려 한다고 상상해 보십시오. 단순히 테스트 키친에서 양파를 써는 모습만 관찰하고 그것이 풀 코스 디너 서비스를 감당할 수 있을 것이라고 가정할 수는 없습니다. 당신은 다음과 같은 질문을 던져야 합니다. 재료가 달라져도 똑같은 방식으로 요리할 것인가? 인간 매니저가 음식을 점검하더라도 여전히 훌륭할 것인가? 일주일 동안의 서비스를 버텨낼 것인가, 아니면 단 한 시간뿐일 것인가? 이것이 바로 인공지능이 실제로 얼마나 똑똑하거나 유능한지를 측정하려는 분야인 **AI 평가(AI evaluation)**의 핵심입니다.

이를 위해 연구자들은 종-종 **벤치마크(benchmarks)**를 사용합니다. 벤치마크를 운전면허 시험과 같은 표준화된 시험이라고 생각하십시오. 자동차가 시험을 통과하면 면허를 받습니다. 하지만 까다로운 점은, 시험을 통과했다고 해서 눈보라 속이나 울퉁불퉁한 비포장도로, 혹은 불안해하는 승객을 태우고 안전하게 운전할 수 있다는 것이 자동으로 보장되지는 않는다는 것입니다. AI의 세계에서 우리는 종종 다음과 같은 추론의 사슬을 목격합니다. "AI가 테스트를 통과했으므로, '일반적 추론' 능력을 갖추었으며, 따라서 이 특정 업무를 수행할 수 있고, 그러므로 사용하기에 안전하다." 여기서 큰 의문은, 첫 번째 단계의 증거가 실제로 두 번째 단계와 연결되는지, 그리고 두 번째 단계가 세 번째 단계와 연결되는지 여부입니다. 이 논문은 모든 단계가 개별적으로는 완벽해 보일지라도 왜 그 연결 고리가 자주 끊어지는지를 탐구합니다.

끊어진 논리의 사슬

당신이 블록으로 탑을 쌓고 있다고 상상해 보십시오. 당신에게는 완벽하게 정사각형이고 튼튼한 블록(벤치마크 결과)이 있습니다. 또 다른 블록 역시 완벽하게 정사각형이고 튼튼합니다(특정 사무실에서 AI가 작동함을 보여주는 국소적 연구). 당신은 "이들을 쌓으면 높고 안정적인 탑이 될 거야!"라고 생각할지도 모릅니다. 하지만 첫 번째 블록의 윗부분은 약간 둥글고, 두 번째 블록의 아랫부분은 약간 평평하다면 어떻게 될까요? 겉보기에는 잘 맞는 것 같지만, 실제로는 서로 맞닿지 않습니다. 탑은 흔들리다 쓰러집니다.

이것이 브렛 레이놀즈(Brett Reynolds)가 이 논문에서 지적하는 주요 문제입니다. 그는 이를 **비구성 원리(non-composition principle)**라고 부릅니다. 간단히 말해, 두 개의 증거가 모두 "정당하다(warranted, 좋은 데이터에 의해 뒷받침된다)"고 해서, 그 두 가지를 결합해 더 크고 강력한 주장을 만들 수 있다는 뜻은 아닙니다. 이 논문은 우리가 "AI가 테스트를 통과했다"에서 "AI가 실생활에서 사용하기에 안전하다"로 넘어가는 것과 같이 이러한 증거들을 사슬처럼 엮으려 할 때, 논리가 무너지는 미세한 틈을 놓치는 경우가 많다고 주장합니다.

"법률 보조원" 퍼즐

이 현상이 어떻게 발생하는지 보여주기 위해, 저자는 새로운 AI 도구를 도입하려는 한 법률 사무소의 이야기를 만듭니다.

테스트: 한 개발자가 자신들의 AI 모델이 특정 테스트에서 법률 질문의 90%를 맞힌다는 것을 보여줍니다.
인간의 점검: 법률 사무소는 인간 변호사들이 초안을 검토할 때 오류의 99%를 잡아낸다는 것을 보여줍니다.
거대한 도약: 법률 사무소는 이 두 가지를 결합하면 최종 법률 메모가 99.9% 완벽할 것이라고 가정합니다.

논문은 말합니다: 거기서 멈추십시오. 이 논리는 깨져 있습니다.

왜일까요? "테스트"와 "인간의 점검"은 서로 다른 것을 다루고 있기 때문입니다. 테스트는 AI가 책에서 인용구를 찾을 수 있는지만 확인할 수도 있습니다. 하지만 인간 변호사들은 AI가 책에 없는 결정적인 법률을 놓쳤는지를 확인하고 있을 수 있습니다. 만약 AI가 그 법률을 놓친다면, 인간 변호사는 잘못된 종류의 실수를 찾고 있기 때문에 그 실수를 잡아내지 못할 수도 있습니다. 두 연구는 마치 퍼즐을 서로 다른 각도에서 보고 있는 두 사람과 같습니다. 둘 다 완벽한 그림을 보고 있지만, 사실 같은 그림을 보고 있는 것이 아닙니다.

논문은 숫자를 통해 이를 시뮬레이션합니다. 한 시나리오에서 AI는 "해지 조항(Termination Clause)" 요청(특정 유형의 법률 질문)에 대해서는 훌륭하게 수행하지만, "합리적 통지(Reasonable Notice)" 요청에 대해서는 처참하게 실패합니다. 만약 점수를 단순히 평균 낸다면, AI가 전반적으로 훌륭하다고 생각할 수도 있습니다. 하지만 법률 사무소가 두 가지 유형의 질문 모두에 AI를 사용해야 한다면, 그 "평균" 점수는 그들을 속이는 것입니다. AI는 사실 업무의 절반에 대해서는 재앙 수준입니다.

"마법의 평균" 함정

논문은 또한 **집계(aggregation)**라고 불리는 통계적 기법에 대해 경고합니다. 한 학급의 학생들을 상상해 보십시오. 학생 중 절반은 수학 시험에서 100점을 받고, 나머지 절반은 0점을 받습니다. 평균 점수는 50%입니다. 괜찮게 들리나요? 하지만 학교 버스를 운행하기 위해 모든 학생이 통과해야 한다면, 그 평균은 아무런 쓸모가 없습니다.

AI에서 "안정적인 평균(stable mean)"은 많은 문제를 숨길 수 있습니다. 저자는 AI의 평균 점수는 일정하게 유지될 수 있지만, AI가 저지르는 실수의 유형은 훨씬 더 나빠질 수 있음을 보여줍니다. 예전에는 작은 오타를 냈다면, 이제는 위험한 법률적 오류를 범하고 있을 수도 있습니다. 평균치만 본다면, 최악의 시나리오가 훨씬 더 악화되고 있다는 사실을 놓치게 됩니다. 논문은 시뮬레이션을 통해, AI가 가장 결정적인 방식으로 실패하고 있음에도 불구하고 완벽하게 안정적인 평균 점수를 유지할 수 있음을 보여줍니다.

이것이 미래에 의미하는 바

그렇다면 이 논문은 우리에게 무엇을 제안합니까? 저자는 **"투영성 감사(Projectibility Audit)"**를 제안합니다.

이것을 AI를 사용하려는 모든 사람을 위한 체크리스트라고 생각하십시오. "이 AI는 실생활에서 사용할 준비가 되었다"라고 말하기 전에, 당신은 다음과 같은 구체적인 질문에 답해야 합니다:

블록이 서로 맞는가? "테스트"가 "실제 세상"의 직무와 동일한 유형의 질문을 다루고 있는가?
조건이 동일한가? 테스트는 조용한 방에서 진행되었는데, 실제 업무는 소란스럽고 혼란스러운 사무실에서 이루어지는가?
정보를 잃어버리지는 않았는가? 어떤 질문이 어려웠는지에 대한 세부 사항을 버리고, 단지 평균값만을 보고 있는 것은 아닌가?

이 논문은 AI가 나쁘다거나 사용할 수 없다고 말하는 것이 아닙니다. 다만 우리가 점들을 연결할 때 훨씬 더 주의를 기울여야 한다고 말합니다. AI가 테스트를 통과했다고 해서, 그것이 곧 직무를 통과할 것이라고 가정해서는 안 됩니다. 우리는 테스트와 직무 사이의 연결, 그리고 직무와 최종 결과 사이의 연결을 확인해야 합니다.

결론

이 논문은 AI 세계를 향한 현실 자각 타임입니다. 우리는 증거 블록을 쌓을 때, 그것들이 실제로는 틈이 있음에도 불구하고 완벽하게 들어맞는다고 너무 빨리 가정하곤 한다는 점을 시사합니다. 저자는 시뮬레이션과 논리적 논증을 통해, 한 단계에 대한 지지가 다음 단계로 자동으로 전이되지 않는다는 점을 보여줍니다.

만약 개발자가 "우리 AI는 90% 정확합니다"라고 말하고, 회사가 "우리 변호사들은 오류의 99%를 잡아냅니다"라고 말한다면, 논문은 우리에게 이렇게 말합니다: 아직 그 숫자들을 곱하지 마십시오. AI가 변호사들이 찾고 있는 것과 동일한 종류의 오류를 범하고 있는지 확인해야 합니다. 그렇지 않으면, 겉보기에는 높아 보이지만 실제 하중이 가해지는 순간 무너져 내릴 탑을 쌓게 될 것입니다. 이 논문은 AI 안전 문제의 해결책을 제시한다고 주장하는 것이 아니라, 우리 논리의 균열이 어디에 숨어 있는지 찾을 수 있는 더 나은 지도를 제공하는 것입니다.

기술 요약: 벤치마크 추론이 결합되지 않을 때

1. 문제점: 보증된 연결의 비결합성 (Non-Composition of Warranted Links)

본 논문은 AI 평가의 핵심적인 인식론적 간극, 즉 개별적으로 보증된 추론 단계들이 자동으로 보증된 사슬로 결합된다는 가정에 대해 다룹니다. 표준적인 AI 평가 워크플로우에서 벤치마크 결과(예: 다중 도메인 배터리에서의 높은 점수)는 종종 후속적인 주장(예: 전문적 사용을 위한 승인)에 대한 근거로 취급됩니다. 이러한 사슬은 일반적으로 다음과 같은 여러 단계를 포함합니다:

일반화 (Generalization): 동일한 규칙 하의 새로운 항목으로 벤치마크 성능을 확장함.
해석 (Interpretation): 점수를 특정 능력(예: "법률적 추론")에 귀속시킴.
외삽 (Extrapolation): 해당 능력을 새로운 작업이나 시스템 구성(예: 검색 증강 애플리케이션)으로 투영함.
전송 (Transport): 해당 주장을 다른 인구 집단, 사이트 또는 시점으로 이동시킴.
결합 (Combination): 시스템의 출력을 인간의 검토 및 다운스트림 정책 결과와 통합함.

식별된 핵심 문제는 **타당성 중심 접근법(validity-centred approaches)**이 각 주장에 대한 증거를 요구함에도 불구하고, 이러한 주장들 사이의 '인터페이스(접점)'를 고려하는 데 실패한다는 점입니다. 설령 하나의 벤치마크 연구가 건전하고 별도의 배포 연구가 건전하더라도, 이 둘의 결합이 최종적인 주장을 보증하지 못할 수 있습니다. 본 논문은 "보증된 연결(warranted links)이 반드시 보증된 사슬(warranted chain)을 만드는 것은 아니다"라고 주장합니다.

이러한 실패는 세 가지 주요 원인에서 발생합니다:

엔드포인트 불일치 (Endpoint Mismatch): 한 연구의 대상(예: 제공된 텍스트에 답하는 베이스 모델)이 다음 연구의 출발점(예: 검색과 인간의 검토가 포함된 배포 애플리케이션)과 일치하지 않음.
숨겨진 의존성 (Hidden Dependencies): 공유된 데이터, 모델 계보 또는 가정이 서로 독립적인 것처럼 보이는 연구들을 의존적으로 만들어, 증거의 누적된 강도를 약화시킴.
정보 손실 (Information Loss): 집계된 지표(예: 안정적인 평균 점수)는 다운스트림 투영에 결정적인 아이템 단위의 차이(예: 집중된 실패 또는 특정 오류 유형)를 삭제할 수 있음.

2. 방법론: 투영성 감사 (The Projectibility Audit)

본 논문은 논증 기반 타당성 프레임워크(Kane, 2013; Messick, 1995 인용) 내에서 진단 도구로서 **투영성 감사(projectibility audit)**를 제안합니다. 이는 구성적 의미(construct meaning)나 인과적 전송 가능성(causal transportability)에만 초점을 맞춘 프레임워크와 달리, 인접한 추론 단계들 사이의 인터페이스를 구체적으로 겨냥합니다.

핵심 개념

투영성 (Projectibility): 관찰된 사례로부터 관찰되지 않은 사례로의 유한한 확장이 보증되는지 여부로 정의됩니다. 이는 시스템의 스칼라적 속성이 아니라, 주장 특유의 상태(지지됨, 패색됨, 또는 미결정됨)입니다.
경험적 노드 (Empirical Nodes): 감사는 각 연구 또는 추론 단계를 타입이 지정된 노드 $N = \langle \text{대상, 인구, 조건, 결과, 기간} \rangle$ 로 나타냅니다.
투영 엣지 (Projection Edges): 엣지 $e$ 는 주장, 가정 및 증거에 의해 정의되어 소스 노드와 타겟 노드를 연결합니다.

비결합 원칙 (The Non-Composition Principle)

본 논문은 핵심 실패 모드를 다음과 같이 공식화합니다:
$\text{Warr}(C_1) \land \text{Warr}(C_2) \not\Rightarrow \text{Warr}(C_2 \circ C_1)$
여기서 $C_1$ 과 $C_2$ 는 인접한 연결입니다. 결합은 다음 조건이 충족될 때만 보증됩니다:

엔드포인트 정렬 (Endpoint Alignment): $C_1$ 의 타겟이 다섯 가지 필드(대상, 인구, 조건, 결과, 기간)에 걸쳐 $C_2$ 의 소스와 일치해야 함.
보증 전달 (Warrant Transmission): 가정과 효과 수정자(effect modifiers)가 호환 가능해야 하며, 의존성/불확실성이 리셋되는 것이 아니라 전파되어야 함.

감사 절차

방법론은 데이터 분석 전에 완료해야 하는 10단계 선언 프로세스를 포함합니다:

소스-타겟 주장 정의: 관찰된 데이터와 새로운 주장을 명시적으로 기술함.
엔드포인트 유형 지정: 다섯 가지 필드에 대한 소스와 타겟을 기록함.
확장의 명칭 부여: 투영의 유형(일반화, 외삽, 전송 등)을 지정함.
패색 요인(Defeaters) 목록 작성: 체인을 끊을 수 있는 그럴듯한 차이점(예: 실시간 검색 vs 제공된 텍스트)을 식별함.
증거 및 소유권 할당: 각 패색 요인에 필요한 증거를 누가 생성할 수 있는지 결정함.
주장에 따른 샘플링 매칭: 홀드아웃 단위(예: 템플릿, 고객 파일, 시간대)가 주장의 범위와 일치하는지 확인함.
관찰 및 손실 정의: 무엇을 점수화하는지, 그리고 무엇이 실패(레드라인 결과 포함)를 구성하는지 정확히 규정함.
지지/패색/미결정 등록: 각 상태에 대한 통계적 기준을 사전 정의함.
인터페이스 감사: 모든 인접한 연결에 대해 정렬 및 전달 여부를 점검함.
경험적 주장과 결정의 분리: 증거와 정책적 가치 및 트레이드오프를 구분함.

3. 주요 기여 및 결과

A. 법률 연구 케이스 스터디

본 논문은 가상의 법률 연구 시나리오를 통해 감사를 설명합니다. 개발자가 제공된 텍스트 기반의 법률 질문에 대해 베이스 모델의 높은 점수를 보고합니다. 한 법무법인은 이 모델을 인간의 검토가 포함된 검색 증강 워크플로우에 배포하고자 합니다.

결과: 감사는 개발자의 벤치마크(제공된 텍스트)와 법무법인의 로컬 연구(실시간 검색 + 검토)가 결합되는 것이 아니라 **병렬적(parallel)**임을 밝혀냅니다. 벤치마크는 실시간 검색 성능을 예측하지 못하며, 로컬 연구 또한 베이스 모델의 일반적인 능력을 검증하지 못합니다.
결과물: 로컬 연구는 특정 요청 유형(예: 해지 조항)에 대한 좁은 의미의 승인은 지원할 수 있지만, 다른 유형(예: 합리적 통지 요청)에 대해서는 패색을 입힐 수 있습니다. 그러나 이는 광범위한 "법률적 추론" 주장을 검증할 수는 없습니다. 벤치마크 점수는 스크리닝 용도로는 유용하지만, 브릿징 연구 없이는 배포 컨텍스트로 전이되지 않습니다.

B. 집계 및 정보 손실

본 논문은 집계가 어떻게 인터페이스 증거를 파괴하는지 보여줍니다. 공개된 모델 평가(Zhang et al., 2026)의 재분석과 시뮬레이션을 통해 다음을 입증합니다:

안정적인 평균, 불안정한 아이템: 안정적인 평균 점수( $L \approx 0$ )는 심각한 아이템 단위의 불안정성(높은 $INS $)이나 최악의 성능을 보이는 꼬리 부분의 집중된 악화(높은$ WTD$)를 은폐할 수 있습니다.
상쇄 효과 (Cancellation Effects): 긍정적인 변화와 부정적인 변화가 집계 과정에서 상쇄되어, 특정 중요한 아이템이 실패했다는 사실을 숨길 수 있습니다.
시사점: 만약 소스 보고서가 총점만을 발표한다면, 다운스트림 평가자는 소스의 실패가 자신의 타겟 리스크를 정의하는 특징들과 일치하는지 판단할 수 없습니다.

C. AGI 평가에서의 구별

본 논문은 AGI 평가에서 벤치마크의 역할을 명확히 합니다:

공통 척도성(Commensurability) vs 보상 가능성(Compensability): 가중치 합산 점수는 구성 요소들이 공통 척도를 가지며, 특정 결정에 대해 보상 가능성이 허용될 때만 의미가 있습니다.
기술(Description) vs 예측(Prediction) vs 결정(Decision): 점수는 유효한 기술적 지표일 수는 있으나 유효한 잠재 구성 개념의 척도가 아닐 수 있으며, 유효한 예측 도구일 수는 있으나 인과적 메커니즘은 아닐 수 있습니다.
커버리지(Coverage) vs 도달 범위(Reach): 더 많은 도메인을 추가하는 것은 커버리지를 높이지만, 이것이 자동으로 무제한적인 일반성을 확립하는 것은 아닙니다. "굿맨 문제(Goodman problem, 경쟁하는 확장)"는 여전히 남습니다. 즉, 더 많은 과업을 통과한다고 해서 올바른 확장 규칙이 선택되는 것은 아닙니다.

4. 의의 및 주장

본 논문은 겸손하면서도 엄격한 주장을 펼칩니다. 즉, 별개의 연구들이 각자의 결론은 보증할 수 있지만, 그것들을 모아 만든 사슬의 정당성은 보증하지 못하는 AI 평가의 반복적인 실패 모드를 격리해 냈다는 것입니다.

새로운 귀납 이론이 아님: 본 논문은 귀납의 문제(굿맨의 수수께끼)를 해결하려는 것이 아니라, 특정 귀납 과정을 검사 가능하고 수정 가능하게 만드는 프레임워크를 제공합니다.
타당성 이론의 대체물이 아님: 이는 논증 기반 타당성 내에서 작동하며, 기존 프레임워크가 암묵적이거나 자동적이라고 간주해 온 '추론 사이의 인터페이스'에 구체적인 정밀 조사 층을 추가합니다.
진단적 유용성: 주요 가치는 진단에 있습니다. 이를 통해 평가자는 벤치마크-사용 논증에서 발생하는 "지원되지 않는 결합(unsupported joins)"을 식별할 수 있습니다. 이는 시스템이 안전하거나 유능하다는 것을 보장하는 것이 아니라, 현재 증거에 의해 뒷받침되는 범위를 명확히 하는 것입니다.
분산된 책임: 이 프레임워크는 증거의 책임을 전환합니다. 개발자는 상세한 소스 설명과 계보에 대한 책임을 지며, 배포자는 컨텍스트별 샘플링과 워크플로우 증거에 대한 책임을 집니다. 어느 쪽도 협력이나 브릿징 연구 없이는 전체 사슬을 단독으로 보증할 수 없습니다.

본 논문은 결론적으로, 보증된 벤치마크-사용 논증은 엔드포인트가 정렬되고, 가정이 호환되며, 불확실성이 전파되는 "선언되고 수정 가능한 사슬"이어야 한다고 주장합니다. 이것 없이는 성공적인 평가의 축적이 무제한적인 일반적 능력에 대한 증거가 될 수 없습니다.