🤖 machine learning

How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness

본 논문은 벤치마크별 훈련을 통한 머신러닝 리더보드 조작이 NP-난해 문제임을 계산적 사회선택 이론을 적용하여 증명하고, '인스턴스 수준 강건성'을 도입·평가하여 평균 승률이 산술 평균, 중앙값 또는 쌍대 다수결 점수보다 조작에 훨씬 더 강력하게 저항함을 보여줍니다.

원저자: Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen

게시일 2026-05-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수백 명의 셰프 (AI 모델) 가 50 가지 다른 요리 (수학 문제, 논리 퍼즐, 언어 번역과 같은 작업) 를 얼마나 잘 요리하는지 평가받는 거대하고 고도의 stakes 가 걸린 요리 대회를 상상해 보세요. 대회 종료 후 '리더보드'가 게시되어 셰프들을 최상위부터 최하위까지 순위로 나열합니다. 이 리더보드는 누가 고용되고, 누가 자금을 지원받으며, 누가 세계 최고로 간주될지를 결정합니다.

이 논문은 단순하지만 무서운 질문을 던집니다: 이 리더보드 정상을 차지하기 위해 사기치는 것이 얼마나 쉬운가?

저자들은 이 대회를 정치 선거와 유사하게 취급합니다. 이 비유에서:

셰프들은 후보자들입니다.
**요리들 (작업들)**은 유권자들입니다.
리더보드 규칙은 투표 시스템입니다 (예: "가장 많은 요리를 이긴 사람은?" 대 "가장 높은 평균 점수를 받은 사람은?").

사기 수법: "벤치마크 특화 훈련"

보통 셰프들은 자신의 비밀 재료를 가지고 연습합니다. 하지만 만약 어떤 셰프가 대회 전에 실제 시험 문제 (벤치마크 작업) 의 사본을 몰래 입수하여 그것들에 대해 특별히 연습한다면 어떨까요?

실제 세계에서는 이를 '데이터 오염' 또는 '테스트 세트에 대한 훈련'이라고 부릅니다. 논문은 이를 벤치마크 특화 훈련이라고 명명합니다. 이는 학생이 기말고사를 치르기 전에 시험에 나올 정확한 문제들을 외우는 것과 같습니다. 논문은 최악의 시나리오를 가정합니다: 셰프는 연습하기로 선택한 어떤 요리든 완벽하게 마스터할 수 있다는 것입니다.

핵심 질문: 게임을 조작하는 것이 얼마나 어려운가?

저자들은 다음과 같은 것을 알고 싶어 했습니다: 셰프가 이기고자 한다면, 1 위 자리를 보장받기 위해 몇 가지 요리를 외우고 연습해야 할까?

이 숫자를 리더보드의 **"견고성 (Robustness)"**이라고 부릅니다.

낮은 견고성: 2~3 가지 요리만 외워도 이길 수 있습니다. 시스템은 취약하며 조작하기 쉽습니다.
높은 견고성: 40~50 가지 요리를 외워야 합니다. 시스템은 튼튼하며 조작하기 어렵습니다.

네 가지 투표 시스템 (집계 규칙)

논문은 선거에서 표를 세는 다양한 방식과 마찬가지로 승자를 계산하는 네 가지 다른 방식을 테스트했습니다:

산술 평균 (평균): 가장 일반적인 방법입니다. 모든 점수를 더한 후 요리 수로 나눕니다.
- 비유: 쉬운 요리 하나에서 100 점을 받고 나머지는 0 점을 받으면 평균은 낮아집니다. 하지만 몇 가지 요리에서 90 점을 받으면 평균이 크게 끌어올려질 수 있습니다.
- 결과: 조작이 매우 쉽습니다. 셰프는 소수의 요리 (한 테스트에서 24 개 중 약 13 개) 만 마스터하면 최상위로 뛰어오를 수 있습니다. 한두 가지 '슈퍼 요리'가 전체 팀을 지탱할 수 있습니다.
중앙값 (중간 아이): 모든 점수를 최저에서 최고 순으로 나열한 후 정중앙에 있는 것을 선택합니다.
- 비유: 요리가 10 개라면 중앙값은 5 번째로 좋은 점수입니다. 가장 낮은 점수가 0 점인지 1 점인지에는 관심이 없으며, 오직 중간값에만 관심을 가집니다.
- 결과: 조작이 중간 정도로 쉽습니다. 평균과 유사하게 이기려면 약 12 가지 요리를 마스터해야 합니다. 평균보다는 약간 어렵지만 그 차이는 크지 않습니다.
쌍별 다수결 (일대일 대결): 셰프 쌍마다 셰프 A 가 셰프 B 를 이긴 요리 수를 셉니다. 셰프 A 가 셰프 B 에 대해 절반 이상의 요리를 이기면, 셰프 A 가 그 매치업을 승리합니다.
- 비유: 라운드 로빈 토너먼트와 같습니다. rival 를 절반 이상의 카테고리에서 이겨야 합니다.
- 결과: 조작이 중간 정도로 쉽습니다. 다른 모든 이를 이기려면 약 12 가지 요리를 이겨야 합니다.
평균 승리율 ("누가 누구를 이겼는가"의 평균): 이것이 가장 복잡한 방식입니다. 각 요리마다 모든 다른 셰프들 중 몇 퍼센트를 이겼는지 계산한 후, 그 비율들의 평균을 냅니다.
- 비유: 모든 요리마다 1,000 명의 다른 셰프들과 경기를 한다고 상상해 보세요. 높은 점수를 얻으려면 단순히 '훌륭한' 상태가 아니라, 거의 모든 단일 요리에서 대다수의 군중보다 더 낫아야 합니다.
- 결과: 조작이 극도로 어렵습니다. 이 시스템 하에서 이기려면 셰프는 한 테스트에서 24 개 중 **22 개 (92%)**의 요리를 마스터해야 했고, 다른 테스트에서는 57 개 과목 중 **44.5 개 (78%)**를 마스터해야 했습니다.
- 이유는 무엇일까요? 몇 가지 요리만 마스터하면 그 요리들에서는 다른 셰프들을 이길 수 있지만, 연습하지 않은 요리들에서는 거의 모든 다른 이들에게 질 가능성이 높기 때문에 '승리율'이 떨어집니다. 이기려면 전 분야에 걸쳐 일관되게 모든 이보다 더 낫아야 합니다.

주요 시사점

논문은 우리가 표를 세는 방식이 우리가 생각하는 것보다 더 중요하다는 결론을 내립니다.

**평균 (산술 평균)**을 사용하면 리더보드는 종이 집과 같습니다. 개발자는 소수의 특정 작업에 대해 몰래 연습함으로써 결과를 조작할 수 있습니다. 이는 모델이 실제로 똑똑해서가 아니라 시험을 외워서 놀라운 것처럼 보이는 '진보의 착시'를 만들어냅니다.
평균 승리율을 사용하면 리더보드는 요새와 같습니다. 이를 조작하려면 개발자가 거의 전체 시험을 외워야 합니다. 이는 성공을 위조하는 것을 훨씬 더 어렵게 만듭니다.

"그래서 어쩌라고?"

저자들은 현재 인기 있는 리더보드들 (MMLU 와 BIG-Bench 등) 이 종종 평균을 사용하며, 이로 인해 사기에 매우 취약하다는 사실을 발견했습니다. 그러나 만약 평균 승리율로 전환한다면, 누구든 시스템을 조작하는 것이 극도로 어려울 것입니다.

이 논문은 사기치는 '방법'을 알려주는 것이 아니라, 이러한 대회를 설계하는 사람들에게 경고 표지판 역할을 합니다: "만약 당신이 평균을 사용한다면, 당신은 사기꾼들을 초대하는 것입니다. 공정한 경기를 원한다면, 운 좋은 몇 번의 기회뿐만 아니라 광범위하고 일관된 마스터리를 요구하는 시스템을 사용하십시오."

기술적 요약: "벤치마크를 조작하는 것이 얼마나 어려운가? 리더보드 견고성에 대한 사회선택 분석"

문제 정의
본 논문은 벤치마크 데이터가 모델 학습에 전략적으로 포함되어 리더보드 순위를 인위적으로 부풀리는 "벤치마크 게임화 (benchmark gaming)"에 대한 증가하는 유인을 다룹니다. 데이터 오염과 누출은 잘 문서화된 현상이지만, 저자들은 폐쇄형 소스 모델의 독점적 학습 데이터로 인해 조작의 정도를 검증하기 어렵다고 주장합니다. 탐지에 초점을 맞추는 대신, 본 논문은 구성상 이러한 조작에 대한 벤치마크의 *견고성 (robustness)*을 조사합니다. 핵심 질문은 다음과 같습니다: 고정된 데이터셋 모음과 경쟁 모델 집합이 주어졌을 때, 개발자가 목표 모델을 최상위 순위로 보장받기 위해 목표 모델의 학습에 포함해야 하는 작업 (task) 의 수는 몇 개인가?

방법론: 사회선택 및 계산 복잡성
저자들은 다중 작업 벤치마킹을 사회선택 문제로 형식화하여, 데이터셋을 "유권자"로, 모델을 "후보자"로 간주합니다. 이 프레임워크 하에서 벤치마크 특정 학습은 선거 조작의 한 형태로 식별되며, 구체적으로 전액 또는 무 (無) 가격의 **이동 뇌물 (shift bribery)**에 해당합니다. 이 비유에서 외부 행위자 (모델 개발자) 는 특정 유권자 (데이터셋) 의 순위에서 선호하는 후보 (목표 모델) 를 상향시키기 위해 비용을 지불합니다.

본 논문은 이러한 조작의 난이도를 분석하기 위해 계산 사회선택을 활용합니다:

복잡성 분석: 저자들은 모든 서열적 벤치마크 연산자에 대해 학습할 최적의 데이터셋 부분집합을 선택하는 문제가 이동 뇌물과 동등함을 증명합니다. 결과적으로, **보드라 계수 (Borda count)**와 평균 승리율 (mean win rate) 집계 규칙 하에서 벤치마크를 조작하는 가장 저렴한 방법을 찾는 것은 NP-hard임을 입증합니다.
인스턴스 수준 견고성: 최악의 경우 복잡성 분석을 보완하기 위해, 저자들은 **인스턴스 수준 견고성 ( $k_B$ $k_{B}$ )**이라는 지표를 도입합니다. 이는 특정 목표 모델을 최상위로 만들기 위해 개발자가 학습에 포함해야 하는 최소 데이터셋 수로 정의됩니다. 그들은 네 가지 일반적인 집계 규칙 하에서 $k_B$ $k_{B}$ 에 대한 정확한 수학적 식을 유도합니다:
- 산술 평균: 견고성은 "평균 부족분" (목표와 리더 간의 격차) 과 개별 작업에서의 최대 가능 이득에 의해 결정됩니다. 최적 전략은 잠재적 이득이 가장 큰 작업을 선별적으로 선택하는 것입니다.
- 중앙값: 견고성은 목표 모델의 중앙값 점수를 경쟁 모델들의 최고 중앙값 이상으로 끌어올리기 위해 필요한 작업 수에 의존합니다. 목표가 특정 임계값을 넘을 수 있는 작업만이 부족분을 줄이는 데 기여합니다.
- 평균 승리율: 이는 모든 경쟁 모델에 대한 쌍별 승리율 부족분을 동시에 해소하는 최소 작업 집합을 찾기 위해 정수 선형 계획법 (ILP) 을 풀어야 합니다.
- 쌍별 다수결: 평균 승리율과 유사하게, 이는 목표 모델이 다른 모든 모델에 대한 쌍별 비교에서 다수를 차지하도록 보장하기 위한 ILP 를 포함합니다.

실험적 평가
저자들은 두 가지 주요 벤치마크 모음에 대해 이러한 견고성 식을 평가합니다:

MMLU (Massive Multitask Language Understanding): 57 개 주제 데이터셋에 걸쳐 22 개 모델을 포함하는 HELM 프레임워크를 통해 평가됨.
BIG-Bench Hard (BBH): 24 개 추론 작업에 걸쳐 4,507 개 모델을 포함하는 Open LLM 리더보드를 통해 평가됨.

각 모음에 대해, 그들은 집합 내의 모든 모델에 대해 인스턴스 수준 견고성을 계산하며, 각 모델을 차례로 목표로 간주합니다. 그들은 "전형적인" 목표 모델에 대한 리더보드를 조작하는 데 필요한 작업 수인 중앙값 견고성과, 소수의 작업 (예: $K \le 5$ ) 을 학습함으로써 최상위 순위로 끌어올릴 수 있는 모델의 비율을 보고합니다.

주요 결과
실증 분석은 집계 규칙 간에 견고성에 상당한 차이가 있음을 보여줍니다:

평균 승리율이 가장 견고함: 두 모음 모두에서 평균 승리율 규칙은 일관되게 조작하기 가장 어렵습니다.
- BBH에서 평균 승리율의 중앙값 견고성은 **22 개 작업 (92%)**으로, 전형적인 목표 모델이 리더보드 최상위를 차지하려면 거의 전체 모음을 학습해야 함을 의미합니다. 반면, 산술 평균은 **13 개 작업 (54%)**만 필요하며, 중앙값/쌍별 다수결은 **12 개 작업 (50%)**이 필요합니다.
- MMLU에서 평균 승리율의 중앙값 견고성은 **44.5 개 주제 (78%)**인 반면, 산술 평균은 **16 개 (28%)**입니다.
산술 평균의 취약성: 산술 평균은 가장 견고하지 않은 규칙입니다. 소수의 고이득 작업이 리더보드를 크게 바꿀 수 있어, 최소한의 조작으로도 상당한 비율의 모델을 최상위로 부풀릴 수 있게 합니다.
통계적 유의성: 쌍별 윌콕슨 부호 순위 검정은 이러한 견고성 차이가 목표 모델 전반에 걸쳐 체계적이며 이상치에 의해 주도되지 않음을 확인합니다.
정규화된 견고성: 모델이 개선할 수 있는 "여유분" (더 약한 모델이 더 큰 잠재적 이득을 가질 수 있다는 점을 고려) 을 정규화한 후에도 평균 승리율은 여전히 가장 견고한 규칙으로 남습니다.

의의 및 주장
본 논문은 집계 규칙이 벤치마크 취약성의 주요 결정 요인이라고 주장합니다. 저자들은 벤치마크 특정 학습에 대한 견고성을 벤치마크 설계의 핵심 기준으로 간주해야 한다고 주장합니다.

트레이드오프: 평균 승리율은 모음 전반에 걸친 광범위한 조작을 요구함으로써 높은 견고성을 제공하지만, 비교되는 모델 집합에 의존합니다 (모델 풀에 대한 민감성). 반면, 쌍별 다수결은 모델 집합에 불변이지만 순환적 순위 (Condorcet 사이클) 를 유발할 수 있습니다. 다만 저자들은 연구된 모음의 최상위 순위에는 Condorcet 승자가 존재한다고 지적합니다.
함의: 결과는 GLUE 및 SuperGLUE와 같은 모음에서 일반적으로 사용되는 산술 평균 집계 의존이 조작에 대한 진입 장벽을 낮춘다고 시사합니다. 평균 승리율과 같이 더 견고한 규칙으로 전환하면 조작 비용이 상승하여, 개발자가 최상위 순위를 달성하기 위해 훨씬 더 광범위한 작업 집합에서 성능을 개선해야 합니다.
한계: 저자들은 그들의 조작 모델이 개발자에게 유리하다고 인정합니다 (학습이 목표 모델의 성능만 향상시키고 다른 곳에서는 결코 저하시키지 않는다고 가정). 실제로 데이터 누출은 부분적이거나 부정적인 영향을 미칠 수 있습니다. 그러나 이러한 강력한 가정 하에서도 집계 규칙의 선택은 벤치마크를 조작하는 난이도를 명확하게 규정합니다.

본 논문은 어떤 집계 규칙도 (Gibbard-Satterthwaite 정리에 따라) 조작으로부터 면제될 수는 없지만, 조작의 계산적 및 구조적 난이도는 극적으로 달라 신뢰할 수 있는 리더보드를 설계하기 위한 정량적 기반을 제공한다고 결론지었습니다.