🤖 AI

Beyond the Singular: Revealing the Value of Multiple Generations in Benchmark Evaluation

본 논문은 LLM 벤치마킹의 표본 분산을 해결하기 위해 여러 세대를 활용하는 계층적 통계 모델을 제안하여 점수 정확도를 향상시키고, 세밀한 프롬프트 수준의 난이도 분석을 가능하게 하며, 데이터 시각화를 통한 벤치마크 품질 관리를 용이하게 한다.

원저자: Wenbo Zhang, Hengrui Cai, Wenyu Chen

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenbo Zhang, Hengrui Cai, Wenyu Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

새로운 요리사의 요리 실력을 평가하려 한다고 상상해 보세요. 100 가지 레시피 목록을 그들에게 주어 요리를 시킵니다.

기존 방식 (한 번의 시도 문제)
현재 대부분의 사람들은 AI 모델 (대형 언어 모델 등) 을 평가할 때, 질문을 하나 던지고 단 하나의 답변만 보고 판단합니다.

요리사가 오믈렛을 한 번 완벽하게 만들면, 우리는 그들을 명장으로 평가합니다.
한 번만 태워먹으면, 우리는 그들을 형편없다고 말합니다.

문제는 이러한 AI 요리사들이 다소 예측 불가능하다는 점입니다. 때로는 '탐욕적'인 기분에 safest 하고 가장 표준적인 레시피에 매달리기도 하고, 다른 때는 '무작위적'으로 창의적인 변형을 시도하기도 합니다. 만약 한 가지 요리만 맛본다면 운이 좋거나 나쁠 수 있습니다. 요리사가 실제로 실력이 좋은지, 아니면 단순히 그 한 번의 주문에서 운이 좋았을 뿐인지 알 수 없습니다. 이는 농구 선수의 자유투 성공률을 공 하나만 던지는 것을 보고 판단하는 것과 같습니다.

새로운 방식 (다중 생성 접근법)
이 논문은 더 나은 방법을 제안합니다: 요리사에게 같은 요리를 50 번 만들어 보게 하십시오.

같은 레시피에 대한 50 가지 다른 시도를 살펴보면 훨씬 더 명확한 그림을 얻을 수 있습니다:

진짜 실력 대 운: 요리사가 50 번 중 48 번을 성공하면, 그들이 진정으로 실력이 있다는 것을 알 수 있습니다. 만약 25 번만 성공한다면, 그 한 번의 운 좋은 성공이 완벽해 보였더라도 그들이 어려움을 겪고 있다는 것을 알 수 있습니다.
난이도 측정: 이제 어떤 레시피가 실제로 어려운지 알 수 있습니다. 모든 요리사가 특정 요리를 50 번 시도하고 모두 실패한다면, 그 요리는 객관적으로 어렵습니다. 모두 성공한다면 쉬운 것입니다. 이는 모든 질문에 대한 '난이도 점수'를 생성합니다.
나쁜 레시피 찾기: 때로는 레시피 책 자체가 잘못되어 있을 수 있습니다. 예를 들어 레시피에는 '소금 추가'라고 되어 있지만 정답 키에는 '설탕 추가'라고 되어 있을 수 있습니다. 요리사가 레시피에 따라 소금을 추가하며 50 번 시도하지만 정답 키가 잘못되어 있다면, 컴퓨터는 이러한 혼란을 파악할 수 있습니다. 논문은 이를 '데이터 맵 (Data Map)'이라고 부르며, 이는 테스트 자체의 잘못된 질문을 찾아 수정하는 데 도움이 됩니다.

'주사위 굴리기' 비유
AI 를 주사위 한 쌍이라고 생각해 보세요.

탐욕적 디코딩 (기존 방식): 이는 주사위가 항상 가능한 가장 높은 숫자로 나오도록 강요하는 것과 같습니다. 예측 가능하지만, 주사위가 할 수 있는 전체 범위를 보여주지는 못합니다.
무작위 샘플링 (새로운 방식): 이는 주사위를 자연스럽게 굴리게 하는 것입니다.
논문의 통찰: 주사위를 한 번 굴려서 '6'이 나왔다면, 그 주사위가 마법 같다고 생각할 수 있습니다. 하지만 50 번 굴리면 진정한 평균을 보게 됩니다. 이 논문은 주사위를 더 많이 굴리는 것 (더 많은 답변 생성) 이 AI 의 실력에 대한 추정을 훨씬 더 정확하게 만들고 우연일 가능성을 줄인다는 것을 수학적으로 증명합니다.

실제로 발견한 것
연구진들은 여러 다른 AI 모델을 사용하여 네 가지 다른 유형의 '테스트 (벤치마크)'에서 이를 검증했습니다:

안정성: 그들은 어려운 추론 작업의 경우, AI 가 무작위 샘플러처럼 행동한다는 것을 발견했습니다. 하나의 답변만으로는 진실을 알 수 없습니다.
격차: AI 가 안전을 추구할 때 (탐욕적) 얻는 결과와 기회를 택할 때 (무작위) 얻는 결과 사이에는 종종 큰 차이가 있습니다. 무작위 추측 하나에만 의존하는 것은 불안정합니다.
데이터 정제: AI 에게 같은 질문에 50 번 답하게 함으로써, 연구진은 수학 데이터셋의 질문 중 약 44% 가 잘못 레이블링되었거나 혼란스럽게 작성된 것을 찾아낼 수 있었습니다.

단점
이 논문은 요리 50 개를 만드는 것은 요리 하나를 만드는 것보다 더 많은 시간과 에너지를 소모한다고 인정합니다. 더 많은 컴퓨팅 파워가 필요합니다. 그러나 그 대가로 AI 에 대해 훨씬 더 정직하고 신뢰할 수 있는 성적표를 얻게 됩니다.

요약
책 한 장으로 책을 판단하지 말고, 하나의 답변으로 AI 를 판단하지 마십시오. AI 에게 같은 작업을 여러 번 시도하게 함으로써 우리는 그 진정한 능력을 파악하고, 어떤 질문이 실제로 어려운지 이해하며, 깨진 테스트를 수정할 수 있습니다.

기술 요약: 단일성을 넘어: 벤치마크 평가에서 다중 생성의 가치 규명

문제 제기
현재 대규모 언어 모델 (LLM) 벤치마크 평가는 주로 프롬프트당 단일 생성에 의존하며, 결정론적 탐욕적 디코딩 (deterministic greedy decoding) 이나 단일 무작위 샘플을 사용합니다. 저자들은 이러한 패러다임이 LLM 의 고유한 확률적 특성을 간과한다고 주장합니다. 결정론적 생성은 무작위성이 내재된 실제 응용 분야와 불일치하여 편향된 성능 추정을 초래할 수 있습니다. 반면, 단일 무작위 샘플에 의존하면 상당한 샘플링 분산이 발생하여, 특히 데이터셋 크기가 작을 때 신뢰할 수 없는 벤치마크 점수를 초래합니다. 더 나아가 단일 생성 접근법은 개별 프롬프트의 난이도나 모델 응답의 의미적 일관성에 대한 세밀한 통찰력을 제공하지 못해, 데이터셋 품질이나 모델의 약점을 진단하는 능력을 제한합니다.

방법론
본 논문은 벤치마크 평가를 벤치마크 특성과 LLM 의 무작위성을 명시적으로 포함하는 추정 문제로 재정의하는 계층적 통계 모델을 제안합니다.

계층적 모델 공식화:
- 벤치마크는 $n$ 개의 프롬프트로 모델링됩니다. 각 프롬프트 $i$ 에 대해, 정답 확률인 잠재적 난이도 매개변수 $p_i$ 가 미지의 분포 $P(\mu, \sigma; \theta)$ 에서 추출됩니다. 여기서 $\mu$ 는 평균 벤치마크 점수이고, $\sigma$ 는 프롬프트 난이도의 변동성을 나타냅니다.
- 각 프롬프트에 대해 $k$ 개의 생성이 수행됩니다. 프롬프트 $i$ 에 대한 $j$ 번째 생성의 정답 여부인 $y_{i,j}$ 는 매개변수 $p_i$ 를 갖는 베르누이 분포를 따릅니다.
- 저자들은 프롬프트 수준의 확률 $\hat{p}_i$ 와 전체 벤치마크 점수 $\hat{\mu}$ 에 대한 모멘트 추정량을 유도합니다.
분산 분석:
- 보조정리 2.1 (Lemma 2.1) 을 사용하여, 논문은 벤치마크 점수 추정량 $\hat{\mu}$ 의 분산이 "프롬프트 내 분산 (within-prompt variance)"과 "프롬프트 간 분산 (between-prompt variance)"으로 분해될 수 있음을 이론적으로 증명합니다.
- 핵심적으로, 프롬프트 내 분산은 생성 수 $k$ 가 증가함에 따라 감소하며 $k \to \infty$ 일 때 0 으로 수렴합니다. 반면, 프롬프트 간 분산은 $k$ 의 영향을 받지 않습니다. 이는 $k$ 를 증가시키면 전체 추정 오차가 감소함을 입증합니다.
프롬프트 수준 지표:
- $P(\text{correct})$ : 추정된 확률 $\hat{p}_i = \frac{1}{k}\sum_{j=1}^k y_{i,j}$ 로 정의됩니다. 이는 개별 프롬프트에 대한 세밀한 난이도 점수로 작용합니다.
- 의미적 일관성 ( $S(\text{consistency})$ ): 라벨링 오류를 탐지하기 위해, 저자들은 의미 클러스터의 엔트로피에 기반한 지표를 도입합니다. 응답은 $C$ 개의 의미 집합으로 클러스터링되며, 일관성은 $S(\text{consistency}) = \sum_{c=1}^C \text{Prop}_c \log \text{Prop}_c$ 로 측정됩니다. 높은 일관성 (낮은 엔트로피) 과 낮은 $P(\text{correct})$ 의 조합은 프롬프트가 잘못 라벨링되었거나 모호할 가능성을 시사합니다.
데이터 매핑:
- 저자들은 $P(\text{correct})$ 와 $S(\text{consistency})$ 간의 관계를 시각화하여 "데이터 맵"을 생성합니다. 이 맵은 모델이 일관되지만 잘못된 답변을 생성하는 프롬프트와 같은 이상치를 식별하는 데 도움을 주며, 이는 잠재적인 데이터셋 노이즈를 나타냅니다.

주요 결과
본 방법론은 $k=50$ 개의 생성을 사용하여 네 가지 오픈 소스 LLM(Llama 3.1 8B/70B, Qwen 2.5 7B, Ministral 8B) 으로 네 가지 벤치마크 (MMLU-Pro, GSM8K, MuSR, IFEval) 에 걸쳐 평가되었습니다.

분산 감소: $k$ 를 증가시키면 벤치마크 점수의 95% 신뢰구간이 크게 좁아집니다. 예를 들어, GSM8K 에서 Llama 3.1 8B 의 경우 단일 생성 실행 간 최상위와 최하위 성능 격차 ( $\Delta$ ) 가 18.6 에 달했으나, $k=50$ 추정치는 표준 오차 0.68 을 가진 안정적인 점수를 제공했습니다.
탐욕적 디코딩 vs 무작위 샘플링: 연구 결과, 탐욕적 디코딩과 무작위 샘플링은 종종 다른 벤치마크 점수를 산출하는 것으로 나타났습니다. 예를 들어, MuSR 에서 Llama 3.1 8B 는 탐욕적 디코딩으로 24.8 점을 기록했으나 무작위 샘플링 ( $k=50$ ) 에서는 29.0 점을 기록했습니다. 저자들은 소수의 샘플링된 생성조차도 탐욕적 디코딩보다 실제 $P(\text{correct})$ 를 더 잘 근사할 수 있다고 지적합니다.
모델 행동 분석:
- 모델들은 추론이 중시되는 작업 (MMLU-Pro, IFEval, MuSR) 에서 $P(\text{correct})$ 의 "확산된 밀도 (diffuse density)" 분포를 보이며 무작위 샘플러와 유사하게 행동했습니다.
- 더 단순한 작업 (GSM8K) 은 0 과 1 근처에 꼬리를 가진 더 안정적인 분포를 보여주었습니다.
- 더 큰 모델 (Llama 70B) 은 모든 벤치마크에서 더 작은 모델에 비해 더 안정적인 추론 과정을 보여주었습니다.
오류 탐지: GSM8K 에 대한 사례 연구에서 데이터 맵은 낮은 $P(\text{correct})$ 와 높은 $S(\text{consistency})$ 를 가진 18 개의 프롬프트를 식별했습니다. 수동 검토 결과, 이 중 44.4% 가 잘못 라벨링되었거나 모호한 것으로 밝혀져 데이터셋 정제를 위한 다중 생성의 유용성을 입증했습니다.

의의 및 주장
본 논문은 다중 생성을 활용함으로써 벤치마크 평가를 점 추정에서 견고한 통계적 과정으로 전환한다고 주장합니다. 주요 기여점은 다음과 같습니다:

이론적 검증: 다중 생성이 추정 분산을 감소시킨다는 수학적 증명을 제공하여 단일 샘플 벤치마크의 신뢰성 문제를 해결합니다.
세분화된 진단: 프롬프트 수준 난이도 지표인 $P(\text{correct})$ 를 도입하여 집계 점수를 넘어 모델의 강점과 약점에 대한 심층적 이해를 가능하게 합니다.
품질 관리: 다중 생성과 의미적 일관성 지표의 결합이 잘못 라벨링되거나 모호한 프롬프트를 효과적으로 탐지할 수 있음을 보여주어, 벤치마크 구축 개선을 위한 확장 가능한 도구를 제공합니다.

저자들은 한계에 대해 겸손한 태도를 유지하며, 다중 생성은 계산 비용을 증가시키고 현재 오류 탐지 방법의 참 양성률이 약 50% 임을 인정합니다. 향후 연구는 견고한 평가를 위한 최소 생성 요구 사항과 오류 탐지를 위한 더 정교한 의미 지표를 탐구해야 한다고 제안합니다.

기술 요약: 단일성을 넘어: 벤치마크 평가에서 다중 생성의 가치 규명

유사한 논문