💬 NLP

Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering

본 논문은 LLM 벤치마킹에서의 고전적 추론 및 프롬프트 의존성의 한계를 해결하기 위해 임베딩 공간 클러스터링을 결합한 교정적 베이지안 계층 모델을 제안하며, 이를 통해 더욱 견고한 성능 지표를 제공하고 데이터가 제한적인 환경에서 오류를 크게 줄인다.

원저자: Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

새로운 요리사가 얼마나 요리를 잘하는지 판단하려고 한다고 상상해 봅시다. 당신은 그에게 100가지의 서로 다른 요리를 해달라고 요청합니다. 만약 당신이 단순히 완벽하게 나온 요리의 개수를 세어서 100으로 나눈다면, 그것은 "성공률"이 됩니다.

하지만 여기 함정이 있습니다. 만약 그 100가지 요리가 실제로 100가지의 서로 다른 도전 과제가 아니었다면 어떨까요? 만약 50개는 단순히 같은 파스타 레시피의 미세한 변형이고, 나머지 50개는 단순히 같은 수프 레시피의 미세한 변형이었다면 어떨까요?

만약 요리사가 파스타에는 뛰어나지만 수프에는 형편없다면, 당신의 단순한 "100가지 요리" 점수는 오해의 소지가 있습니다. 당신은 100개의 독립적인 기술을 테스트한 것이 아니라, 두 가지 기술을 각각 50번씩 테스트한 것입니다. 당신이 점수를 계산하기 위해 사용한 수학은 모든 요리가 완전히 새롭고 관련 없는 테스트라고 가정합니다. 그 가정이 틀렸을 때, 당신의 점수는 틀리게 되며, 그 점수에 대한 당신의 확신은 가짜가 됩니다.

이것이 바로 **"Correcting Prompt Dependence in LLM Benchmarks"**라는 논문이 다루는 문제입니다.

문제점: "가짜 독립성"의 함정

대규모 언어 모델(LLM)은 흔히 "벤치마크"—질문이나 프롬프트의 목록—를 통해 테스트됩니다. 성능을 측정하는 표준적인 방법은 모든 프롬프트를 동전 던지기를 1,000번 하는 것처럼 각각 독립적인 사건으로 취급하는 것입니다.

저자들은 이것이 거짓이라고 주장합니다. 실제로 벤치마크의 프롬프트들은 종종 뭉쳐져 있습니다.

비유: 10개의 질문이 모두 "케이크 굽는 법"에 관한 것이고, 다른 10개의 질문이 모두 "자동차 고치는 법"에 관한 것인 테스트를 상상해 보십시오.
실제: 만약 AI가 케이크 굽는 법을 안다면, 아마도 10개의 케이크 관련 질문을 모두 맞힐 것입니다. 만약 실패한다면, 아마도 그 10개를 모두 틀릴 것입니다. 이 질문들은 독립적이지 않습니다. 이들은 동일한 기저의 기술에 "의존"하고 있습니다.
결과: 표준적인 수학은 당신에게 20개의 독립적인 데이터 포인트가 있다고 생각합니다. 하지만 저자들은 당신이 실제로는 단 2개(하나의 케이크, 하나의 자동차)의 데이터 포인트만을 가지고 있을 수 있다는 것을 보여줍니다. 이는 AI가 실제보다 훨씬 더 뛰어나거나 혹은 훨씬 더 못하는 것처럼 보이게 만들며, 오차 범위(불확실성)가 매우 커야 함에도 불구하고 아주 작게 보이도록 만듭니다.

해결책: "그룹화" 탐정

저자들은 BHM-ESC(Embedding-Space Clustering을 이용한 베이지안 계층 모델)라고 불리는 새로운 수학적 방식을 제안합니다.

작동 방식은 다음과 같습니다:

"워드 클라우드" 지도 (임베딩 공간):
먼저, 모델은 모든 질문을 거대한 지도 위의 한 점으로 변환합니다. 의미가 유사한 질문들(예: "케이크를 어떻게 굽나요?"와 "좋은 케이크 레시피는 무엇인가요?")은 서로 바로 옆에 위치하게 됩니다. 자동차에 관한 질문들은 멀리 떨어지게 됩니다.
클러스터(군집) 찾기:
모델은 그룹이 몇 개인지 추측하는 대신, 지도를 살피는 탐정처럼 행동합니다. 모델은 "질문의 구역(neighborhood)이 몇 개나 있는가?"라고 묻습니다. 모델은 인간에게 "5개의 그룹이 있다"라고 알려달라고 할 필요 없이, 질문들이 어떻게 밀집되어 있는지에 따라 스스로 그룹의 수를 찾아냅니다.
"팀 캡틴" 접근법 (계층적 모델링):
그룹이 발견되면, 모델은 각 질문을 개별적인 단독 연기로 취급하는 것을 멈춥니다.

모델은 "케이크 구역"을 하나의 팀으로 취급합니다. 그리고 "이 케이크 팀에 대해 AI가 얼마나 뛰어난가?"를 묻습니다.
"자동차 구역"을 또 다른 팀으로 취급합니다.
그런 다음, 모델은 이 팀들의 성과를 평균하여 최종 점수를 냅니다.

이것이 왜 중요한가 (결과)

저자들은 이 방법을 "적대적" 벤치마크(AI가 규칙을 어기도록 유도하는 테스트)에 적용했습니다. 그들은 자신들의 새로운 방법과 기존의 표준적인 방법들을 비교했습니다.

기존 방식: AI가 매우 일관적이고 확신에 차 있다고 말했습니다.
새로운 방식: "잠깐, 당신은 실제로 몇 가지 유형의 속임수만을 테스트했을 뿐입니다. 당신의 확신은 과장되었습니다"라고 말합니다.

논문의 구체적인 결과:

더 나은 정확도: 이러한 "뭉치"들을 고려하여 수학적 오류를 수정함으로써, 성능 추정치의 오차가 크게 감소했습니다 (4%에서 73% 사이).
진정한 확신: 새로운 방법은 훨씬 더 정직한 "불확실성" 범위를 제공했습니다. 기존 방식은 실제로는 추측하고 있음에도 불구하고 100% 확신한다고 주장하는 경우가 많았습니다.
과대평가: 표준적인 방법들은 진정으로 독립적인 테스트의 수를 1.3배에서 5.6배까지 과대평가하고 있었습니다. 즉, 어떤 테스트에 100개의 질문이 있다면, 기존의 수학은 이를 100개의 고유한 테스트라고 생각했지만, 새로운 수학은 이를 20개에서 80개의 고유한 테스트로 인식했습니다.

결-론

이 논문은 이 방법이 AI 안전성을 해결하거나 AI를 더 똑똑하게 만든다고 주장하는 것이 아닙니다. 단지 이렇게 말할 뿐입니다: 질문들이 서로 다르지 않다면, 모두 다르다고 세지 마십시오.

유사한 질문들을 그룹으로 묶고 개인 개인이 아닌 그룹을 세는 통계적 방법을 사용함으로써, 우리는 AI가 실제로 어떻게 수행하고 있는지에 대한 훨씬 더 진실된 그림을 얻을 수 있습니다. 이것은 학생에게 100개의 똑같은 수학 문제를 풀게 하여 성적을 매기는 것과, 100개의 서로 다른 개념을 이해했는지 평가하는 것의 차이입니다. 이 새로운 방법은 우리가 반복에 의해 속지 않도록 보장합니다.

기술 요약: LLM 벤치마크의 프롬프트 의존성 교정

문제 정의

현재의 대규모 언어 모델(LLM) 벤치마킹 관행은 두 가지 결정적이고 흔히 충족되지 않는 가정을 바탕으로 성능 지표와 불확실성 추정치를 잘못 기술하는 경우가 빈번합니다:

고전적 추론을 위한 충분한 데이터: 표본 크기가 중심한계정리(CLT) 기반 추론(예: Wald 신뢰 구간)에 의존할 만큼 충분히 크다는 가정은 계산적 제약으로 인해 자주 위반되며, 이는 신뢰할 수 없는 표본 평균과 p-값을 초래합니다.
프롬프트 독립성: 표준 지표는 테스트 프롬프트가 독립적이며 동일한 가중치를 가진다고 가정합니다. 그러나 프롬프트 내에 의미적 유사성과 공유된 실패 모드가 존재하여 의존성이 발생한다는 것이 경험적 증거로 나타나고 있습니다. 이러한 "프롬프트 의존성"은 유효 독립 표본 수를 감소시켜, 표준 방식이 유효 표본 크기를 과대평가하고 불확실성을 잘못 보정하게 만듭니다.

방법론: 임베딩 공간 클러스터링을 결인한 베이지안 계층 모델 (BHM-ESC)

저자들은 이를 해결하기 위해 교정된 베이지안 계층 모델(BHM-ESC)을 제안합니다. 이 접근 방식은 다음과 같이 작동합니다:

의미적 클러스터링: 사전 정의된 태스크 레이블에 의존하는 대신, 모델은 의미적 클러스터의 수( $S$ )를 미지의 확률 변수로 취급합니다. 데이터로부터 $S$ 를 직접 추론하기 위해 사전 분포(구체적으로 $n$ 에서 절단된 이항 분포)를 활용합니다.
임베딩 공간 분할: 프로프트 임베딩은 Sentence Transformer(예: all-MiniLM-L6-v2)를 사용하여 생성됩니다. 의미적 근접성에 따라 프롬프트를 $S$ 개의 서로 소인 클러스터로 분할하기 위해 응집형 코사인 유사도 클러스터링(Agglomerative cosine similarity clustering)이 적용됩니다.
계층적 모델링:
- 각 클러스터 $k$ 내에서, 프롬프트들은 공통된 태스크 성공 확률 $p_k$ 를 공유한다고 가정합니다.
- $p_k$ 는 Uniform Beta(1, 1) 사전 분포로 모델링됩니다.
- 프롬프트 $i$ ( $m$ 회 실행)의 관측된 성공 횟수 $x_i$ 는 이항 분포 $x_i | p_k \sim \text{Binomial}(m, p_k)$ 를 따릅니다.
- 전체 벤치마크 성능 $\bar{p}$ 는 클러스터별 확률의 동등 가중 혼합물(equally-weighted mixture)로 모델링되어, 토픽 수준에서 변동성을 통합합니다.
중요도 샘플링을 통한 추론: 사후 분포가 폐쇄형(closed-form) 표현을 허용하지 않으므로, 저자들은 중요도 샘플링 기법을 채택합니다. 사전 분포에서 $S$ 의 샘들을 추출하고, 클러스터 분할을 결정하며, 궤적 가능한 조건부 사후 분포에서 $p_{1:S}$ 를 샘플링한 후, 주변 가능도(marginal likelihood) $\pi(x_{1:n} | S)$ 를 기반으로 중요도 가중치를 계산합니다. 이를 통해 성능 지표 및 클러스터 수에 대한 사후 분포를 근사하는 가중 샘플을 생성합니다.

주요 기여

의존성에 대한 경험적 증거: 논문은 Hopkins 통계량과 UMAP 시각화를 통해 인기 있는 벤치마크(MMLU, GSM8K, HarmBench, Garak 포함)가 독립성 가정을 위반하는 상당한 클러스터 구조를 보인다는 정량적 증거를 제시합니다.
원칙적인 교정 프레임워크: BHM-ESC는 사전 정의된 클러스터 레이블이나 태스크 메타데이터 없이도 임베딩 공간에서 직접 클러스터 구조를 추론함으로써 프롬프트 간 의존성을 명시적으로 처리합니다.
제한된 데이터에서의 강건성: 이 접근 방식은 CLT 기반 방식이 실패하는 제한된 데이터 환경에서도 설계되었으며, 보정된 사후 불확실성 추정치를 제공합니다.
내적 타당성: 추론된 클러스터 구조는 사후 유사도 행렬(PSM)과 "오라클(oracle)" 베이스라인과의 비교를 통해 검증된 바와 같이, 의미적 유사성 및 독립성에 대한 인간의 판단과 일치합니다.

결과

저자들은 두 가지 LLM 아키텍처(Pythia-2.8B 및 Mamba-2.8B)를 사용하여 적대적 강건성 벤치마크(Garak 하위 집합: ANSI Escape, Repeat, Latent Injection, JavaScript)에 대해 BHM-ESC를 평가했습니다.

성능 개선: 베이스라인(나이브한 빈도주의, 클러스터링이 없는 베이지안 모델, 고정된 $S=1$ $S = 1$ 또는 $S=n$ $S = n$ 인 베이지안 모델)과 비교하여, BHM-ESC는 다음을 달성했습니다:
- 사후 예측 평균에 대한 평균 절대 오차(MAE) 4~73% 감소.
- 기대 로그 사후 밀도(ELPD)에서 20~450 유닛 개선, 이는 우수한 모델 적합도와 불확실성 정량화를 나타냅니다.
유효 표본 크기 교정: 모델은 베이스라인 접근 방식이 독립적인 샘플 수를 명목 프롬프트 수( $n$ ) 대비 1.3배에서 5.6배까지 체계적으로 과대평가하고 있음을 입증했습니다. BHM-ESC는 명목 프롬프트 수( $n$ ) 대비 감소된 유효 표본 크기( $S$ )를 정확히 식별했습니다.
결론에 미치는 영향: 교정된 지표는 성능 비교를 실질적으로 변화시켰습니다. 예를 들어, BHM-ESC는 ANSI 공격에 대한 강건성이 나이브한 베이스라인이 나타낸 것보다 더 균질하고 확실하다고 시사했습니다.
임베딩 불가지론적 특성: 성능 개선은 서로 다른 임베딩 방법(Sentence Transformers vs. TF-IDF) 전반에서 일관되게 나타났으며, 이는 개선의 원인이 특정 임베딩의 아티팩트가 아닌 구조적 회복에 있음을 시사합니다.

의의 및 주장

본 논문은 프롬프트 의존성이 LLM 벤치마킹에서 요약 통계량과 불확실성 추정치에 편향을 도입하는 체계적인 문제라고 주장합니다. 클러스터 수를 미지수로 취급하고 임베딩으로부터 직접 구조를 학습함으로써, BHM-ESC는 다음과 같은 벤치마크 불가지론적 솔루션을 제공합니다:

인간의 직관과 일치하는 클러스터 구조를 회복합니다.
전통적인 통계 방법이 유효하지 않은 데이터 희소 환경에서 보정된 불확실성 추정치를 제공합니다.
의미적으로 유사한 프롬프트를 독립적인 데이터 포인트로 취급함으로써 발생하는 통계적 결론의 과잉 확신을 방지합니다.

저자들은 이 접근 방식이 추정 정확도를 높이지만, 의존성이 자동으로 추론되고 교정되기 때문에 반드시 철저하거나 균형 잡힌 태스크 커버리지를 요구하지는 않는다고 언급했습니다. 향후 연구에서는 클러스터 내 동일한 성공 확률 가정을 완화하거나 이 방법을 멀티 턴 벤치마크로 확장하는 것을 탐구할 수 있습니다.