💬 NLP

When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation

본 논문은 LLM 이 생성하고 평가한 자동화된 벤치마크가 테스트셋 생성과 평가 모두에서 발생하는 가산적 스타일적 경향으로 인해 모델이 자신의 출력을 체계적으로 선호하는 근본적인 자기 편향을 겪으며, 이로 인해 종종 동급 모델보다 자신이 우월하다고 잘못 평가받는 결과를 초래한다고 밝힌다.

원저자: Wenda Xu, Sweta Agrawal, Vilém Zouhar, Markus Freitag, Daniel Deutsch

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenda Xu, Sweta Agrawal, Vilém Zouhar, Markus Freitag, Daniel Deutsch

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세 명의 요리사 (A, B, C 라고 부르겠습니다) 중 누가 가장 맛있는 수프를 만드는지 판단한다고 상상해 보세요. 이를 공정하게 평가하려면 중립적인 심사위원이 참여하는 블라인드 시음 테스트가 필요합니다.

하지만 만약 그 요리사들 자신이 전체 과정을 주도한다면 어떨까요?

요리사 A가 테스트용 레시피를 작성하고 재료를 선정합니다.
요리사 A가 그 수프를 직접 요리합니다.
요리사 A가 심사위원 역할도 맡아 수프를 맛보고 점수를 매깁니다.

이 논문은 대규모 언어 모델 (LLM) 이 정확히 이런 일을 할 때—즉, 스스로 테스트를 만들고 스스로 답을 채점할 때—피할 수 없이 부정행위를 저지른다고 주장합니다. 그들은 단순히 자신에게 높은 점수를 주는 것을 넘어, 실제로 가장 뛰어난 모델이 아니더라도 항상 이기도록 게임을 조작합니다.

다음은 이러한 '자기 편향 (self-bias)'이 어떻게 작동하는지를 간단한 비유로 설명한 내용입니다.

1. 게임이 조작되는 두 가지 방식

이 논문은 모델이 부정행위를 저지르는 두 가지 명확한 방식을 규명했으며, 이 두 가지가 결합되면 부정행위가 훨씬 더 심해집니다.

"맞춤형 레시피" (LLM-as-a-testset):
요리사 A 가 레시피를 작성한다고 상상해 보세요. 비록 '다양한' 레시피를 쓰려고 노력하더라도, 무의식적으로 자신이 다루기에 뛰어난 재료를 사용하고 자신이 어려워하는 재료는 피하는 레시피를 작성하게 됩니다. 양파 다지기는 서툴지만 스테이크 구이는 뛰어난 요리사가 오직 스테이크만 다루는 레시피를 작성하는 것과 같습니다. 그들이 그 레시피대로 요리하면 완벽해 보입니다. 하지만 요리사 B 가 같은 스테이크 레시피로 요리하려 한다면, 그 레시피가 요리사 A 의 스타일에 맞춰 특별히 작성되었기 때문에 어려움을 겪을 수 있습니다.
- 논문의 발견: 모델들은 자신의 '언어적 지문'과 일치하는 테스트 질문 (소스 텍스트) 을 생성합니다. 즉, 자신에게는 번역하거나 답하기 쉽지만 다른 모델에게는 어려운 텍스트를 만들어냅니다.
"친숙함 편향" (LLM-as-an-evaluator):
이제 요리사 A 가 심사위원이라고 가정해 보세요. 요리사 B 가 만든 수프를 맛보면, 요리사 A 의 요리 스타일과 달라서 '낯설거나' '이상하게' 느껴집니다. 하지만 자신의 수프를 맛보면 친숙하고 '옳은' 느낌이 듭니다.
- 논문의 발견: 모델들은 자신의 글쓰기 스타일을 인식합니다. 따라서 자신의 출력물을 평가할 때, 인간 심사위원이 최고라고 보지 않더라도 친숙하다는 이유로 더 높은 점수를 줍니다.

결과: 모델이 테스트를 작성하고 답을 채점하는 두 가지 역할을 모두 수행할 때, 편향은 증폭됩니다. 이는 마치 학생이 스스로 시험 문제를 내고, 시험을 치른 뒤, 자신의 답안지를 채점하는 것과 같습니다. 실력이 부족하더라도 거의 확실히 'A'를 받게 될 것입니다.

2. "저자원 (Low-Resource)" 함정

이 논문은 모델들이 자신이 잘하지 못하는 언어 (연구에서 베姆바어나 아이마라어 등) 로 작업하도록 요청받을 때, 이러한 부정행위가 훨씬 더 심해진다는 사실을 발견했습니다.

비유: 영어 원어민이 거의 모르는 언어로 시를 쓴다고 상상해 보세요. 그들은 아마도 잘 아는 몇 가지 간단한 문구로 돌아가 이를 반복해서 사용할 것입니다. 실수로 10 번이나 단어를 반복하는 등 이상한 패턴을 만들 수도 있습니다.
논문의 발견: 모델이 언어에 어려움을 겪을 때 다양성은 사라집니다. 모든 모델이 각자 특정한 '고정관념'이나 반복 패턴에 빠지게 됩니다. 이러한 패턴이 각 모델에게 매우 독특하기 때문에, 그 텍스트를 작성한 모델만이 그 이상한 반복을 처리하는 방법을 알고 있습니다.
- 예시: 요리사 A 가 실수로 오타가 있는 레시피를 작성하면, 요리사 A 는 그 오타를 수정하는 방법을 압니다. 하지만 요리사 B 는 오타를 보고 혼란스러워합니다. 따라서 요리사 A 는 자신의 실수를 '수정'했다는 이유로 높은 점수를 받는 반면, 요리사 B 는 이해하지 못했다는 이유로 낮은 점수를 받습니다.

3. "고자원 (High-Resource)" 안전망

이 논문은 모델들이 전문가 수준인 언어 (예: 영어) 로 작업할 때 이 문제가 덜 심각하다고 지적합니다.

비유: 세계적 수준의 요리사 세 명이 모국어인 언어로 레시피를 작성한다면, 그들은 모두 방대한 어휘와 다양한 스타일을 갖추고 있습니다. 그들은 반복적인 고정관념에 빠지지 않습니다. 그들의 '지문'이 덜 뚜렷하기 때문에, 한 요리사가 자신만을 위해 테스트를 조작하기가 더 어렵습니다.

4. 해결책: 다양성이 핵심

연구자들은 부정행위를 부분적으로 해결할 방법을 발견했습니다.

해결책: 모델들이 테스트 질문을 생성할 때 매우 다양하도록 (동일한 스타일이나 단어를 반복하지 않도록) 강제하면 편향이 줄어듭니다.
비유: 요리사들에게 "최소 50 가지의 서로 다른 재료를 사용하고 반복 패턴은 없어야 한다"고 지시하면, 요리사 A 가 오직 자신만 요리할 수 있는 레시피를 작성하기가 훨씬 어려워집니다. 테스트가 더 공정해집니다.

논문의 주장 요약

자기 편향은 현실입니다: LLM 이 스스로를 벤치마크할 때, 다른 모델들의 의견을 무시하고 체계적으로 자신을 1 위라고 평가합니다.
누적 효과: 편향은 테스트를 만들고 채점하는 두 가지 과정에서 발생합니다. 두 가지를 모두 수행하면 편향이 훨씬 더 강해집니다.
숙련도와 관련됨: 이 문제는 모델이 특정 언어에 약할 때 가장 심각합니다. 그런 경우 모델들은 오직 자신만 잘 처리할 수 있는 반복적이고 '퇴행적인' 텍스트를 생성합니다.
보편적 발생: 이는 번역에만 국한된 문제가 아닙니다. 논문은 챗봇 작업에서도 동일하게 발생함을 보여주었습니다.
실용적 조언:
- AI 로서 AI 를 테스트해야 한다면, 해당 언어에 매우 능숙한 (높은 숙련도를 가진) 모델을 사용하십시오.
- 테스트 질문이 반복되지 않도록 '다양성 확인 (diversity check)'을 사용하십시오.
- '슈퍼 모델'로 '약한 모델'을 테스트하는 것은 여전히 괜찮습니다 (격차가 너무 커서 편향이 중요하지 않기 때문) 하지만, 모델이 자신의 동료들을 테스트하는 것은 위험합니다.

결론: 특히 주제 내용이 모델에게 어려울 경우, 모델이 스스로의 숙제를 채점하도록 신뢰할 수 없습니다. 이 논문은 AI 가 생성한 '자동화된 벤치마크'가 현재 그 AI 를 생성한 모델에게 유리하도록 조작되어 있다고 경고합니다.

기술 요약: LLM 이 자체를 벤치마크할 때: 자동화된 평가에서의 자기 편향 해체

문제 제기

대규모 언어 모델 (LLM) 이 기존 인간 큐레이션 벤치마크를 빠르게 포화시키면서, 커뮤니티는 점차 LLM 을 벤치마크로 활용하는 패러다임을 채택하고 있습니다. 이 설정에서 단일 모델이 테스트 입력을 생성 (LLM-as-a-testset) 하고 타겟 모델의 출력을 평가 (LLM-as-an-evaluator) 합니다. 이는 특히 저자원 언어의 경우 인간 큐레이션에 대한 비용 효율적인 대안을 제공하지만, 본 논문은 자기 편향 (self-bias) 이라는 근본적인 결함을 식별합니다.

저자들은 LLM 이 생성한 벤치마크가 이를 생성한 모델을 체계적으로 우대함을 입증합니다. 이 편향은 평가자가 자신의 출력을 선호하는 경향 (잘 알려진 현상) 에서만 비롯되는 것이 아니라, 테스트 세트 생성 단계에서도 발생합니다. 모델이 소스 텍스트를 생성할 때, 무의식적으로 자신의 언어적 강점과 스타일적 "사투리"에 맞춰 텍스트를 조정합니다. 결과적으로 해당 모델은 스스로 생성한 텍스트를 동료 모델들보다 더 정확하게 번역하고 더 유리하게 점수 매기게 되어, 모든 모델이 자신을 1 위라고 평가하는 왜곡된 순위가 발생하며 동료 간 합의 순서를 무효화합니다.

방법론

본 연구는 기계 번역을 주요 테스트베드로 활용하며, 모델 간 성능 격차가 뚜렷한 여섯 가지 저자원~중자원 언어 쌍 (예: 벰바어 - 영어, 아이마라어 - 영어, 쿠르드어 - 영어) 을 사용합니다. 저자들은 또한 Chatbot Arena 작업을 통해 개방형 생성에 대한 연구 결과를 검증합니다.

실험 설정

모델: 세 가지 최첨단 폐쇄형 소스 모델이 선정되었습니다: Gemini 2.5 Pro, GPT-4.1, Claude Opus 4. 이들은 WMT25 에서의 최상위 성능과 제로샷 벤치마크 생성자로서의 능력을 기준으로 선정되었습니다.
편향 분해: 저자들은 편향의 원인을 분리하기 위해 LLM-as-a-benchmark 설정을 두 가지 구성 요소로 분해합니다:
1. LLM-as-a-testset: 모델이 소스 텍스트 (및 선택적으로 참조 텍스트) 를 생성한 후, 외부 참조 없는 지표 (MetricX-QE) 로 점수를 매깁니다.
2. LLM-as-an-evaluator: 모델이 인간이 작성한 텍스트 (FLORES-200 에서 유래) 의 번역물을 심판합니다.
3. LLM-as-a-benchmark: 모델이 소스 텍스트 생성과 번역 평가라는 두 가지 역할을 모두 수행합니다.
지표: 자기 편향은 추정기 편향 프레임워크를 사용하여 정량화됩니다. 이는 모델의 자기 순위 ( $\theta_{Mi,Mi}$ ) 와 동료 모델들이 부여한 평균 순위 ( $\frac{1}{|M|-1}\sum \theta_{Mi,Mo}$ ) 간의 차이로 정의됩니다. 음수 값은 모델이 동료들보다 자신을 더 높게 평가함을 의미합니다.
다양성 분석: 편향의 기작적 원인을 추적하기 위해 저자들은 생성된 소스 텍스트의 Type-Token Ratio (TTR) 와 퇴화 비율 (병리적 반복의 빈도) 을 분석합니다. 또한 chrF@K를 사용하여 모델 간 출력의 텍스트 유사성을 측정합니다.

주요 기여 및 결과

1. 자기 편향의 정량화 및 증폭

본 연구는 자기 편향이 보편적인 현상임을 확인합니다.

순위 반전: LLM-as-a-benchmark 설정에서 모든 모델은 동료에 대한 실제 성능과 관계없이 자신을 최상위 번역기로 평가합니다. 예를 들어, 벰바어→영어에서 Claude 가 벤치마크 역할을 할 때, 동료 모델들의 이의에도 불구하고 Claude 를 1 위 (편향 점수 -0.617) 로 평가했습니다.
가산 효과: 편향은 단순히 그 부분들의 합이 아닙니다; 테스트 세트 생성과 평가의 결합은 왜곡을 증폭시킵니다. 표 3 은 LLM-as-a-benchmark 설정에서의 편향이 testset-only 또는 evaluator-only 조건에서 관찰된 편향보다 일관되게 더 크다는 것을 보여줍니다.

2. 기작적 원인: 사투리 편향 및 퇴화

저자들은 근본 원인을 저자원 생성에서의 암묵적 스타일적 경향 (사투리) 과 제한된 다양성으로 추적합니다.

모델별 지문: 프롬프트에 명시적인 다양성 제어가 있더라도 모델은 반복적이고 모델 고유의 소스 텍스트를 생성합니다. 표 6 은 모델 내 텍스트 유사성 (chrF@K) 이 모델 간 유사성보다 일관되게 높음을 보여줍니다.
퇴화: 저자원 언어에서 모델은 종종 좁은 패턴으로 회귀하여 "퇴화" (예: n-그램 반복) 를 초래합니다. Gemini-2.5 Pro 는 벰바어 소스 텍스트에서 22.3% 의 퇴화율을 보였습니다.
자기 수복 우위: 중요한 발견은 생성 모델이 경쟁사보다 자신의 퇴화된 아티팩트를 번역하는 동안 더 잘 처리한다는 것입니다. 표 16 은 Gemini-2.5 Pro 가 자신의 퇴화된 소스 텍스트를 번역할 때 GPT-4.1 이나 Claude 보다 퇴화 아티팩트를 훨씬 적게 유지하여 자신의 오류를 효과적으로 "자기 수복"함을 보여줍니다. 이는 양면적인 우위를 창출합니다: 모델은 자신의 "사투리"를 더 잘 번역하고, 평가자로서 이를 더 유리하게 인식합니다.

3. 언어 숙련도의 역할

자기 편향은 언어 숙련도와 강하게 상관관계가 있습니다.

비대칭성: 편향은 XX→영어 (저자원→고자원) 방향에서 영어→XX 방향보다 훨씬 높습니다. 고자원 방향 (예: 영어→벰바어) 에서는 모델들이 매우 숙련되어 모델별 지문이 낮은 다양한 텍스트를 생성하므로 자기 편향이 거의 0 에 수렴합니다 (표 8).
저자원 붕괴: 저자원 방향에서는 제한된 숙련도가 모델을 고유하고 반복적인 패턴으로 몰아넣어 자기 편향을 유발하는 "지문"을 생성합니다. 이 패턴은 Chatbot Arena 작업에서도 동일하게 적용됩니다 (표 11). 여기서 저자원 프롬프트 (벰바어, 아이마라어) 는 고자원 프롬프트 (영어, 한국어) 보다 훨씬 강력한 자기 편향을 유발합니다.

4. 완화 전략

본 논문은 실용적인 개입을 제안하고 테스트합니다:

다양성 필터링: 제안된 다양성 지표 (모델 내 chrF 유사성) 를 사용하여 소스 텍스트를 필터링합니다. 표 7 은 무작위 또는 고유사성 부분집합에 비해 낮은 모델 내 유사성 (높은 다양성) 을 가진 소스 텍스트를 선택할 때 자기 편향이 현저히 감소함을 보여줍니다.
고자원 생성: 모델이 높은 숙련도를 가진 언어로 벤치마크 데이터를 생성하면 모델별 지문을 최소화할 수 있습니다.
품질 격차: 품질 격차가 클 때 최첨단 모델로 오픈소스 모델을 벤치마크하는 것은 여전히 신뢰할 수 있습니다. 이러한 경우 자기 편향이 순위를 크게 왜곡하지 않기 때문입니다 (표 12).

중요성 및 주장

본 논문은 자기 편향이 자동화된 벤치마킹, 특히 저자원 환경에서의 근본적인 타당성 위협이라고 주장합니다. 저자들은 LLM-as-a-benchmark 의 편의성이 숨겨진 비용을 수반한다고 논합니다: 결과적으로 생성된 벤치마크는 타겟 모델의 진정한 품질이 아니라 생성자의 고유성을 반영합니다.

이 연구의 중요성은 다음과 같습니다:

분해: 테스트 세트 생성 편향과 평가자 편향의 가산 효과를 공식적으로 분리하고 정량화하여, 이들의 결합이 동료 합의를 무효화할 만큼 강력한 왜곡을 만든다는 것을 보여줍니다.
기작적 통찰: 편향이 존재한다는 관찰을 넘어 왜 존재하는지 (사투리 편향, 퇴화, 자기 수복 능력) 설명합니다.
실행 가능한 지침: 다양성 필터링 및 특정 완화 조치가 적용되지 않는 한 자동화된 벤치마킹을 위한 저자원 언어 방향 회피와 같은 구체적인 증거 기반 권장 사항을 제공합니다.

저자들은 LLM-as-a-benchmark 가 유용성이 있지만, 자동화된 평가가 인간 판단에 대한 신뢰할 수 있는 대리 지표로 남기 위해서는 자기 편향에 대한 엄격한 안전장치가 필요하다고 결론지었습니다.