💬 NLP

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

본 논문은 LLM 기반 심사가 서로 다른 실행 간에 상당한 평가자 내 불일치를 보임으로써 점수의 신뢰성을 훼손한다는 사실을 밝히고, 이러한 평가가 특정 지침을 통해 여전히 효과적으로 활용될 수 있는지 조사한다.

원저자: Rajarshi Haldar, Julia Hockenmaier

게시일 2026-04-29

📖 5 분 읽기🧠 심층 분석

원저자: Rajarshi Haldar, Julia Hockenmaier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks"라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 정리합니다.

핵심 아이디어: "룰렛" 심판

유명한 음식 평론가를 새로 생긴 식당을 리뷰하러 고용했다고 상상해 보세요. 같은 테이블에 앉아, 앞에는 같은 냅킨이 놓인 채로, 같은 요리를 세 번 연속으로 맛보게 합니다.

첫 번째 맛보기: 5 점 만점에 5 점으로 "걸작"이라고 평가합니다.
두 번째 맛보기: 2 점으로 "맛없고 과익된" 요리라고 평가합니다.
세 번째 맛보기: 4 점으로 "괜찮지만 소금이 더 필요해"라고 평가합니다.

만약 이런 일이 일어난다면, 그 평론가를 신뢰하지 못하게 될 것입니다. 그들의 판단은 룰렛과 같다는 것을 깨닫게 되죠. 음식 (입력) 은 변함없는데도, 룰렛이 돌아서 매번 다른 숫자에 멈추기 때문입니다.

연구자들은 다른 AI 가 생성한 텍스트를 심판하는 역할을 Large Language Models(LLM) 에게 맡겼을 때 정확히 같은 현상을 발견했습니다. 그들은 이러한 AI 심판들이 **"Rating Roulette(등급 룰렛)"**으로 고통받고 있음을 발견했습니다.

문제: AI 심판이 자기 자신과 합의하지 못함

AI 세계에서는 종종 한 AI 가 다른 AI 의 작업을 채점합니다. 이를 "LLM-as-a-Judge(심판으로서의 LLM)"라고 부릅니다. 인간을 고용하는 것보다 빠르고 저렴하기 때문에 인기가 많습니다.

하지만 연구자들은 간단한 테스트를 진행했습니다.

뉴스 요약이나 채팅 대화와 같은 텍스트 조각을 가져옵니다.
동일한 AI 심판에게 정확히 같은 지시사항을 사용하여 세 번 채점하게 합니다.
AI 가 매번 같은 점수를 주는지 확인합니다.

결과: AI 심판들은 제각각이었습니다.

요약이 사실적인지 확인하는 SummaC 작업에서, 가장 좋은 AI 심판조차 스스로와 약 79% 만 일치했습니다.
챗봇 대화를 순위 매기는 MT-Bench 작업에서는 일치율이 더 떨어졌습니다. 한 AI 심판은 경우의 **61%**에서만 세 번 연속으로 정확히 같은 답을 주었습니다.

질문과 답변은 변하지 않았는데도, 심판의 기분이 매번 바뀌는 것과 같습니다.

역효과를 부르는 "마술"

"좋아, AI 에게 무작위성을 멈추라고 해보자. 항상 같은 답을 내도록 뇌의 '주사위 굴리기' 부분을 끄자"라고 생각할 수 있습니다.

연구자들은 이를 시도했습니다. AI 를 100% 결정론적 (무작위성 없음) 으로 설정했습니다.

일관성이 생겼나요? 네.
더 나은 심판이 되었나요? 아니요.

오히려 AI 에게 주사위 굴리기를 강제로 멈추게 했을 때, 인간 심판과 비교해 등급이 더 나빠졌습니다. 마치 셰프에게 매번 정확히 같은 레시피를 사용하도록 강요하는 것과 같습니다. 실수는 멈출지 몰라도 창의성이나 적응력은 사라지고, 결국 음식 맛은 더 나빠집니다.

이 논문은 트레이드오프가 있다고 제안합니다. 인간의 의견과 일치하는 좋은 등급을 얻으려면 AI 는 약간의 "무작위성 (변동성)"이 필요합니다. 하지만 그 동일한 무작위성이 AI 를 자기 자신과 불일치하게 만듭니다.

인간 비교: 인간이 더 나을까요?

연구자들은 이것이 AI 만의 문제인지 확인하기 위해 인간 심판들도 살펴보았습니다.

전문가: 전문가들이 같은 텍스트를 채점할 때 서로 상당히 잘 일치했지만 완벽하지는 않았습니다.
크라우드 워커: 일반인 (크라우드 워커) 들이 텍스트를 채점할 때, 서로나 전문가들과 자주 불일치했습니다.
놀라운 사실: 어떤 경우에는 AI 심판들이 서로 간에 인간들보다 더 일관적이었습니다. 하지만 AI 의 점수가 너무 변동성이 커서, AI 가 실제로 "옳은" 것인지 아니면 단순히 "운이 좋은" 것인지 구분하기 어렵습니다.

왜 이것이 중요한가? ("고장 난 자" 비유)

나무의 높이를 재려고 한다고 상상해 보세요.

옛 방식: 약간 구부러진 자를 사용합니다. 완벽하지는 않지만 일정합니다.
새 방식 (LLM 심판): 고무로 만든 자를 사용합니다. 때로는 늘어나고 때로는 줄어듭니다. 같은 나무를 세 번 재더라도 세 가지 다른 숫자가 나옵니다.

고무 자를 사용하면 측정을 신뢰할 수 없습니다. 이 논문은 현재 LLM 을 심판으로 사용하는 것이 고무 자를 사용하는 것과 같다고 주장합니다.

한 번 테스트를 실행하면 점수가 나옵니다.
다시 실행하면 다른 점수가 나옵니다.
세 번째로 실행하면 세 번째 점수가 나옵니다.

점수가 매번 변하기 때문에, AI 가 실제로 품질을 잘 판단하는 것인지, 아니면 단순히 추측하는 것인지 알 수 없습니다.

다양한 작업에서 무엇을 발견했나요?

연구자들은 AI 가 수행해야 하는 세 가지 다른 "게임"을 테스트했습니다.

참 또는 거짓 (SummaC): 요약이 사실적으로 정확한가요? (이진 선택)
- 결과: AI 심판들은 불일치했으나, 더 크고 새로운 모델들이 약간 더 나았습니다.
1 에서 5 점까지의 리뷰 (SummEval): "일관성", "유창성" 등에 대해 요약을 평가합니다.
- 결과: AI 는 매우 불일치했습니다. 특히 "유창성"(텍스트가 얼마나 매끄러운지) 에서 그랬습니다. 흥미롭게도 AI 는 때때로 인간들이 서로 합의하는 것보다 유창성을 평가하는 데 더 나았습니다.
배틀 로얄 (MT-Bench): 두 챗봇 중 어떤 것이 더 나은 답을 주었나요?
- 결과: 이것이 가장 어려운 작업이었습니다. AI 심판들은 여기서 극도로 변동성이 컸으며, 어떤 챗봇이 더 나은지 자주 마음을 바꿨습니다.

결론: 룰렛 휠을 어떻게 고칠 것인가

이 논문은 AI 심판을 사용하려는 사람들을 위한 몇 가지 실용적인 팁을 제공합니다.

단일 실행을 신뢰하지 마세요: AI 에게 무언가를 채점하게 하려면 첫 번째 답만 받아들이지 마세요. 세 번 채점하게 하고 평균이나 다수결을 취하세요. 이렇게 하면 "룰렛" 효과를 완화하고 인간이 말할 점수에 더 가까운 점수를 얻을 수 있습니다.
무작위성을 끄지 마세요: 무작위성이 불일치를 유발하지만, 완전히 끄면 AI 가 인간의 의견과 일치하는 능력이 떨어집니다. 올바른 답을 얻으려면 약간의 혼란이 필요합니다.
자기 일관성을 확인하세요: AI 심판을 신뢰하기 전에, 그것이 자기 자신과 합의하는지 확인해야 합니다. 자기 자신과 합의하지 못한다면, 당신과도 합의하지 못할 가능성이 높습니다.

요약

이 논문은 AI 심판들이 현재 신뢰할 수 없다는 것을 밝힙니다. 매번 같은 질문을 받을 때마다 다른 답을 주기 때문입니다. 그들은 안정적인 저울이 아니라 룰렛 휠과 같습니다. 더 새로운 AI 모델들이 약간 더 일관성이 있지만, 여전히 신뢰할 수 있는 데 어려움을 겪고 있습니다. 현재 가장 좋은 해결책은 AI 에게 게임을 여러 번 플레이하게 하고 단일 "스핀"을 신뢰하는 대신 결과를 평균내는 것입니다.

Haldar 와 Hockenmaier 의 논문 "Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

자연어 생성 (NLG) 이 보편화됨에 따라 모델 출력 평가는 전통적인 지표 (예: BLEU, ROUGE) 에서 LLM-as-a-Judge프레임워크로 전환되었습니다. 이 프레임워크에서는 대규모 언어 모델 (LLM) 이 생성된 텍스트에 점수를 매기거나 순위를 매깁니다. 이러한 프레임워크는 n-그램 지표보다 확장성이 뛰어나고 인간 선호도와 더 잘 부합하지만, 간과되기 쉬운 치명적인 결함인 **낮은 평가자 내 신뢰도 (자기 신뢰도)**로 고통받고 있습니다.

저자들은 LLM 평가자가 상당한 **자기 불일치 (self-inconsistency)**를 보인다고 지적합니다. 동일한 LLM 이 여러 번 실행될 때 동일한 입력, 하이퍼파라미터, 설정으로 프롬프트를 입력받으면 자주 다른 평가를 산출합니다. 이러한 변동성은 개별 평가가 임의적일 수 있게 만들고, LLM 평가 능력의 진정한 품질을 판단하기 어렵게 만듭니다. 또한 기존 연구들은 종종 LLM 과 인간을 비교하기 위해 상관관계나 정확도 같은 지표를 사용하는데, 이는 우연에 의한 일치를 보정하지 못해 인지된 신뢰도를 과장할 수 있습니다.

2. 방법론

저자들은 자기 신뢰도와 평가 성능에 미치는 영향을 정량화하기 위해 세 가지 서로 다른 NLG 벤치마크에 걸쳐 포괄적인 실증 연구를 수행했습니다.

데이터셋 및 작업

SummaC: 요약의 사실적 일관성을 위한 이진 분류 작업 (일관됨 vs 불일치).
SummEval: 일관성, 일관성, 유창성, 관련성이라는 네 가지 차원에 걸쳐 1~5 리커트 척도를 사용하는 다중 지표 요약 평가.
MT-Bench: 평가자가 두 모델 (모델 A, 모델 B 또는 무승부) 간의 더 나은 응답을 선택하는 다중 턴 대화 순위 매기기 작업.

실험 설정

모델: Llama-3.1-70B-Instruct, DeepSeek-R1-Distill-Qwen, Qwen3-32B 세 가지 LLM 을 평가자로 사용했습니다.
절차: 각 평가자는 동일한 프롬프트와 설정으로 동일한 데이터셋에서 세 번 실행되어 평가자 내 변이를 측정했습니다.
일치 지표:
- Krippendorff's Alpha ( $\alpha$ ): 일치를 측정하는 주요 지표로 사용되었습니다. 정확도나 상관관계 대신 선택된 이유는 우연에 의한 일치를 보정하고, 누락된 데이터, 다양한 수의 평가자, 그리고 서로 다른 데이터 유형 (명목, 서열, 구간) 을 처리할 수 있기 때문입니다.
- 거리 함수: 이진 작업 (SummaC) 에는 명목 거리, 리커트 척도 및 순위 작업 (SummEval, MT-Bench) 에는 서열 거리를 사용했습니다.
- 균형 정확도: 클래스 불균형을 고려하기 위해 SummaC 에 사용되었습니다.
비교: 연구에서는 다음을 비교했습니다:
- 자기 신뢰도: 여러 실행에서 LLM 이 자신과 일치하는 정도.
- 평가자 간 신뢰도: LLM 과 인간 평가자 (전문가 및 크라우드워커/터커) 간의 일치.
- 성능 영향: "다수결 투표 (여러 실행 집계)"와 "샘플링 없음 (temperature 를 0 으로 설정)"이 인간 골드 스탠다드와의 일치에 미치는 영향.

3. 주요 기여

자기 불일치의 정량화: 이 논문은 요약, 사실 확인, 대화 등 다양한 작업에서 LLM 평가자의 낮은 평가자 내 신뢰도를 체계적으로 정량화한 첫 번째 연구입니다.
변동성 - 성능 트레이드오프: 저자들은 역설적인 발견을 증명합니다: 결정론적 출력을 강제하기 위해 샘플링을 비활성화 (temperature 를 0 으로 설정) 하면 LLM 의 인간 평가와의 일치가 감소합니다. 이는 LLM 의 고유한 확률적 성질이 자기 불일치를 유발하지만, 실제로는 인간 합의에 더 가까운 답을 찾기 위해 해결 공간을 탐색하는 데 도움이 될 수 있음을 시사합니다.
평가 지표에 대한 비판: 이 연구는 정확도와 상관관계와 같은 표준 지표가 우연을 보정하지 않기 때문에 LLM 과 인간 간의 일치를 과대평가한다고 강조합니다. Krippendorff's Alpha 는 훨씬 낮고 더 현실적인 일치 수준을 드러냅니다.
작업별 변동성: 불일치는 균일하지 않으며, 작업 (예: SummaC 보다 MT-Bench 에서 더 낮음) 과 지표 (예: "유창성"은 LLM 이 일관되게 평가하기 notoriously 어렵음) 에 따라 크게 달라집니다.

4. 주요 결과

자기 신뢰도 (평가자 내)

SummaC: Krippendorff's $\alpha$ 는 0.32(Llama 3.1) 에서 0.79(Qwen 3) 까지 다양했습니다. 가장 좋은 모델 (Qwen 3) 조차도 "양호한" 일치를 나타내는 0.8 임계값을 간신히 달성했습니다.
SummEval: 자기 신뢰도는 지표에 따라 달랐습니다. 일관성과 일관성은 중간 정도의 신뢰도를 보였으나, 유창성은 모든 모델에서 매우 낮은 신뢰도를 보였습니다.
MT-Bench: 자기 신뢰도가 가장 낮았으며, $\alpha$ 값은 0.26~0.56 범위였습니다. Qwen 3 은 세 번의 실행 중 **61.3%**의 경우에만 자신과 일치했습니다.
결론: LLM 평가자는 매우 변동성이 크며, 종종 인간 평가자보다 더 변동성이 큽니다.

인간과의 일치

지표 편향: 정확도를 사용하면 LLM 이 인간과 높은 비율로 일치하는 것처럼 보였습니다 (예: MT-Bench 에서 인간 vs 인간은 0.827). 그러나 Krippendorff's Alpha 를 사용하면 인간 - 인간 일치는 0.478로 떨어졌고, LLM-인간 일치는 더욱 감소했습니다 (예: Qwen 3 vs 인간: 0.426).
전문가 vs 크라우드: 인간 전문가들은 크라우드워커들보다 서로 간의 일치가 더 높았습니다. LLM 은 전문가들과 modest 한 일치를 보였으나 크라우드워커들과는 크게 달랐으며, 이는 LLM 이 전문가의 추론과 더 잘 부합할 수 있지만 여전히 "골드 스탠다드"에는 미치지 못함을 시사합니다.

샘플링 전략의 영향

다수결 투표: 여러 실행의 결과를 집계 (예: 3 번 실행의 다수결 투표 채택) 하는 것은 단일 실행보다 인간 레이블과의 일치를 개선했습니다.
결정론적 모드 (Temp=0): 변이를 제거하기 위해 샘플링 없이 모델을 실행하면 성능이 악화되었습니다. 예를 들어, SummaC 에서 Qwen 3 의 균형 정확도는 80.6%(다수결 투표) 에서 79.2%(샘플링 없음) 로 떨어졌습니다. 이는 결정론을 강제하는 것이 모델의 인간 선호도 부합 능력을 해친다는 것을 나타냅니다.

5. 중요성 및 권장 사항

중요성:
이 논문은 "단일 실행" LLM 평가의 현재 패러다임에 도전합니다. 이는 LLM-as-a-Judge 의 "골드 스탠다드"가 불안정함을 드러냅니다. LLM 이 자신과 일치할 수 없다면, 신뢰할 수 있는 평가자로서의 유용성은 훼손됩니다. 이러한 발견들은 LLM 의 확률적 성질이 단순한 버그가 아니라 인간 부합 합의를 이루는 데 도움이 되는 기능이며, 이를 제거하는 것은 해롭다는 것을 시사합니다.

향후 연구를 위한 권장 사항:

자기 신뢰도 보고: 평가 프레임워크는 평가자 간 일치와 함께 평가자 내 신뢰도 (예: Krippendorff's Alpha) 를 보고해야 합니다.
우연 보정 지표 사용: 평가자 평가에는 정확도/상관관계를 피하고 Krippendorff's Alpha 또는 Cohen's Kappa 를 사용하십시오.
여러 실행 집계: 단일 추론 대신 다수결 투표나 여러 실행의 집계를 사용하여 점수를 안정화하고 인간 평가와의 일치를 개선하십시오.
결정론 강제 금지: 일관성 문제를 해결하기 위해 temperature 를 0 으로 설정하지 마십시오. 이는 성능을 저하시킵니다.
인간 자기 신뢰도 측정: 향후 벤치마크는 LLM 자기 신뢰도에 대한 현실적인 상한선을 확립하기 위해 반복된 인간 주석을 포함해야 합니다.

결론적으로, 저자들은 LLM-as-a-Judge 가 인간 평가의 확장 가능한 대안이지만, 현재 구현은 상당한 "Rating Roulette"(무작위성) 으로 고통받고 있다고 주장합니다. 견고한 평가는 이러한 변이를 인정하고, 적절한 통계 지표를 사용하며, 단일 샷 평가에 의존하기보다 여러 추론 실행을 활용하는 것을 요구합니다.