Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge

본 논문은 LLM 을 자동 평가자로 활용할 때 동일한 입력에도 모델, 온도 설정, 평가 기준에 따라 점수 일관성이 크게 달라질 수 있음을 실증적으로 분석하여, 기업 환경에서의 신뢰성 있는 도입을 위해 모니터링과 인간-LLM 하이브리드 평가 전략의 필요성을 강조합니다.

핵심

🍎 비유: "동일한 사과를 평가하는 5 명의 다른 심사위원"

상상해 보세요. 여러분이 동일한 사과 5 개를 가지고 있습니다. 이 사과들의 품질을 점수 (0~1 점) 로 매겨달라고 5 명의 다른 심사위원에게 부탁했습니다.

1. 심사위원 A (GPT-4o): 오늘 컨디션이 좋으면 0.9 점, 조금만 피곤하면 0.6 점을 줍니다.
2. 심사위원 B (Gemini): 아주 엄격해서 0.1 점만 줍니다.
3. 심사위원 C (Claude): 점수를 매길 때마다 생각이 바뀌어서, 같은 사과를 보는데도 0.8 점과 0.2 점을 번갈아 줍니다.

이 논문은 바로 **"이 심사위원들이 얼마나 일관성 있게 점수를 매기는가?"**를 조사한 것입니다.

---

🔍 연구의 핵심 내용 (3 가지 질문)

연구진은 5 가지 최신 AI 모델 (GPT, Gemini, Claude 등) 을 이용해 실제 기업에서 쓰이는 질문과 답변을 평가하게 했습니다. 그리고 세 가지를 확인했습니다.

1. 같은 심사위원이 같은 문제를 봐도 점수가 달라질까? (일관성)

• 결과: 네, 많이 달라집니다.
• 비유: 같은 심사위원이 아침에 커피를 마시고 문제를 풀면 0.9 점을 주지만, 오후에 피곤하면 0.5 점을 줍니다.
• 특이점: "완전성 (Completeness)"이라는 항목을 평가할 때 특히 점수 차이가 컸습니다. "이 답변이 질문을 다 해결했나?"를 볼 때 AI 들은 매번 생각이 달라서 점수가 들쑥날쑥했습니다.
• 중요한 사실: 보통 "온도 (Temperature)"라는 설정을 0 으로 맞추면 AI 가 기계처럼 똑같은 답을 낼 것이라고 생각하지만, 이 연구에서는 온도를 0 으로 해도 점수가 여전히 들쑥날쑥했습니다.

2. 서로 다른 심사위원이 같은 문제를 보면 점수가 다를까? (모델 간 차이)

• 결과: 엄청나게 다릅니다.
• 비유: 어떤 AI 는 "이 답변은 완벽해! 1 점!"이라고 하고, 다른 AI 는 "이건 틀렸어. 0 점!"이라고 합니다.
• 이유: 각 AI 가 "완벽한 답변"을 정의하는 기준이 다릅니다. 예를 들어, 답변이 "모르겠습니다"라고 했을 때, 어떤 AI 는 정직하다고 점수를 주고, 다른 AI 는 쓸모없다고 점수를 깎습니다.

3. "온도 (Temperature)" 설정을 바꾸면 점수가 안정적일까?

• 결과: 모델마다 다릅니다.
• 비유:
  • GPT 와 Gemini: 온도를 낮추니 (창의성을 줄이니) 점수가 훨씬 안정적이 되었습니다.
  • Claude: 온도를 낮춰도 여전히 점수가 들쑥날쑥했습니다. 마치 "오늘 기분 따라 점수 매기는 사람"처럼 변하지 않았습니다.

---

⚠️ 왜 이것이 문제일까요? (실생활 영향)

이 연구는 단순히 "AI 가 점수를 다르게 매긴다"는 것을 넘어, 실제 비즈니스에 큰 위험이 될 수 있음을 보여줍니다.

• 고객 서비스: 같은 문의를 했을 때, AI 가 오늘 1 점 (우선 처리) 을 주면 해결되고, 내일 0 점 (대기) 을 주면 해결되지 않을 수 있습니다.
• 공정성: 같은 실수를 했어도, AI 가 매기는 점수에 따라 처벌이 달라질 수 있습니다.
• 신뢰성: "AI 가 점수를 매겼으니 믿자"라고 할 수 없게 됩니다. 점수가 매번 바뀌면 우리는 그 점수를 믿을 수 없기 때문입니다.

💡 결론 및 조언

이 논문은 우리에게 이렇게 말합니다:

"AI 심판관을 쓸 때는 '평균 점수'만 보지 마세요. '점수가 얼마나 들쑥날쑥한지 (불안정성)'도 꼭 확인하세요."

• 비유: 만약 여러분이 주사위를 굴려서 점수를 매긴다면, 평균이 5 점이라도 매번 1 점과 9 점이 나올 수 있으니 그 주사위는 신뢰할 수 없습니다.
• 해결책: 기업에서는 AI 점수만 믿지 말고, 사람이 다시 한번 확인하거나 (Human-in-the-loop), 점수가 들쑥날쑥하지 않는 모델을 선택해야 합니다.

한 줄 요약:
"AI 가 심판관으로 일할 때, 같은 문제를 봐도 매번 점수가 달라질 수 있으니, 기업은 이 '불안정성'을 반드시 관리하고 감시해야 합니다."

기술 요약

논문 개요

이 연구는 대규모 언어 모델 (LLM) 을 자동 평가자 (LLM-as-a-judge) 로 사용할 때 발생하는 점수 할당 불일치 (Scoring Inconsistency) 문제를 체계적으로 분석합니다. 특히, 동일한 입력 (질문 - 답변 쌍) 에 대해 반복 실행 시나 다른 모델 간에 부여되는 수치 점수의 안정성 (Stability) 이 enterprise 환경에서 얼마나 신뢰할 수 있는지를 검증합니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: LLM-as-a-judge 는 인간 평가자의 비용과 시간을 절감하고, 기존 NLP 평가 지표 (BLEU, ROUGE 등) 가 다루기 어려운 개방형 텍스트의 질적 평가 (유용성, 정확성, 관련성 등) 를 수행하기 위해 널리 사용되고 있습니다.
• 문제: 기존 연구는 LLM 의 편향성 (Bias) 이나 인간 선호도와의 정렬 (Alignment) 에 초점을 맞췄으나, 수치 점수 할당의 일관성 (Consistency) 에 대한 연구는 부족합니다.
• 핵심 이슈: 이론적으로 temperature=0 으로 설정하면 결정론적 (Deterministic) 인 출력이 나와야 하지만, 실제로는 동일한 프롬프트에 대해 반복 실행 시 서로 다른 점수가 부여되는 비결정론적 (Non-deterministic) 성향이 발견됩니다. 이는 라우팅, 트라이지 (Triage), 게이트 로직 등 기업 워크플로우에서 심각한 운영 리스크를 초래할 수 있습니다.

2. 연구 방법론 (Methodology)

• 데이터셋: 실제 기업용 RAG (Retrieval-Augmented Generation) 시스템에서 추출한 질문 - 답변 쌍을 사용했습니다. (데이터는 비공개이며, 벤치마크 오염을 방지하기 위해 내부 데이터를 활용)
• 평가 모델: 3 가지 주요 LLM 패밀리에서 선정한 5 개 모델:
  • OpenAI: GPT-4o, GPT-4o-mini
  • Google: Gemini-2.5-Flash
  • Anthropic: Claude-Haiku-4.5, Claude-Sonnet-4.5
• 실험 설정:
  • 반복 실행: 동일한 입력에 대해 10 회 반복 실행하여 점수 변동성을 측정.
  • Temperature 설정: 0 (결정론적 설정) 과 1 (확률적 설정) 두 가지 조건으로 비교.
  • 평가 기준 (Criteria):
    1. Relevance (관련성): 질문을 직접적으로 답변하는지.
    2. Accuracy (정확성): 정보가 사실적인지.
    3. Completeness (완전성): 필요한 정보를 모두 포함했는지 (RAG 시스템 성능 평가에 중요).
• 측정 지표: 반복 실행 간 점수의 표준 편차 (Standard Deviation) 를 계산하여 일관성을 정량화.

3. 주요 연구 결과 (Key Results)

RQ1: 모델 내 일관성 (Within-Model Consistency)

• 비결정론적 행동: temperature=0 으로 설정했음에도 불구하고, 모든 모델에서 반복 실행 시 점수 변동이 관찰되었습니다.
• 지표별 차이: 완전성 (Completeness) 지표가 관련성 (Relevance) 이나 정확성 (Accuracy) 에 비해 가장 높은 변동성을 보였습니다.
• 모델별 특징:
  • Anthropic (Claude): temperature=0 에서도 변동성이 크며, 오히려 temperature=1 보다 변동성이 증가하는 경우도 있었습니다.
  • Gemini: temperature=0 에서 변동성이 거의 0 에 수렴하여 가장 높은 안정성을 보였으나, 특정 질문 (USER-002~004) 에서는 극단적인 0 또는 1 점만 부여하는 이분법적 경향을 보였습니다.
  • GPT: temperature 을 낮추면 변동성이 감소하는 경향을 보였으나, 여전히 완전성 지표에서는 변동이 존재했습니다.

RQ2: 모델 간 일관성 (Cross-Model Consistency)

• 엄격도와 해석의 차이: 동일한 입력에 대해 모델 패밀리 간 점수 부여 기준이 크게 달랐습니다.
  • 예시 1 (질문 14): GPT 와 Gemini 는 높은 점수를 부여했으나, Claude 모델들은 답변이 사용자의 의도와 맞지 않는다며 거의 0 점에 가까운 점수를 부여했습니다.
  • 예시 2 (질문 21): Gemini 는 제한 사항을 명확히 설명했으므로 '완전 (1 점)'으로 평가했으나, GPT-4 는 추가 제안이 부족하다며 '부분적 (0.5 점)'으로 평가했습니다.
• 영향: 동일한 질문이라도 사용하는 모델에 따라 하류 (Downstream) 작업 (라우팅, 게이트 결정 등) 이 달라질 수 있어 공정성과 일관성 문제가 발생합니다.

RQ3: Temperature 의 영향

• 불균등한 효과: Temperature 를 낮추는 것이 모든 모델의 안정성을 높이는 것은 아닙니다.
  • GPT 와 Gemini 는 temperature=0 에서 안정성이 크게 향상되었습니다.
  • 반면, Anthropic 모델들은 온도 조절에 따른 안정성 개선 효과가 미미하거나, 오히려 특정 지표 (완전성) 에서 변동성이 커지기도 했습니다.
• 결론: Temperature 조절은 모델 아키텍처에 따라 효과가 다르며, 단순한 설정 변경으로 비결정론 문제를 완전히 해결할 수 없습니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. 실증적 발견: LLM-as-a-judge 가 수치 점수를 부여할 때, temperature=0 설정조차 완전한 결정론을 보장하지 않으며, 특히 '완전성' 평가에서 높은 변동성이 있음을 최초로 체계적으로 증명했습니다.
2. 기업적 리스크 경고: 자동화된 점수가 라우팅, 트라이지, 품질 관리 등 핵심 비즈니스 로직에 사용될 경우, 동일한 입력이 다른 결과를 초래하여 공정성 (Fairness), 재현성 (Repeatability), 운영 신뢰성 (Operational Reliability) 에 심각한 위협이 됨을 지적했습니다.
3. 실무적 제안:
   • 모니터링: 평균 점수뿐만 아니라 표준 편차 (변동성) 를 함께 모니터링해야 함.
   • 파싱 전략: 모델이 요구된 형식을 따르지 않는 경우 (포맷팅 불일치) 를 대비하여 2 차 파서 (Secondary Parser) 나 전용 추출 에이전트 도입 필요.
   • 하이브리드 접근: 완전 자동화보다는 인간 - LLM 하이브리드 평가 방식을 통해 신뢰성을 확보해야 함.
4. 미래 연구 방향: 프롬프트 엔지니어링 최적화, 오픈소스 모델 및 도메인 특화 모델 확장, 인간 평가자와의 정렬 비교 등을 제안했습니다.

5. 결론

이 연구는 LLM 을 평가자로 사용할 때 발생하는 비결정론적 불안정성이 단순한 이론적 문제가 아니라 실제 생산 환경에서 해결해야 할 핵심 과제임을 강조합니다. 기업은 LLM 의 평균 성능뿐만 아니라 점수 할당의 일관성 (Stability) 을 평가 지표에 포함시켜야 하며, 이를 위해 모델 선택, 온도 설정, 파싱 전략, 그리고 인간 감독을 결합한 견고한 평가 파이프라인 구축이 필수적입니다.