Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions

이 논문은 LLM 을 평가자로 활용할 때 상세한 프롬프트 지시사항이 인간 평가와의 정렬에 미치는 영향이 제한적이며, 때로는 프롬프팅보다 모델의 퍼플렉시티가 텍스트 품질 평가에서 인간 판단과 더 잘 일치할 수 있음을 규명했습니다.

핵심

"심사위원을 심사한다": AI 가 스스로를 평가할 때, 정말 잘할까?

이 논문은 최근 화두가 되고 있는 **"AI 가 AI 의 답을 평가하는 것 (LLM-as-a-judge)"**에 대해 깊이 있게 분석한 연구입니다. 쉽게 말해, "시험지를 채점하는 선생님 (AI) 이 정말 잘 채점할까? 그리고 선생님에게 채점 기준을 얼마나 자세히 알려줘야 할까?"를 실험해 본 이야기입니다.

이 복잡한 연구를 일상적인 비유로 풀어보겠습니다.

---

1. 배경: 왜 AI 가 채점을 할까?

과거에는 사람의 답을 사람이 채점했습니다. 하지만 AI 가 글을 쓰거나 문제를 풀게 되면서, 이 답들을 사람이 일일이 채점하는 건 너무 비싸고 느립니다. 그래서 GPT-4 나 Llama3 같은 똑똑한 AI 를 '심사위원'으로 세웠습니다.

사람들은 "AI 는 인간과 비슷한 감수성을 가지고 있으니, 인간이 채점한 것과 비슷하게 채점할 거야"라고 믿었습니다. 하지만 연구진은 의문을 품었습니다.

"AI 가 좋은 점수를 주는 건, 실제로 우리가 준 '채점 기준 (지시사항)'을 잘 따랐기 때문일까? 아니면 그냥 자신이 훈련받았던 '고급 데이터'를 좋아해서, 비슷한 좋은 글을 자동으로 좋아해 주는 걸까?"

2. 실험: "선생님"에게 얼마나 알려줄까?

연구진은 다양한 AI 모델 (심사위원) 을 불러와서 4 가지 다른 방식으로 채점을 시켰습니다.

1. 아무 말도 안 해줌 (Perplexity): 지시사항 없이 AI 가 글을 읽었을 때 "이 글이 내 훈련 데이터와 얼마나 잘 어울리는지"만 수치로 측정합니다. (비유: 심사위원이 글을 읽으며 "어? 이 스타일 내 거네"라고 느끼는 직감)
2. 간단한 지시: "이 글의 품질을 1~5 점으로 매겨줘." (비유: "맛있으면 5 점, 맛없으면 1 점"이라고만 알려줌)
3. 기준 이름만 알려줌: "이 글의 '논리성'을 평가해 줘." (비유: "논리성이라는 게 뭐지? 너가 알아서 판단해.")
4. 완벽한 채점표 (Rubric) 제공: "논리성이 1 점인 경우는 말도 안 되는 이야기, 5 점인 경우는 상식과 완벽히 부합하는 이야기야." (비유: 아주 상세한 채점 가이드북을 건네줌)

3. 핵심 발견: 놀라운 결과들

📉 "자세한 설명은 오히려 방해가 될 수도 있어"

가장 놀라운 점은, 가장 똑똑한 AI (GPT-4 등) 에게는 상세한 채점표가 크게 도움이 되지 않았다는 것입니다.

• 비유: 이미 요리 실력이 천재인 셰프에게 "소금 3g, 후추 2g"이라고 자세히 알려주지 않아도, 그 사람의 입맛 (훈련 데이터) 이 이미 완벽해서 맛있는 요리를 골라냅니다.
• 오히려 너무 상세한 지시를 주면, AI 가 혼란을 겪거나 기존에 알고 있던 좋은 기준을 망각해서 점수가 떨어지기도 했습니다.

📉 "직감 (Perplexity) 이 더 나을 때도 있어"

글의 문법, 흐름, 자연스러움 같은 '텍스트 품질'을 평가할 때는, 복잡한 지시사항 없이 AI 가 "이 글이 내 훈련 데이터와 얼마나 잘 어울리는가?"를 수치화한 것 (Perplexity) 이 오히려 인간의 평가와 더 잘 맞았습니다.

• 비유: "이 노래가 내 취향에 맞나?"를 묻는 것보다, "이 노래가 내 플레이리스트에 얼마나 잘 들어맞는지"를 수치로 재는 게 더 정확할 때가 있다는 뜻입니다.

📈 "하지만 어려운 문제는 '가이드북'이 필요해"

반면, 논리적 오류 찾기, 사실 확인, 특정 과제 완성도 같은 복잡한 평가에서는 상세한 채점표 (Full Rubric) 가 필수적이었습니다.

• 비유: "맛있는 음식"을 고르는 건 직감으로 되지만, "수학 문제 풀이 과정이 정확한지"를 채점하려면 '정답과 오답의 기준'이 명확히 적힌 가이드북이 필요합니다. 특히 GPT-4 같은 큰 모델은 이 가이드북을 잘 활용했습니다.

4. 결론: 어떻게 해야 할까?

이 연구는 우리에게 다음과 같은 교훈을 줍니다.

1. 똑똑한 AI 는 이미 알고 있다: GPT-4 같은 최상위 모델에게는 복잡한 지시사항 없이도, 그 자체의 '감' (훈련 데이터) 으로 인간과 유사한 평가를 할 수 있습니다.
2. 단순한 글 평가는 '직감'이 낫다: 문법이나 흐름 같은 기본적인 글쓰기 실력을 평가할 때는, 지시사항을 줄이고 AI 의 '직감 (Perplexity)'을 믿는 게 나을 수 있습니다.
3. 복잡한 문제는 '가이드북'이 필수: 논리성이나 사실 관계처럼 복잡한 평가는, AI 가 무엇을 기준으로 판단해야 할지 **상세한 채점표 (Rubric)**를 꼭 제공해야 합니다.
4. 모델의 크기가 중요하다: 작은 모델은 가이드북이 없으면 헷갈리지만, 큰 모델 (GPT-4, Llama3-70b 등) 은 가이드북을 잘 활용하거나 아예 가이드북 없이도 잘해냅니다.

🎯 한 줄 요약

"AI 심사위원에게 너무 많은 지시를 주지 않아도, 이미 똑똑한 모델은 잘해냅니다. 하지만 논리나 사실 확인 같은 어려운 문제는 '채점 기준서'를 꼭 줘야 합니다. 그리고 간단한 글쓰기 실력 평가는 AI 의 '직감'을 믿는 게 더 나을 수도 있어요!"

기술 요약

1. 문제 제기 (Problem Statement)

최근 생성형 AI 의 성능을 평가하기 위해 인간 대신 LLM 을 판사로 활용하는 'LLM-as-a-judge' 방식이 널리 사용되고 있습니다. 기존 연구들은 RLHF(인간 피드백을 통한 강화 학습) 를 통해 훈련된 최신 LLM 들이 인간의 선호도와 잘 정렬되어 있다고 가정합니다.

그러나 본 논문은 다음과 같은 핵심 의문을 제기합니다:

• LLM 이 수행한 평가가 실제 프롬프트에 명시된 지시사항을 따르는 결과인지, 아니면 **모델이 미세 조정 (Fine-tuning) 과정에서 학습한 고품질 데이터에 대한 선입견 (Prior Preference)**을 반영한 결과인지 불분명합니다.
• 특히, 상세한 평가 기준 (Rubric) 을 제공하는 것이 평가의 정확도 (인간 평가와의 일치도) 를 실제로 향상시키는지에 대한 검증이 부족합니다.
• 최근 연구들은 LLM 이 자신의 출력을 선호하는 편향 (Bias) 을 보이며, 텍스트 품질 평가에 있어 **Perplexity(불확실성)**가 프롬프트 기반 평가보다 더 나은 지표가 될 수 있음을 시사합니다.

2. 방법론 (Methodology)

A. 실험 설정 (Prompting Settings)

LLM 의 평가 성능에 대한 프롬프트의 영향을 측정하기 위해 4 가지 단계별 설정을 정의했습니다:

1. Perplexity (프롬프트 없음): 지시사항 없이 모델이 생성한 텍스트의 Perplexity 를 점수로 사용. (가장 편향 없음)
2. Generic Prompt: 구체적인 기준 없이 "품질이 1(나쁨) 에서 5(좋음) 사이로 평가하라"는 일반적인 지시만 제공.
3. Criteria-specific Prompt: 평가 기준의 이름 (예: '일관성') 만 제공하고 정의는 생략.
4. Full Rubric Prompt: 평가 기준의 정의와 각 점수 (1~5) 를 부여할 때의 구체적인 상황 설명을 포함한 상세한 Rubric 제공.

B. 데이터셋 및 분류 체계 (Taxonomy)

• 데이터셋: SummEval, TopicalChat, TheNextChapter, Flask, Roscoe 등 8 개의 오픈 소스 벤치마크 데이터셋을 사용했습니다.
• 분류 체계 (Taxonomy): 34 가지의 품질 기준을 4 가지 주요 범주로 재구성했습니다:
  1. Content (내용): 유창성 (Fluency), 가독성 등 텍스트 표현의 질.
  2. Engagement (참여도): 공감, 놀라움 등 사용자의 몰입도.
  3. Integrity (정합성): 논리적 일관성, 사실성, 정확성.
  4. Relevance (관련성): 주어진 작업과 답변의 관련성.

C. 평가 모델

GPT-4-Turbo, Llama3 (70b, 8b), Mistral, Phi3, Prometheus-2 등 다양한 크기와 유형의 LLM 을 '판사'로 선정하여 실험했습니다.

D. 평가 지표

생성된 점수와 인간 어노테이터의 점수 간의 **피어슨 상관계수 (Pearson Correlation)**를 계산하여 일치도를 측정했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 기준 분류 체계 (Taxonomy) 제안: 자동 평가의 능력을 측정하기 위해 Content, Relevance, Integrity, Engagement 의 4 가지 범주로 34 개 지표를 체계화했습니다.
2. 프롬프트 지시사항의 영향에 대한 체계적 분석: 상세한 Rubric 정보가 다양한 LLM 의 인간 평가 일치도에 미치는 영향을 정량화했습니다.
3. Perplexity 의 대안적 가치 입증: 프롬프트 기반 평가보다 Perplexity 가 특정 영역 (특히 텍스트 품질) 에서 인간 평가와 더 높은 일치도를 보일 수 있음을 증명했습니다.

4. 주요 결과 (Key Results)

A. 모델 수준 (Model Level)

• GPT-4 의 우월성: GPT-4 는 상세한 Rubric 이 없더라도 인간 평가와 높은 일치도를 보였습니다. 상세한 지시사항을 추가해도 성능 향상이 미미했습니다 (약 4% 이내).
• 작은 모델의 한계: Llama3 8b 나 Mistral 같은 작은 모델은 상세한 Rubric 제공 시 성능이 향상되기도 했으나, 전반적으로 GPT-4 에 비해 일치도가 낮았습니다.
• Perplexity 의 효과: 일부 모델 (Mistral, Prometheus-2) 의 경우, 프롬프트를 통한 평가보다 Perplexity 가 인간 평가와 더 높은 상관관계를 보였습니다.

B. 데이터셋 및 기준 수준 (Dataset & Criteria Level)

• Content (내용) 기준: Perplexity 가 프롬프트 기반 평가보다 우수했습니다. (상관계수 0.51 대 0.44). 문법, 유창성 등 텍스트 구조적 품질은 모델의 언어 모델링 능력 (Perplexity) 이 이미 잘 포착하고 있음을 의미합니다.
• Engagement (참여도) 기준: 주관성이 강해 평가가 어렵습니다. 상세한 Rubric 정보가 있을 때 성능이 가장 크게 향상되었습니다.
• Integrity (정합성) 및 Relevance (관련성) 기준: 작업 자체를 이해하고 해결할 수 있는 능력이 필요합니다. GPT-4 와 같은 대형 모델이 다른 모델보다 월등히 우수했습니다. 특히 논리적 오류를 감지하는 능력은 모델이 해당 작업을 직접 해결할 수 있어야 가능했습니다.
• Rubric 의 비효율성: 대부분의 경우, 상세한 Rubric 정보를 추가하는 것이 성능을 크게 향상시키지 못했습니다. 오히려 Phi3 같은 모델은 상세한 Rubric 때문에 성능이 저하되기도 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 프롬프트 엔지니어링의 한계: 강력한 LLM (예: GPT-4) 을 사용할 경우, 평가의 정확도를 높이기 위해 지나치게 상세한 지시사항 (Rubric) 을 작성하는 것은 필수적이지 않을 수 있습니다. 모델의 선지식 (Prior Knowledge) 이 이미 인간 평가와 높은 정렬을 이루고 있기 때문입니다.
• Perplexity 의 재조명: 텍스트 품질 (유창성, 문법 등) 을 평가하는 단순한 시나리오에서는 복잡한 프롬프트 대신 모델의 Perplexity를 사용하는 것이 더 효율적이고 인간 평가와 더 잘 일치할 수 있습니다.
• 작업별 모델 선택의 중요성:
  • 텍스트 품질 평가: Perplexity 또는 간단한 프롬프트로 충분.
  • 논리적 정확성, 사실성, 관련성 평가: 해당 작업을 해결할 수 있는 **대규모 모델 (GPT-4 등)**이 필수적이며, 모델의 자체 해결 능력이 평가 능력과 직결됩니다.
• 향후 방향: 자동 평가 시스템 설계 시, 평가 대상의 특성에 따라 프롬프트의 상세도를 조절하거나 아예 프롬프트 없이 Perplexity 를 활용하는 등 유연한 접근이 필요함을 시사합니다.

이 논문은 LLM-as-a-judge 가 단순히 프롬프트를 따르는 도구가 아니라, 그 자체의 학습 데이터와 능력에 의해 평가 결과가 크게 좌우됨을 보여주며, 자동 평가 메트릭의 신뢰성을 높이기 위한 새로운 관점을 제시합니다.