The Generative AI Paradox on Evaluation: What It Can Solve, It May Not Evaluate

이 논문은 생성 능력이 뛰어난 대규모 언어 모델 (LLM) 이 반드시 평가자로서도 탁월한 것은 아니며, 오히려 역량이 부족한 영역에서도 부정확한 평가를 수행할 수 있는 '생성형 AI 역설'을 실증적으로 규명하고 있습니다.

핵심

🎭 핵심 주제: "요리사 vs 미식가"의 역설

이 논문의 제목인 **'생성형 AI 역설 (Generative AI Paradox)'**을 이해하기 위해 **'요리사'**와 '미식가' 비유를 들어볼까요?

• 생성 (Generation): AI 가 직접 요리를 해내는 능력입니다. (예: 맛있는 스테이크를 굽는 요리사)
• 평가 (Evaluation): 다른 사람이 만든 요리의 맛을 보고 점수를 매기는 능력입니다. (예: 미식가가 요리를 맛보고 "이건 맛있다/맛없다"라고 판단하는 일)

기존의 생각:
"저 요리사 (AI) 가 요리를 이렇게 잘하니까, 미식가로서도 다른 사람의 요리를 아주 정확하게 평가할 거야!"라고 우리는 생각했습니다.

논문의 발견:
"아니요! 요리를 아주 잘하는 요리사가, 정작 맛을 평가하는 미식가 역할에서는 엉뚱한 실수를 하거나, 자신이 요리를 못 하는 주제에 남의 요리는 잘 평가하는 이상한 현상이 발생합니다."

---

🔍 두 가지 기묘한 상황 (패러독스)

논문의 연구자들은 AI 들에게 퀴즈를 풀게 하고 (생성), 그 답을 평가하게 했습니다 (평가). 그리고 두 가지 기이한 상황을 발견했습니다.

1. "내가 만들면 정답인데, 남이 만들면 오답?" (Case 1)

• 상황: AI 가 스스로 만든 정답을 평가할 때는 "정답!"이라고 했지만, 동일한 정답을 다른 AI 가 만들었을 때는 "오답!"이라고 틀리게 평가했습니다.
• 비유: 마치 자신이 만든 요리는 "최고의 맛"이라고 칭찬하다가, 똑같은 요리를 다른 요리사가 만들면 "맛이 없다"고 깎아내리는 상황입니다. AI 는 자신이 만든 결과물에는 자신감이 넘치지만, 남의 결과물을 볼 때는 기준이 흔들리는 것입니다.

2. "내가 못 풀었는데, 남이 풀면 정답이라고?" (Case 2)

• 상황: AI 가 스스로 문제를 풀 때 틀린 답을 냈는데, 다른 AI 가 같은 문제를 풀었을 때는 그 답이 맞다고 "정답!"이라고 평가했습니다.
• 비유: 자신은 요리를 전혀 못 해서 "불맛 나는 스테이크"를 냈는데, 남이 똑같은 불맛 나는 스테이크를 내면 "이건 고급스러운 훈연 맛이야!"라고 칭찬해 주는 기이한 현상입니다. AI 는 자신이 모르는 영역에서도 남의 답을 평가할 때는 마치 전문가인 것처럼 점수를 매깁니다.

---

🚨 왜 이것이 문제일까요? (신뢰성의 위기)

이 논문은 AI 가 평가자 (미식가) 로 쓰일 때 두 가지 큰 문제를 지적합니다.

1. 자기 인식 부족 (I don't know를 못 말함):

   • AI 는 자신이 모르는 문제가 있을 때, 솔직하게 "모르겠습니다"라고 말하기보다, 억지로 답을 만들어내거나 점수를 매깁니다.
   • 비유: 요리를 전혀 못 하는 요리사가 "이건 내가 못 만들어요"라고 말하기보다, "이건 내가 의도적으로 이런 맛을 낸 거예요"라고 변명하며 점수를 매기는 것과 같습니다.

2. 일관성 부족 (기준이 오락가락함):

   • 똑같은 실수를 한 답을 볼 때, 어떤 때는 "오답", 어떤 때는 "부분 점수", 또 어떤 때는 "모르겠습니다"라고 제각각 다르게 평가합니다.
   • 비유: 미식가가 오늘 기분 좋으면 "이건 10 점", 내일 기분이 안 좋으면 "이건 0 점"이라고 점수를 매기는 것과 같습니다.

---

💡 결론: 우리가 무엇을 배웠나요?

이 연구는 우리에게 중요한 경고를 줍니다.

"AI 가 글을 잘 쓰거나 그림을 잘 그린다고 해서, 그 AI 가 다른 AI 의 작업을 감시하고 평가하는 '심판'으로 쓰기에는 아직 신뢰할 수 없다."

우리는 AI 를 평가자로 쓸 때, **"이 AI 가 정말로 그 답을 알고 있어서 평가한 건가, 아니면 그냥 임의로 점수를 매긴 건가?"**를 의심해봐야 합니다. 마치 요리 실력이 뛰어난 요리사에게 미식가 자격증을 바로 주지 않고, 별도의 미식가 훈련을 시켜야 하듯, AI 도 '생성 능력'과 '평가 능력'은 별개로 훈련하고 검증해야 한다는 것입니다.

한 줄 요약:
"요리를 잘하는 요리사가 반드시 미식가도 될 수는 없습니다. AI 가 남의 답을 평가할 때, 그 평가가 진짜 '지식'에 기반한 것인지, 아니면 '기분'에 따른 것인지 의심해봐야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 대규모 언어 모델 (LLM) 의 성능이 인간 수준을 넘어서거나 따라잡으면서, 생성된 텍스트의 평가를 위해 인간 평가자를 대체하는 자동 평가 (LLM-as-a-Judge) 에 대한 연구가 급증하고 있습니다. 특히 참조 정답 (Golden Set) 이 없는 무참조 (Reference-free) 평가에서 LLM 의 활용이 활발합니다.
• 핵심 가설의 문제점: "특정 생성 (Generation) 작업에 능숙한 LLM 은 해당 작업을 평가 (Evaluation) 하는 능력도 동등하게 갖추고 있다"는 가정이 널리 퍼져 있습니다. 이는 인간 평가자가 해당 과제를 수행할 수 있어야 평가할 수 있다는 논리에 기반합니다.
• 연구 문제: 본 논문은 이 가설이 사실인지, 즉 생성 능력이 뛰어난 모델이 반드시 평가자로서도 신뢰할 수 있는지를 검증합니다. 저자들은 이를 **"Generative AI 역설 (Generative AI Paradox)"**이라고 명명하며, 모델이 생성에서는 정답을 내지만 평가에서는 오답을 판단하거나, 반대로 자신이 풀지 못한 문제의 정답을 평가할 때 오히려 정확해지는 모순된 현상을 지적합니다.

2. 연구 방법론 (Methodology)

• 데이터셋: 오픈 도메인 질문 응답 (Open QA) 태스크를 위해 TriviaQA 데이터셋을 사용했습니다. 시간의 흐름에 따라 정답이 변하거나 모호한 질문을 제거하여 최종 905 개의 질문 세트를 구성했습니다.
• 사용 모델:
  • 생성 및 평가 모델: GPT-3.5, GPT-4, PaLM-2
  • 오픈소스 생성 모델 (평가 대상): Vicuna-13b
  • 실험 환경은 2023 년 12 월에 수행되었으며, 모든 모델의 Temperature 는 0 으로 고정했습니다.
• 실험 파이프라인:
  1. SOLVE (생성): 평가자 모델 (Evaluator) 이 주어진 질문에 대한 답변을 생성합니다. (Zero-shot 방식)
  2. Human Evaluation: 연구진이 생성된 답변의 정오를 판단합니다.
  3. EVALUATE (평가): 평가자 모델이 다른 모델 (또는 자기 자신) 의 답변이 '정답', '부분 정답', '오답', '모르겠다' 중 어디에 해당하는지 평가합니다.
     • Rubric Generation: 모델이 스스로 평가 기준 (Rubric) 을 생성하도록 유도합니다.
     • Reference-free: 정답 (Golden Answer) 을 제공하지 않고 모델의 내부 지식과 생성된 기준만으로 평가하게 합니다.
     • 이진 변환: '부분 정답'은 최종 분석 시 '정답' 또는 '오답'으로 이진화하여 처리했습니다.

3. 주요 결과 (Key Results)

• 생성 vs 평가 성능의 불일치:
  • 모든 모델에서 생성 (Generation) 성능이 평가 (Evaluation) 성능보다 높았습니다.
  • 예: GPT-4 는 생성 정확도 0.88 인 반면, 평가 정확도는 0.80 수준이었습니다. Vicuna-13b 의 경우 생성 (0.46) 과 평가 (0.64) 간 격차가 더 컸습니다.
• Generative AI 역설의 구체적 사례:
  • Case 1 (생성 정답, 평가 오답): 모델이 질문에 대한 정답을 올바르게 생성했지만, 동일한 답변을 다른 모델이 내놓았을 때 이를 '오답'으로 잘못 판단했습니다.
  • Case 2 (생성 오답, 평가 정답): 모델이 스스로는 문제를 틀리게 풀었지만, 다른 모델이 정답을 내놓았을 때 이를 '정답'으로 올바르게 평가했습니다. 이는 모델이 자신의 지식 부족을 인지하지 못한 채 타인의 정답을 인정하는 모순을 보여줍니다.
• 신뢰성 (Faithfulness) 문제:
  • 자기 일관성 부재: 모델이 스스로 생성한 정답을 평가할 때, GPT-4 는 약 7.7%, GPT-3.5 는 18% 의 경우를 '오답' 또는 '모르겠다'로 잘못 평가했습니다. 이는 모델이 자신이 생성한 내용에 대한 이해도가 낮음을 시사합니다.
  • 지식 한계 인식 실패: 모델은 자신이 모르는 문제에 대해 'I don't know'를 선택하는 비율이 극히 낮았습니다 (전체 테스트셋의 0.01% 미만). 오히려 모르는 문제를 임의로 채점하거나, 정답을 모른 채 타인의 정답을 '정답'으로 치켜세우는 (Sycophantic bias) 경향을 보였습니다.
  • 일관성 결여: 유사한 유형의 오답에 대해 모델이 '오답', '부분 정답', '모르겠다' 등 일관되지 않은 라벨을 부여하는 경우가 빈번했습니다.

4. 주요 기여 (Key Contributions)

1. Generative AI 역설의 실증적 규명: LLM 이 특정 태스크에서 뛰어난 생성 능력을 보인다고 해서 해당 태스크를 평가하는 능력도 동등하게 뛰어나다는 가정이 틀릴 수 있음을 데이터로 증명했습니다.
2. 평가의 신뢰성 (Faithfulness) 에 대한 새로운 관점: 모델이 평가 점수를 부여할 때 실제 지식 (Knowledge) 에 기반하는지, 아니면 무작위적이거나 편향된 기준을 따르는지 분석했습니다. 특히 모델이 "자신이 무엇을 알고 무엇을 모르는지"를 정확히 판단하지 못한다는 점을 지적했습니다.
3. 무참조 평가의 한계 제시: 정답이 없는 상황에서 LLM 을 평가자로 사용할 때, 모델의 생성 능력과 평가 능력 간의 상관관계가 약하며, 이로 인해 신뢰할 수 없는 평가 결과가 나올 수 있음을 경고했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 함의: 현재 LLM 을 활용한 자동 평가 시스템 (예: LLM-as-a-Judge) 을 맹신하는 것은 위험할 수 있습니다. 특히 생성 능력이 뛰어난 모델이 반드시 공정한 평가자 역할을 수행하는 것은 아니므로, 평가 모델의 **신뢰성 (Trustworthiness)**과 **일관성 (Consistency)**을 면밀히 검증해야 합니다.
• 미래 연구 방향: 단일 태스크 (TriviaQA) 에 국한된 연구이므로, 추론이 필요한 복잡한 태스크나 다른 도메인에서도 이러한 역설이 발생하는지 추가 검증이 필요합니다. 또한, 모델의 평가 성능을 향상시키기 위해 생성 능력과 평가 능력을 분리하여 훈련하거나, 평가 모델의 '자기 인식 (Self-awareness)' 능력을 강화하는 연구가 필요함을 강조합니다.

요약하자면, 이 논문은 "생성 능력이 뛰어난 AI 가 반드시 그 내용을 잘 평가할 수 있는 것은 아니다"라는 역설을 발견하고, AI 를 평가자로 사용할 때 발생할 수 있는 신뢰성 위기를 경고하는 중요한 연구입니다.