Task-Dependent Evaluation of LLM Output Homogenization: A Taxonomy-Guided Framework

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 다양한 작업에서 출력 동질성 (Output Homogenization) 문제를 보입니다. 즉, 사용자가 여러 번 동일한 질문을 하거나 다양한 모델을 사용할 때, 모델이 매우 유사한 답변을 반복적으로 생성하는 현상입니다.

• 기존 접근법의 한계: 기존 연구들은 동질성을 단순히 어휘 다양성 (단어 중복도) 이나 임베딩 거리 (의미적 유사도) 로 측정했습니다. 그러나 이러한 '일반적인 다양성' 지표는 작업의 목적에 따라 동질성이 바람직한지 아닌지를 구분하지 못합니다.
  • 예시 1 (창의적 작업): "시간에 대한 비유를 써라"라는 요청에 대해 모델이 항상 "시간은 강이다"라는 동일한 비유만 반복한다면 이는 창의성 부족 (동질성) 입니다.
  • 예시 2 (객관적 작업): "196 의 약수는 몇 개인가?"라는 수학 문제에서 정답이 9 로 고정되어 있다면, 다양한 답변을 생성하는 것은 오히려 오류 (할루시네이션) 일 수 있으며, 일관성 (동질성) 이 요구됩니다.
• 핵심 문제: 기존 연구는 모든 작업에 동일한 다양성 기준을 적용하여, 동질성이 필요한 작업에서는 불필요하게 다양성을 유도하거나, 다양성이 필요한 작업에서는 의미 있는 다양성을 포착하지 못하는 오류를 범하고 있습니다.

2. 제안 방법론 (Methodology)

저자들은 작업 의존적 (Task-Dependent) 관점을 도입하여 동질성 평가와 완화 프레임워크를 제안했습니다.

A. 기능적 다양성 (Functional Diversity) 을 위한 작업 분류 체계 (Taxonomy)

사용자가 두 개의 답변을 '의미 있게 다르다'고 인지하는 기준은 작업 유형에 따라 달라진다는 가설을 바탕으로 8 가지 작업 카테고리를 정의했습니다. 이는 보상 검증 가능성 (Reward Verifiability) 스펙트럼에 따라 구분됩니다.

카테고리	정의	기능적 다양성의 의미	예시
A. 잘 정의된 단일 목표	하나의 검증 가능한 정답	동질성 유지 필요 (정답은 같아야 함)	"스페인어 사용 국가 중 가장 큰 나라는?"
B. 미정의 단일 목표	여러 검증 가능한 정답	다른 정답 생성	"스페인어 사용 국가 하나를 말해줘."
C. 무작위 생성	유한한 옵션 중 무작위 선택	다른 무작위 옵션	"1~6 사이 숫자를 던져줘."
D. 문제 해결 (객관)	하나의 정답, 다양한 풀이법	다른 풀이 전략 (정답은 동일)	수학 문제 풀이
E. 문제 해결 (주관)	여러 정답, 다양한 풀이법	다른 정답 또는 전략	"방을 설계해줘."
F. 백과사전 문의	사실 기반 정보	다른 사실적 관점	"아이작 뉴턴은 왜 유명한가?"
G. 창의적 글쓰기	창의적 표현	다른 창의적 요소 (줄거리, 배경, 어조 등)	"시를 써줘."
H. 조언 또는 의견	주관적 의견	다른 관점 또는 시각	"어머니의 날 선물을 추천해줘."

B. 작업 의존적 샘플링 기법 (Task-Dependent Sampling)

기존의 프롬프트 기반 다양성 유도 방법 (시스템 프롬프트, 인-컨텍스트 재생성 등) 을 개선하여, 입력된 프롬프트의 작업 카테고리를 먼저 분류한 후 해당 카테고리에 맞는 '다양성 정의'를 프롬프트에 명시적으로 포함시킵니다.

• 동질성 유지 필요 작업 (A, D 등): 정답은 동일하되 설명이나 전략만 다르게 하도록 지시.
• 다양성 필요 작업 (G, H 등): 핵심 창의적 요소나 관점을 의도적으로 변경하도록 지시.

C. 평가 지표 및 검증

• LLM-Judge: 인간 어노테이터의 판단과 높은 상관관계를 보이는 작업 의존적 LLM-Judge 를 개발하여 기능적 다양성을 측정합니다.
• 품질 - 다양성 트레이드오프 분석: 기존의 일반적 지표 (어휘/임베딩) 와 작업 의존적 지표를 비교하여, 동질성 감소가 품질 저하로 이어지는지 재검토합니다.

3. 주요 기여 (Key Contributions)

1. 작업 의존적 기능적 다양성 분류 체계 제시: 응답의 어떤 요소가 작업에 따라 의미 있는 차이인지 명확히 구분하는 8 가지 범주와 검증 가능성 스펙트럼을 제안했습니다.
2. 인간 인식과의 정합성 검증: 소규모 사용자 연구 (n=22) 를 통해 제안된 분류 체계가 인간의 '의미 있는 차이' 인식과 높은 일치도 (상관관계 0.90 이상) 를 보임을 입증했습니다. 또한, 분류 체계 기반 LLM-Judge 가 기존 임베딩/어휘 기반 지표보다 인간 판단과 더 높은 상관관계를 보였습니다.
3. 작업 의존적 샘플링 기법 개발: 동질성이 원치 않는 작업에서는 기능적 다양성을 극대화하고, 동질성이 필요한 작업에서는 이를 유지하는 새로운 샘플링 전략을 제안했습니다.
4. 다양성 - 품질 트레이드오프 신화 해체: 기존 연구에서 주장되던 "다양성을 높이면 품질이 떨어진다"는 트레이드오프는 다양성과 품질을 **작업 무관 (Task-Agnostic)**하게 잘못 정의했기 때문임을 보였습니다. 작업 의존적 지표를 사용하면 품질 저하 없이 다양성을 크게 향상시킬 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 다양성 향상: GPT-4o, Claude-4-Sonnet, Gemini-2.5-Flash 등 주요 모델에서 제안된 기법을 적용했을 때, 창의적 글쓰기나 의견 요청과 같은 작업에서 기능적 다양성이 1.7 배~3.5 배까지 증가했습니다. (예: "시간에 대한 비유" 작업에서 모델이 '강' 비유만 반복하던 것을 탈피하여 다양한 개념적 틀을 생성).
• 동질성 유지: 수학 문제나 사실 확인 작업 (Category A, D) 에서는 제안된 기법이 동질성을 유지하도록 유도하여, 불필요한 정답 변형을 방지했습니다.
• 품질 유지: 작업 기반 채점 체크리스트 (Checklist-based grading) 를 사용한 품질 평가에서, 다양성이 증가하더라도 품질 점수는 유의미하게 떨어지지 않았습니다. 반면, 일반적인 보상 모델 (Reward Model) 을 사용할 때는 다양성 증가 시 품질 저하가 관찰되었으나, 이는 측정 지표의 한계 때문임이 밝혀졌습니다.
• Infinity-Chat 벤치마크 적용: 최신 동질성 벤치마크인 Infinity-Chat 에서도 제안된 기법이 기능적 다양성을 획기적으로 개선하고, 모델 간 동질성 (Artificial Hivemind) 을 줄이는 효과를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 출력 동질성 문제를 해결하기 위해 **"모든 작업에 동일한 다양성 기준을 적용해서는 안 된다"**는 근본적인 통찰을 제공합니다.

• 평가 패러다임의 전환: 단순한 어휘나 임베딩 다양성 측정을 넘어, 작업의 목적에 부합하는 '기능적 다양성'을 평가해야 함을 강조합니다.
• 안전성 및 윤리적 함의: 동질성이 필요한 작업 (예: 역사적 사실, 수학) 에서 무작위 다양성을 강요하면 잘못된 정보 (할루시네이션) 를 생성할 수 있으며, 반대로 의견이나 창의성 작업에서 동질성이 유지되면 사용자에게 편향된 시각만 제공될 수 있습니다. 본 프레임워크는 이러한 위험을 줄이고 모델의 유용성을 높입니다.
• 향후 연구 방향: 정렬 (Alignment) 과정이나 추론 (Inference) 단계에서 작업 의존적 다양성을 자동으로 인식하고 조절하는 메커니즘을 모델 학습에 통합할 수 있는 기반을 마련했습니다.

요약하자면, 이 연구는 LLM 의 출력 다양성을 평가하고 개선하는 데 있어 작업의 맥락 (Context) 과 목적 (Goal) 을 고려한 세분화된 접근이 필수적임을 증명하고, 이를 위한 체계적인 분류와 실용적인 기법을 제시했습니다.