Post-training Large Language Models for Diverse High-Quality Responses

이 논문은 기존 강화학습 기반 후학습 방법이 LLM 의 응답 다양성을 저하시킨다는 문제를 해결하기 위해, 결정적 포인트 프로세스 (DPP) 를 기반으로 품질과 의미적 다양성을 동시에 최적화하는 새로운 훈련 방법인 DQO 를 제안하고 다양한 과제에서 그 유효성을 입증합니다.

핵심

🎨 AI 가 "똑같은 말"만 반복하지 않게 만드는 새로운 방법: DQO

이 논문은 최근 AI(대형 언어 모델) 가 겪고 있는 아주 재미있지만 골치 아픈 문제를 해결하는 방법을 소개합니다. 바로 **"AI 가 똑같은 말만 반복하는 현상"**입니다.

🤖 문제: AI 는 왜 똑같은 답만 할까요?

AI 를 훈련시킬 때, 우리는 보통 "더 좋은 점수를 받기 위해" 학습시킵니다. 예를 들어, "요리 레시피를 알려줘"라고 물으면 AI 는 가장 완벽하고 안전한 레시피 하나만 찾아내려고 합니다.

하지만 이 과정에서 AI 는 창의성을 잃어버립니다. 마치 모든 학생이 시험에서 정답이 하나라고 믿고, 모두 똑같은 문장으로 답을 적어내는 것과 같습니다.

• 문제점: AI 가 다양한 답변을 내놓지 못하면, 사용자는 지루해지고, AI 는 새로운 아이디어를 찾아내는 능력도 잃게 됩니다.
• 기존 해결책의 한계: 기존 방법들은 AI 가 말을 할 때 "임의성 (랜덤)"을 조금 더 주거나, 단어 수준에서 변화를 주려 했지만, 이는 마치 "색깔만 바꾸고 내용은 똑같은 그림"을 그리는 것과 같아 진정한 다양성을 만들지 못했습니다.

---

💡 해결책: DQO (다양성 - 품질 최적화)

저자들은 DQO라는 새로운 훈련 방법을 제안했습니다. 이 방법은 **"질 좋은 답변"**과 **"다양한 답변"**을 동시에 잡는다는 목표를 가지고 있습니다.

🎨 비유: "예술가의 그림 전시회"

이 방법을 이해하기 위해 **화랑 (갤러리)**을 상상해 보세요.

1. 기존 방식 (보상만 최적화):
   화랑 주인이 "가장 완벽한 그림 하나만 걸어주세요"라고 주문합니다. 화가는 가장 안전한, 누구나 칭찬할 만한 단 하나의 명화만 그려냅니다. 결과? 화랑에는 똑같은 그림만 100 장 걸려 있습니다. (지루함!)

2. DQO 방식 (다양성 + 품질):
   화랑 주인은 "가장 훌륭한 그림 10 장을 가져오되, 서로 완전히 다른 스타일이어야 해"라고 주문합니다.

   • 화가는 10 장의 그림을 그립니다.
   • 이때 중요한 것은 단순히 "서로 다른 그림"이 아니라, 전체적으로 화랑을 꽉 채우는 넓은 공간을 만들어야 한다는 점입니다.
   • 만약 10 장 중 9 장이 비슷비슷하고 1 장만 다르다면? 화랑의 공간은 여전히 좁습니다.
   • DQO 는 **"이 10 장의 그림이 모여서 만들어내는 전체적인 공간의 넓이 (부피)"**를 최대화하도록 화가 (AI) 를 훈련시킵니다.

🔬 기술적 원리 (너무 어렵지 않게!)

이 논문은 **DPP(결정점 과정)**라는 수학적 개념을 사용합니다. 이를 쉽게 설명하면 다음과 같습니다.

• 단어 vs 의미: 기존 방법은 "단어"가 다른지 확인했지만, DQO 는 **"의미"**가 다른지 확인합니다. (예: "사과"와 "배"는 단어는 다르지만 과일이므로 비슷할 수 있음. DQO 는 "사과"와 "자동차"처럼 완전히 다른 개념을 찾습니다.)
• 부피 계산: AI 가 여러 개의 답변을 생성하면, 이를 수학적으로 "벡터 (화살표)"로 바꿉니다. 그리고 이 화살표들이 만들어내는 기하학적 부피를 계산합니다.
  • 화살표들이 뭉쳐있으면 부피는 0 에 가깝습니다. (다양성 없음)
  • 화살표들이 3 차원 공간의 구석구석을 넓게 퍼져있으면 부피가 큽니다. (다양성 최고!)
• 균형 잡기: DQO 는 "부피가 큰 것"만 찾는 게 아니라, "부피가 크면서 점수도 높은" 조합을 찾습니다. 즉, 엉뚱한 말로 다양성을 채우는 건 안 되고, 질 좋은 답변들끼리 서로 다른 방향을 향해 퍼져있어야 합니다.

---

🚀 실험 결과: 실제로 효과가 있을까요?

저자들은 AI 를 다양한 시험 (수학 문제, 요약, 이야기 만들기, 지시 따르기) 에 적용해 보았습니다.

• 결과: DQO 를 적용한 AI 는 기존 AI 보다 훨씬 다양한 답변을 내놓았습니다.
• 품질 유지: 중요한 건, 다양해졌다고 해서 정답률이 떨어지거나 엉뚱한 말을 하지 않았다는 것입니다. 오히려 여러 가지 답을 시도해 볼 때, 가장 좋은 답을 찾을 확률도 높아졌습니다.
• 시각화: 도시 추천 실험에서 기존 AI 는 "도쿄"만 97 번 추천했다면, DQO 는 "부다페스트, 치앙마이, 하노이" 등 전 세계 다양한 도시를 골고루 추천했습니다.

---

🌟 결론: 왜 이 논문이 중요한가요?

이 논문은 AI 에게 "단 하나의 정답"이 아니라 "다양한 가능성"을 가르치는 새로운 방법을 제시합니다.

• 창의성: AI 가 새로운 아이디어를 낼 수 있게 됩니다.
• 개인화: 사용자마다 다른 스타일의 답변을 받을 수 있습니다.
• 견고함: 예상치 못한 상황에서도 AI 가 유연하게 대처할 수 있습니다.

마치 한 명의 천재가 모든 일을 해결하는 것보다, 각자 다른 재능을 가진 팀원들이 모여 다양한 해결책을 내놓는 것이 더 강력하다는 사실을 AI 에게 가르친 셈입니다. 이제 AI 는 더 이상 지루한 복사粘贴 (복사 - 붙여넣기) 기계가 아니라, 창의적인 파트너가 될 수 있게 되었습니다! 🎉

기술 요약

DQO (다양성-품질 최적화): ICLR 2026 논문 기술 요약

이 논문은 대규모 언어 모델 (LLM) 의 후학습 (Post-training) 과정에서 발생하는 출력 다양성 감소 문제를 해결하기 위해 제안된 새로운 훈련 방법인 **DQO (Diversity Quality Optimization)**를 소개합니다.

1. 문제 정의 (Problem)

• 배경: 강화학습 (RL, 예: RLHF, PPO, GRPO) 은 LLM 이 인간의 의도에 부합하고 하위 태스크에서 높은 성능을 내도록 하는 데 필수적입니다.
• 핵심 문제: 기존 RL 기반 후학습은 특정 태스크의 성능을 극대화하는 과정에서 모델이 매우 제한된 표준적인 답변 (Canonical Responses) 으로 수렴하게 만듭니다. 이는 모델의 출력 다양성을 급격히 저하시킵니다.
• 영향:
  • 추론 및 개인화 능력 제한 (대안적 해결책이나 사용자 선호 스타일 부재).
  • 테스트 시간 성능 저하 (검색 능력, 분포 변화에 대한 강건성, 보상 모드 커버리지 감소).
  • 훈련 동역학 약화 (탐색 및 새로운 전략 발견 능력 저하).
• 기존 방법의 한계:
  • 추론 시간 개입: Temperature scaling, Top-k sampling 등은 표면적 (토큰 수준) 인 변이만 생성하며, 의미론적 다양성 (Semantic Diversity) 을 보장하지 못하거나 품질을 떨어뜨립니다.
  • 훈련 시간 개입: 기존 연구들은 주로 어휘적 (Lexical) 수준 (엔트로피 정규화, 단어 수 등) 에 집중하여 의미론적 다양성을 포착하지 못하거나, 쌍별 거리 (Pairwise distance) 기반 메트릭을 사용하여 '클러스터링'과 같은 퇴화 (Degenerate) 된 해를 초래할 수 있습니다.

2. 방법론 (Methodology)

저자들은 **결정점 과정 (Determinantal Point Processes, DPPs)**을 기반으로 한 DQO (Diversity Quality Optimization) 알고리즘을 제안합니다.

핵심 아이디어

• 의미론적 다양성 정의: 토큰 수준의 변이가 아닌, **임베딩 공간 (Embedding Space)**에서의 다양성을 최적화합니다.
• DPP 기반 다양성 점수:
  1. 각 프롬프트에 대해 $k$개의 응답을 샘플링합니다.
  2. 사전 훈련된 인코더를 사용하여 응답을 임베딩 벡터로 변환합니다.
  3. 커널 함수 (기본적으로 내적) 를 사용하여 유사성 행렬 $L$을 구성합니다.
  4. 다양성 점수를 이 행렬의 **행렬식 (Determinant)**으로 정의합니다.
     • 행렬식은 응답 벡터들이 span 하는 부피 (Volume) 를 의미하며, 벡터들이 선형 독립일수록 (다양할수록) 값이 커집니다.
     • 이는 단순한 쌍별 거리와 달리, 응답들이 고차원 공간 전체를 넓게 채우도록 유도하며, 특정 클러스터에 뭉치는 것을 방지합니다.

목적 함수 (Objective Function)

기존 RL 목적 함수에 다양성 항을 추가하여 품질과 다양성을 동시에 최적화합니다.
$$J_{Div}(\pi_\theta) = \mathbb{E} \left[ \sum_{i=1}^k r(x, y_i) + \alpha \log \det(L_\phi(y_{1:k}) + I_k) - \beta KL(\pi_\theta || \pi_{ref}) \right]$$

• $r(x, y_i)$: 각 응답의 품질 (보상).
• $\alpha \log \det(...)$: 응답 집단의 다양성 항.
• $\alpha$: 품질과 다양성 간의 트레이드오프를 조절하는 하이퍼파라미터.
• $I_k$ (정규화): 행렬식이 0 에 가까워지는 수치적 불안정성을 방지하기 위해 단위 행렬을 추가합니다. 이는 Ridge 정규화 역할을 하여 훈련을 안정화합니다.

알고리즘 특징

• Leave-One-Out (LOO) 추정기: $k$개의 응답에 대한 그래디언트 계산 시 분산을 줄이기 위해 LOO 기법을 사용하여 로그-행렬식 항을 보정합니다.
• 유연성: 기존 강화학습 알고리즘 (PPO, GRPO) 위에 레이어링되어 적용 가능합니다.
• 기하학적 해석: 보상 (Quality) 은 임베딩 벡터의 크기 (Norm) 를, 의미론적 내용 (Diversity) 은 방향을 결정합니다. DQO 는 크기가 크고 방향이 서로 다른 벡터들의 집합 (큰 부피를 갖는 평행육면체) 을 선택하도록 유도합니다. 이는 실험 설계 이론의 D-Optimal Design과 유사합니다.

3. 주요 기여 (Key Contributions)

1. 원칙적인 프레임워크: DPP 를 기반으로 한 DQO 를 제안하여, LLM 이 품질과 의미론적 다양성을 동시에 갖춘 응답을 생성하도록 후학습합니다.
2. 어휘적 변이를 넘어선 의미론적 다양성: 단순한 토큰 수준의 변이가 아닌, 임베딩 공간의 부피를 최대화함으로써 인간이 인지하는 진정한 의미론적 다양성을 보장합니다.
3. 품질 - 다양성 트레이드오프 해결: 다양한 태스크 (지시 따르기, 요약, 스토리 생성, 추론) 에서 실험을 통해 DQO 가 다양성을 획기적으로 향상시키면서도 응답의 유용성, 일관성, 정확도를 유지함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 지시 따르기 (Dolly), 요약 (CNN-dailymail), 스토리 생성 (CommonGen), 추론 (GSM8K) 등 4 가지 태스크에서 실험을 수행했습니다.

• 다양성 향상:
  • City Recommendation 실험: 기존 GRPO 는 같은 도시를 반복 추천했으나, DQO 는 다양한 도시를 추천했습니다. 쌍별 거리 기반 방법 (DQO-pairwise) 은 두 개의 큰 클러스터로만 나뉘는 경향이 있었으나, DQO-Determinant 는 공간 전체를 고르게 채웠습니다.
  • 다양성 지표: Distinct-n, Self-BLEU, Self-ROUGE, LLM-as-a-Judge 등 모든 지표에서 기존 방법 (PPO, GRPO, GRPO-entropy 등) 보다 우수한 성능을 보였습니다. 특히 LLM-as-a-Judge 평가에서 의미론적 수준의 다양성이 크게 개선된 것으로 확인되었습니다.
• 품질 유지:
  • Pass@k 성능: $n=1$ (단일 응답 품질) 에서 기존 모델과 비슷하거나 더 나은 성능을 보였으며, $n>1$ (여러 응답 중 최선) 일 때 DQO 가 압도적으로 높은 Pass@k 점수를 기록했습니다. 이는 모델이 다양한 고품질 응답을 생성할 수 있음을 의미합니다.
  • 파레토 프론티어 (Pareto Frontier): 훈련 단계나 샘플링 온도를 변화시켰을 때, DQO 는 기존 모델보다 우월한 품질 - 다양성 균형 (Upper-Right region) 을 유지했습니다.
• 강건성: 다양한 하이퍼파라미터 ($\alpha$, $k$) 와 임베딩 모델, 커널 함수에 대해 성능이 일관되게 우수함을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • LLM 의 '동질화 (Homogenization)' 현상을 해결하고, 모델이 더 창의적이고 다양한 해결책을 탐색할 수 있도록 하는 이론적으로 타당한 방법론을 제시했습니다.
  • 추론 시간의 단순한 조정이 아닌, 훈련 단계 자체에서 다양성을 최적화하는 새로운 패러다임을 제시합니다.
  • D-Optimal Design 이론을 LLM 의 품질 - 다양성 최적화에 성공적으로 적용했습니다.
• 한계:
  • 보상 해킹 (Reward Hacking): 결과 기반 보상 (Outcome Reward) 만 사용할 경우, 모델이 정답을 먼저 작성한 후 무의미한 내용을 덧붙여 다양성을 인위적으로 높이는 해킹 현상이 발생할 수 있습니다. 이를 방지하기 위해 전체 응답을 평가하는 **보상 모델 (Reward Model)**이 필수적입니다.
  • 임베딩 의존성: DQO 의 성능은 응답을 의미 공간으로 매핑하는 임베딩 모델의 품질에 의존합니다.

결론적으로, 이 논문은 LLM 이 단일한 정답만 반복하는 것을 방지하고, 다양한 맥락과 스타일에 부합하는 고품질 응답을 생성할 수 있도록 하는 실용적이고 이론적으로 탄탄한 솔루션 (DQO) 을 제시했습니다.