Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning

이 논문은 도덕적 추론 작업에서도 분포 매칭 기반의 다양성 추구 알고리즘이 아닌, 기존 보상 극대화 RLVR 방법이 더 효과적일 수 있음을 실증적으로 규명하며, 도덕적 추론의 고수익 응답 분포가 수학 추론보다 더 집중되어 있음을 발견했습니다.

핵심

🧩 핵심 질문: "수학 문제와 도덕 문제, 답을 찾는 방식이 다를까?"

우리는 보통 수학 문제를 생각하면 "정답은 딱 하나"라고 생각합니다. (예: 2+2=4)
하지만 도덕 문제는 다릅니다. "누군가 배고픈데 빵을 훔쳐도 될까?" 같은 질문에는 상황과 가치관에 따라 여러 가지 타당한 답이 나올 수 있죠.

그래서 연구자들은 이렇게 생각했습니다.

"수학 문제처럼 정답이 하나뿐인 때는 AI 가 가장 좋은 답 하나를 쫓으면 되지만, 도덕 문제는 다양한 답 (다양성) 을 찾아주는 특별한 AI가 필요하지 않을까?"

이 논문은 바로 이 가설을 실험으로 증명해 보려고 했습니다.

---

🏃‍♂️ 두 가지 달리기 전략 (알고리즘)

논문에 등장하는 두 가지 AI 학습 방법을 비유로 설명하면 다음과 같습니다.

1. 최고 점수 쫓기 (Reward-Maximizing, 예: DAPO, GRPO)

   • 비유: "가장 높은 산봉우리 하나를 찾아서 그 꼭대기에만 서 있는 것."
   • 이 방법은 AI 가 "가장 점수가 높은 답" 하나를 찾아내면, 그쪽으로 쏠리게 만듭니다. 수학적 문제처럼 정답이 명확할 때 아주 강력합니다.

2. 모든 길 찾기 (Distribution-Matching, 예: FlowRL)

   • 비유: "산 전체의 지형도를 보고, 높은 곳뿐만 아니라 다양한 경사면까지 골고루 탐색하는 것."
   • 이 방법은 AI 가 "높은 점수인 답들"을 다양하게 골고루 경험하게 하려고 합니다. 도덕 문제처럼 답이 여러 개일 때 유리할 것이라고 예상했습니다.

---

🚨 놀라운 발견: "예상이 빗나갔다!"

연구진은 도덕 문제 (MoReBench) 에서 이 두 방법을 비교 실험했습니다. 결과는 완전히 예상과 달랐습니다.

• 예상: 도덕 문제에서는 '모든 길 찾기 (FlowRL)'가 더 잘할 것이다.
• 실제: '최고 점수 쫓기 (DAPO 등)'가 오히려 더 잘했다!

왜 그럴까요? 연구진은 **산의 모양 (답의 분포)**을 분석해서 그 이유를 찾아냈습니다.

🏔️ 산의 모양이 달랐습니다!

• 수학 문제 (MATH-500):
  • 비유: "산 정상에 도달하는 길이 여러 개다."
  • A 길, B 길, C 길 모두 정상 (고득점) 에 도달합니다. 그래서 다양한 길을 찾아주는 '모든 길 찾기' 방식이 유리할 수 있습니다.
• 도덕 문제 (MoReBench):
  • 비유: "산 정상은 하나뿐이고, 그 주변은 낭떠러지다."
  • 연구진이 AI 가 만든 답들을 시각화해 보니, 도덕적으로 옳은 답들은 모두 한곳에 뭉쳐 있었습니다.
  • 즉, 도덕 문제에서도 "가장 올바른 답"은 사실 하나의 명확한 방향으로 수렴한다는 뜻입니다. "다양한 답"이 있는 게 아니라, "옳은 답"이 정해져 있는 것이죠.

---

🧐 실제 사례로 보기: "패션 블로거의 딜레마"

논문에 나온 구체적인 예시를 들어볼까요?

상황: 블로거가 브랜드로부터 새 옷을 받았는데, 옷이 질이 나쁘다. 하지만 "좋은 리뷰를 쓰면 커리어가 보장된다."
질문: 거짓 리뷰를 쓸까, 아니면 솔직하게 비판할까?

• AI 들의 반응:
  • '다양성'을 추구하는 AI 나, '최고 점수'를 쫓는 AI 나 모두 거의 똑같은 결론에 도달했습니다.
  • 결론: "브랜드에 privately(비공개로) 연락해서 문제를 해결하고, 팬들에게는 솔직하되 건설적인 피드백을 주는 것."
  • AI 들은 서로 다른 말투를 썼을 뿐, 핵심적인 판단 기준과 해결책은 모두 같았습니다.

이는 도덕 문제에서도 "다양한 가치관"이 충돌하는 게 아니라, **인간이 공유하는 보편적인 윤리 기준 (정직, 신뢰, 책임)**이 명확하게 존재한다는 것을 의미합니다.

---

💡 결론: "도덕 문제에도 '단순한' AI 가 통한다"

이 논문의 핵심 메시지는 다음과 같습니다.

1. 다양성은 필수 조건이 아니다: 도덕적인 문제를 풀 때, 굳이 복잡한 '다양성 확보' 알고리즘을 쓸 필요가 없습니다.
2. 가장 좋은 답을 쫓으면 된다: 수학 문제처럼, 도덕 문제에서도 "가장 점수가 높은 (가장 윤리적인) 답"을 찾아내는 단순하고 강력한 방법 (Reward-Maximizing) 이 오히려 더 효과적입니다.
3. 왜 그랬을까?: 우리가 도덕 문제를 '모든 답이 가능하다'고 생각했지만, 실제로 AI 가 학습한 데이터와 평가 기준을 보면, 옳은 답은 하나로 모여 있었기 때문입니다.

한 줄 요약:

"도덕적인 문제도 사실은 '정답'이 명확한 경우가 많습니다. 그래서 복잡한 '다양성 찾기' 기술보다는, '가장 좋은 답'을 쫓는 단순하고 강력한 기술이 더 잘 작동한다는 것이 증명되었습니다."

이 연구는 AI 를 더 안전하고 윤리적으로 만드는 데, 우리가 생각했던 것보다 훨씬 직관적이고 효율적인 방법이 가능하다는 희망을 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 검증 가능한 보상 (Verifiable Rewards) 을 활용한 강화학습 (RLVR) 은 논리적 추론 (수학, 코딩) 분야에서 큰 성과를 거두었습니다. 그러나 이러한 방법이 대규모 언어 모델 (LLM) 의 정렬 (Alignment) 및 도덕적 추론 (Moral Reasoning) 작업에 어떻게 적용될 수 있는지는 명확하지 않습니다.
• 가설: 도덕적 추론 작업은 수학이나 코딩과 달리 여러 가지 유효한 답변 (다양한 윤리적 관점) 을 허용하는 경향이 있습니다. 따라서 기존 연구들은 정렬 작업이 단일 최적 해를 찾는 보상 극대화 (Reward-Maximizing) 방법보다는 다양성 추구 (Diversity-Seeking) 분포 매칭 알고리즘이 더 적합할 것이라고 가정했습니다.
• 연구 질문: 도덕적 추론 및 정렬 작업을 위해 RLVR 을 적용할 때, 실제로는 다양성을 확보하는 알고리즘이 필요한가, 아니면 기존의 보상 극대화 방법이 여전히 유효한가?

2. 방법론 (Methodology)

이 연구는 MoReBench (도덕적 추론 벤치마크) 를 기반으로 두 가지 주요 RLVR 패러다임을 비교 실험했습니다.

• 데이터 및 평가 기준:
  • MoReBench: MoReBench-Public (실제 시나리오의 가치 갈등) 과 MoReBench-Theory (공리주의, 의무론 등 특정 철학적 프레임워크 하의 추론 일관성) 로 구성됨.
  • 리워드 파이프라인 구축: GPT-5 를 직접 훈련에 사용하는 것은 비용이 너무 비싸므로, Qwen3-1.7B 모델을 기반으로 Rubric-Grounded Judge Model을 훈련하여 구축했습니다. 이 저지 모델은 상세한 평가 기준 (Rubric) 에 따라 답변의 질을 점수화하여 밀도 있는 (Dense) 검증 가능한 보상을 생성합니다.
• 비교 대상 알고리즘:
  1. 보상 극대화 방법 (Reward-Maximizing): PPO, GRPO, DAPO, REINFORCE++ 등. 주로 단일 고보상 모드 (Mode) 를 찾는 데 중점을 둡니다.
  2. 분포 매칭 방법 (Distribution-Matching): FlowRL 등. 보상 분포와 정책 분포를 정렬하여 다양한 고보상 해를 포착하는 데 중점을 둡니다.
• 실험 설정: Qwen2.5-7B-Base 와 Llama3.1-8B-Instruct 모델을 사용하여 두 벤치마크에서 다양한 패스 (Pass) 수 (Score@1, Avg@8) 로 성능을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 구축: 도덕적 추론을 위한 검증 가능한 보상 파이프라인을 구축하고, Qwen3-1.7B 저지 모델을 통해 MoReBench 에서 안정적인 RLVR 훈련을 가능하게 함.
2. 첫 체계적 비교: 도덕적 추론 작업에서 보상 극대화 방법과 분포 매칭 방법을 최초로 체계적으로 비교 분석함.
3. 역설적 발견: 정렬 작업이 본질적으로 다양성 유지 알고리즘을 필요로 하지 않으며, 표준 보상 극대화 RLVR 방법이 명시적인 다양성 메커니즘 없이도 도덕적 추론에 효과적으로 전이될 수 있음을 증명함.

4. 실험 결과 (Results)

• 성능 비교 (RQ1):
  • 예상과 달리, 분포 매칭 방법 (FlowRL) 은 보상 극대화 방법보다 우월한 성능을 보이지 않았습니다.
  • 오히려 DAPO(보상 극대화) 가 모든 모델과 벤치마크에서 가장 우수한 성능을 보였습니다. (예: Qwen2.5-7B 기준 Public 벤치마크에서 DAPO 는 81.08% 향상, FlowRL 은 64.86% 향상).
  • 이는 정렬 작업이 겉보기에 개방형 (Open-ended) 인 것처럼 보이지만, 실제로는 다양성 추구 알고리즘이 필수적이지 않음을 시사합니다.
• 다양성 특성 분석 (RQ2):
  • 시맨틱 시각화 (Semantic Visualization): MATH-500(수학) 과 MoReBench-Public(도덕) 의 고보상 응답을 시맨틱 공간에 매핑한 결과, 수학 추론은 다양한 해법 전략이 존재하여 고보상 영역이 분산되어 있는 반면, 도덕적 추론은 고보상 응답이 단일한 지배적인 시맨틱 영역에 집중되어 있었습니다.
  • 사례 연구 (Case Study): 동일한 도덕적 딜레마에 대해 다른 알고리즘 (FlowRL, DAPO, RFPP) 이 생성한 답변들을 분석한 결과, 표면적인 표현은 다르지만 근본적인 추론 구조, 이해관계자 고려 사항, 최종 결론 (예: 진실성 유지 + 비공개 협상) 은 매우 유사하게 수렴되었습니다.
  • 결론: 도덕적 추론 작업은 직관과 달리 단일 모드 (Unimodal) 의 보상 구조를 가지며, 이는 모드 탐색 (Mode-Seeking) 최적화 알고리즘이 효과적으로 작동하는 이유를 설명합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 정렬 (Alignment) 과 도덕적 추론 작업이 본질적으로 논리적 추론과 유사한 최적화 지형 (Optimization Landscape) 을 가진다는 사실을 발견했습니다. 즉, 정렬 작업에 특화된 복잡한 다양성 유지 메커니즘이 반드시 필요하지 않을 수 있습니다.
• 실용적 시사점: 검증 가능한 보상이 충분히 구별력 (Discriminative) 을 가진다면, 표준적인 보상 극대화 RLVR 방법 (예: DAPO, GRPO) 을 사용하여 도덕적 추론 능력을 효과적으로 향상시킬 수 있습니다. 이는 계산 비용이 적고 훈련이 안정적인 기존 RLVR 방법의 적용 범위를 확장합니다.
• 한계 및 향후 과제: 현재 사용된 벤치마크와 보상 정의가 다양성의 본질적인 측면 (예: 소수자 관점, 데이터 분포 등) 을 완전히 포착하지 못했을 수 있으며, 향후 더 다양한 보상 정의와 알고리즘에 대한 연구가 필요함을 지적했습니다.

요약하자면, 이 논문은 "도덕적 추론은 다양성이 필수적이다"라는 통념을 반박하며, 잘 설계된 보상 체계 하에서는 오히려 단일 고보상 모드로 수렴하는 기존 RLVR 방법이 도덕적 정렬 작업에 더 효과적일 수 있음을 실증적으로 증명했습니다.