기술적 요약: 의미적 엔트로피가 실패하는 이유: 정책 최적화를 위한 기하학적 인식 및 보정된 불확실성

문제 제기

후학습 (Post-training) 대규모 언어 모델 (LLM) 은 비판자 없는 그룹 기반 방법인 그룹 상대적 정책 최적화 (GRPO) 등을 통해 추론 및 정렬 능력을 향상시키는 데 핵심적인 역할을 하고 있습니다. 이러한 패러다임에서는 단일 입력에 대해 여러 응답을 샘플링하고, 상대적 보상에 의해 최적화가 이루어집니다. 그러나 중요한 한계가 존재합니다: 기존 접근 방식은 모든 쿼리를 균일하게 취급하여, 정보 전달 학습 신호와 노이즈 변이 사이를 구분하지 못합니다.

최근 연구들은 응답 수준의 불확실성 신호 (예: 의미적 엔트로피) 를 사용하여 최적화를 규제하려 시도하지만, 그 경험적 성공은 불안정합니다. 본 논문은 기존 엔트로피 기반 추정기가 기울기 분산과 학습 신호의 품질이라는 관점에서 볼 때 두 가지 근본적인 격차를 겪고 있다고 주장합니다:

1. 이방성 격차 (The Anisotropic Gap): 엔트로피 측정은 확률 분산 (서로 다른 의미 클러스터가 얼마나 가능한지) 을 포착하지만, 불일치의 기하학적 크기는 무시합니다. 추론 작업에서 "근접 오차 (near-miss error)"와 "근본적으로 잘못된 경로"는 유사한 엔트로피를 가질 수 있지만, 완전히 다른 기울기 방향을 유발할 수 있습니다. 엔트로피는 이러한 오차들을 동등하게 심각하게 취급하여, 오차 공간의 실제 이방성 구조를 포착하지 못합니다.
2. 보정 격차 (The Calibration Gap): 엔트로피는 보상의 정보성과 분리되어 있습니다. 높은 불확실성이 반드시 강력한 학습 신호를 의미하는 것은 아닙니다. 단순히 노이즈를 반영할 뿐일 수 있습니다. 반대로, 높은 분산을 가진 샘플들은 종종 풍부하고 보상에 따라 차별화된 정보를 포함합니다. 보상 분산을 고려하지 않고 고엔트로피 샘플을 억제함으로써, 기존 방법들은 의도치 않게 가장 강력한 교정 학습 신호를 제공하는 샘플들을 억제하게 되어 편향된 최적화와 기울기 분산의 붕괴를 초래합니다.

방법론: 기하학적 인식 보정 정책 최적화 (GCPO)

이러한 격차를 해결하기 위해 저자들은 GCPO를 제안합니다. 이는 불확실성을 분산에 대한 휴리스틱한 대리 변수가 아닌, 기울기 분산을 특성화하고 보정하는 메커니즘으로 재해석하는 프레임워크입니다. GCPO 는 두 가지 핵심 구성 요소를 통합합니다:

1. 기하학적 인식 측정 (이방성 격차 해결)

확률 질량에만 의존하는 대신, GCPO 는 임베딩 공간에서 의미 표현 간의 기하학적 거리를 포착하는 측정치를 도입합니다:

• 코사인 분산 (Cosine Dispersion, CD): 임베딩 공간에서 직접 쌍별 기하학적 불일치를 측정합니다. 모든 응답 임베딩 간의 코사인 거리의 가중 합을 계산합니다. CD 는 세밀하고 연속적인 의미 변이를 포착하는 데 효과적입니다.
• 중심 운송 (Barycentric Transport, BoT): 최적 운송 (Optimal Transport) 에서 영감을 받아, 이 측정치는 서로 다른 의미 클러스터 간의 구조화된 분산을 포착합니다. 응답을 의미 클러스터로 그룹화하고, 합의 중심 (consensus barycenter) 방향을 계산한 후, 각 클러스터 중심이 이 합의로부터 얼마나 운송 비용 (코사인 편차) 을 갖는지 측정합니다. BoT 는 클러스터 내의 재구문화적 중복성에는 강건하면서도 모드 간의 진정한 의미적 분리에 대해서는 민감하게 반응합니다.

이러한 측정치들은 큰 의미적 편차를 벌칙하고 사소한 변이는 허용하는 신뢰도 가중치 $\omega_{geo}$를 생성합니다.

2. 보상 분산 (보정 격차 해결)

불확실성을 학습 신호 강도와 정렬시키기 위해, GCPO 는 **보상 분산 (Reward Dispersion, RD)**을 도입합니다. 이 모듈은 해당 그룹 내 보상의 변동성에 기반하여 롤아웃 그룹의 정보성을 정량화합니다.

• 응답 그룹이 매우 다양한 보상 (높은 분산) 을 산출하면, 이는 강력한 선호 신호와 정보 전달 학습 기회를 나타냅니다.
• 보상이 균일하다면 (낮은 분산), 해당 그룹은 제한된 학습 신호를 제공합니다.
• RD 는 높은 보상 정보성을 가진 그룹에 대한 업데이트를 증폭시키는 증폭 가중치 $\omega_{RD}$를 생성합니다.

통합 변조

쿼리 $q$에 대한 최종 정책 업데이트는 이러한 가중치의 곱으로 변조됩니다:
$$\tilde{A}_i = A_i \cdot \omega_{geo}(q) \cdot \omega_{RD}(q)$$
이 공식은 응답이 정보 전달 보상 대비와 정렬된 의미 구조를 보일 때 기울기 업데이트를 강화하고, 노이즈나 의미적 불일치가 분산을 지배할 때는 이를 감쇠시킴을 보장합니다.

주요 기여

1. 원칙적 공식화: 본 논문은 불확실성 신호를 기울기 분산과 학습 신호 품질을 규제하는 메커니즘으로 명시적으로 공식화한 최초의 분석을 제공합니다. 엔트로피 기반 방법의 실패 원인을 이방성 격차와 보정 격차로 식별하고 이론적으로 특성화합니다.
2. GCPO 프레임워크: 기하학적 인식 의미 구조 (CD/BoT) 와 보상 기반 보정 (RD) 을 결합하여 노이즈 변이를 선택적으로 억제하면서도 정보 전달 기울기를 보존하는 새로운 최적화 프레임워크를 제안합니다.
3. 경험적 검증: 광범위한 실험을 통해 기하학적 인식 측정치가 엔트로피 기반 측정치보다 샘플 수준 기울기 분산과 더 충실히 정렬됨을 입증했습니다. 제안된 방법은 여러 벤치마크에서 후학습 성능을 지속적으로 향상시킵니다.

실험 결과

저자들은 Qwen2.5-1.5B-Instruct 모델을 사용하여 개방형 QA(NarrativeQA, Qasper), 사실 기반 QA(HotpotQA), 수학적 추론 (MATH500, AIME24, OlympiadBench) 등 다양한 벤치마크에서 GCPO 를 평가했습니다.

• 성능 향상: GCPO 는 원시 GRPO 및 엔트로피 기반 베이스라인 (예: Seed-GRPO, EMPO) 일관적으로 능가합니다.
  • NarrativeQA에서 GCPO(BoT 포함) 는 원시 GRPO 대비 정확도에서 11.38%, F1 에서 10.15% 개선을 달성했습니다.
  • Qasper에서는 정확도에서 약 20%, F1 에서 **18.82%**의 개선이 있었습니다.
  • HotpotQA에서 GCPO 는 F1 에서 **21.56%**의 향상을 보였습니다.
• 기울기 정렬: 통계 분석 결과, 기하학적 인식 측정치 (CD, BoT) 가 엔트로피 기반 측정치에 비해 샘플 수준 기울기 분산과 훨씬 더 강력한 상관관계를 보임이 밝혀졌습니다. 이는 이러한 측정치가 실제 최적화 역학을 더 잘 추적한다는 이론적 주장을 확인시켜 줍니다.
• 안정성: GCPO 는 훈련 실행의 표준 편차를 감소시켜, 성능을 희생하지 않으면서도 향상된 안정성을 나타냈습니다.
• 수학 추론의 뉘앙스: GCPO 는 MATH500 에서 성능을 향상시켰으나, AIME24 와 OlympiadBench 에서는 개선 폭이 덜 두드러졌습니다. 저자들은 이러한 작업의 특성, 즉 유사한 보상을 가진 여러 유효한 해결 경로가 존재할 수 있어 의미적 불확실성과 정보 전달 기울기 분산 간의 정렬이 약화되기 때문이라고 귀결합니다.

중요성 및 주장

본 논문은 불확실성을 분산에 대한 일반적인 대리 변수로 취급해서는 안 되며, 학습 역학과 연결된 구조화된 신호로 취급해야 한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 불확실성 재정의: "억제해야 할 노이즈로서의 불확실성"이라는 관점에서 "기울기 규제를 위한 보정된 신호로서의 불확실성"으로의 관점 전환.
• 강건한 후학습: 학습 신호의 붕괴를 피하면서 정보 전달 기울기를 보존하는 불확실성 신호 설계에 대한 원칙적 지침 제공. 이는 LLM 의 안정적인 후학습에 필수적입니다.
• 작업 인식 설계: 불확실성 추정의 효과성이 의미 변이와 최적화 신호 간의 정렬에 달려 있음을 강조하며, 향후 방법론은 추론 대 생성과 같은 특정 작업 특성에 맞춰져야 함을 시사합니다.

저자들은 기하학적 인식 구조와 보상 보정을 통합함으로써 GCPO 가 최적화 역학과 더 신뢰할 수 있는 정렬을 달성하여, LLM 의 추론 및 정렬 향상을 위한 견고한 길을 제시한다고 결론지었습니다.