기술 요약: 대규모 언어 모델의 수치 학습을 위한 자리수 엔트로피 손실

1. 문제 제기

대규모 언어 모델 (LLM) 은 수학적 추론과 코드 생성에서 상당한 능력을 입증해 왔으나, 정확한 수치 예측은 여전히 근본적인 과제로 남아 있습니다. LLM 의 표준 학습 목표인 최대 우도 추정 (MLE) 은 수치 예측에 있어 최적의 방법이 아닙니다. MLE 의 제로 회피 (zero-avoiding) 속성은 모델이 관측된 토큰에 비자명한 확률을 할당하도록 강제하여 텍스트 퇴화 및 데이터 공백 과대 추정과 같은 문제를 초래합니다.

최근 페널티 기반 접근법, 특히 **숫자 토큰 손실 (NTL)**과 **이산화된 거리 손실 (DIST2Loss)**은 수치 거리의 귀납적 편향을 도입함으로써 이러한 문제를 해결하려 시도했습니다. 그러나 이러한 방법들은 다음과 같은 치명적인 한계를 보입니다:

• 과도한 날카로움과 과도한 평탄화: NTL 은 비목표 토큰 확률을 거의 0 으로 강력하게 억제하여 과도하게 날카로운 분포를 생성하는 반면, DIST2Loss 는 부드러운 분포를 강제하여 과도하게 평탄화되고 불확실한 자리수 예측을 초래합니다.
• 휴리스틱 거리에 대한 의존: 두 방법 모두 수동으로 정의된 거리 항 (예: 자리수 간의 $L_1$ 거리) 에 의존합니다. 분석 결과, LLM 은 자리수가 수치 값과 기호 문자열 (예: 날짜, ID) 로 모두 기능하는 얽힌 표현을 학습한다는 것이 밝혀졌습니다. 따라서 수동으로 부과된 기하학적 사전 지식은 종종 대규모 말뭉치에서 학습된 의미 표현과 모순됩니다.
• 전체적 인식의 부재: 기존 방법들은 종종 단일 자리수 최적화 패러다임 내에서 작동하거나 소수를 별도의 정수로 취급하여 부동 소수점 수의 연속성과 전역적 수치 구조를 포착하지 못합니다.

2. 방법론: 자리수 엔트로피 손실 (DEL)

저자들은 자기회귀적 수치 학습에 맞춰 기존 비지도 엔트로피 최적화를 재구성한 **자리수 엔트로피 손실 (DEL)**을 제안합니다. 이 방법론은 "기준 - 거리"에서 "자리수 엔트로피 최적화"로 패러다임을 전환하는 세 가지 핵심 설계 원칙에 기반합니다.

A. 기준 - 거리에서 엔트로피 최적화로

기존 수치 학습 방법들은 **기준 - 거리 공식 (paper 의 Eq. 4)**을 따릅니다:
$$\mathcal{L}_N = \mathcal{H}(p, g) + \alpha \sum \mathcal{C}(\hat{p}) \cdot \mathcal{D}(V_d, g_t)$$
여기서 $\mathcal{C}$는 기준 항이고 $\mathcal{D}$는 거리 항입니다. 저자들은 거리 항 $\mathcal{D}$가 LLM 이 학습한 자리수의 의미 구조와 일치하지 않을 수 있는 기하학적 사전 지식을 부과하므로 최적이지 않다고 주장합니다.

B. DEL 의 세 가지 핵심 설계

1. 자리수 조건부 확률과 BCE 를 통한 지도 엔트로피:
   엔트로피를 (단순한 원-핫 솔루션을 허용하는) 비지도 방식으로 최소화하는 대신, DEL 은 지도 기준을 도입합니다. 이는 자리수 조건부 확률 ($\hat{p}$) 과 **이진 교차 엔트로피 (BCE)**의 곱을 활용합니다.
   $$\mathcal{L}_{DEL} = \mathcal{H}(p, g) + \alpha \sum_{g_t \in V_d} \hat{p}(\cdot|x_{<t}) \cdot \text{BCE}(\bar{p}(\cdot|x_{<t}), y_t)$$
   여기서 $\bar{p}$는 시그모이드 기반 이진 분류 확률이고, $y_t$는 원-핫 레이블입니다. 이 공식은 엔트로피 최적화를 지도 방식으로 유도하여, NTL 의 일정한 페널티로 인한 "과도한 날카로움" 없이 확률 질량이 목표 자리수에 집중되도록 보장합니다.

2. 거리 항의 폐기:
   저자들은 손실 함수에서 거리 항 ($\mathcal{D}$) 을 명시적으로 제거합니다. 자리수 토큰 임베딩에 대한 t-SNE 를 통한 실증 분석은 LLM 에서 학습된 자리수의 유사성 구조가 이상적인 수치 거리 (예: 임베딩 공간에서 '0'이 '1'보다 '8'에 더 가까울 수 있음) 를 엄격히 따르지 않음을 보여줍니다. 거리 항을 제거함으로써 DEL 은 모순되는 기하학적 사전 지식을 주입하지 않고 모델이 학습된 의미 표현에 의존하도록 합니다.

3. 부동 소수점 최적화로 일반화:
   다자리 정수와 소수를 전체적으로 처리하기 위해 DEL 은 부동 소수점 수 최적화 전략을 도입합니다. 소수를 별도의 정수로 취급하여 불연속적인 페널티를 유발하는 이전 방법들과 달리, DEL 은 연속적인 페널티 함수 $u(t)$를 적용합니다:

   • 정수 자리 ($i \ge 0$) 에 대한 선형 페널티.
   • 소수 자리 ($i < 0$) 에 대한 지수 감쇠.
     이는 정수 성분과 소수 성분 간의 부드러운 전환을 보장하여 부동 소수점 수의 정확한 예측을 가능하게 합니다.

3. 주요 기여

• 이론적 분석: 이 논문은 최첨단 수치 학습 방법 (NTL, DIST2Loss) 이 LLM 의미 표현과 종종 불일치하는 휴리스틱 거리 항에 의존하는 "기준 - 거리" 패러다임을 공유한다는 것을 심층 분석하여 밝혔습니다.
• 새로운 손실 함수: 자리수 조건부 확률과 이진 교차 엔트로피를 결합하여 수치 학습을 재구성한 **자리수 엔트로피 손실 (DEL)**을 제안하여, 지도 방식으로 엔트로피 최소화를 효과적으로 유도합니다.
• 전체적 수치 인식: 단일 자리수 최적화에서 부동 소수점 수 최적화로 수치 학습을 확장하여, 기존 연구에서 발견된 소수 예측의 불연속성 문제를 해결합니다.
• 실증적 검증: DEL 이 여러 아키텍처와 벤치마크에서 MLE, MixCE, EMO, NTL, DIST2Loss 를 일관되게 능가함을 보여주는 포괄적인 실험을 수행했습니다.

4. 실험 결과

저자들은 **네 가지 대표적인 LLM (CodeLlama, Mistral, DeepSeek-Math, Qwen-2.5)**을 사용하여 **일곱 가지 수학적 추론 벤치마크 (GSM8K, MATH, SVAMP, SimulEq, AQuA, SAT, MMLU)**에서 DEL 을 평가했습니다.

• 전체 정확도: DEL 은 모든 모델 아키텍처와 벤치마크에서 일관되게 가장 높은 평균 정확도 (mACC) 를 달성했습니다. 예를 들어, Qwen-2.5-7B 모델에서 DEL 은 mACC 70.6을 기록하여 기준선 MLE(68.3) 와 다음으로 좋은 방법인 DIST2Loss(69.2) 를 능가했습니다.
• 수치 거리: DEL 은 명시적인 거리 항이 없더라도 예측된 수치와 실제 수치 간의 수치 거리 (평균 절대 오차) 를 현저히 감소시켜 더 정밀한 수치 생성을 입증했습니다.
• 엔트로피 분석: DIST2Loss 가 디지털 엔트로피 (불확실성) 를 증가시키고 NTL 이 과도하게 날카로운 분포를 생성한 것과 달리, DEL 은 결정성과 유연성 사이의 균형을 맞추며 수치 불확실성에 대한 "부드러운" 최적화를 유지했습니다.
• 절대 실험: 거리 항을 제거하고 부동 소수점 최적화를 통합하는 것이 성능 향상에 결정적임을 실험이 확인했습니다. 구체적으로, DEL 에 거리 항을 추가하면 성능이 저하되어 이를 폐기하기로 한 결정이 타당함을 입증했습니다.

5. 중요성과 주장

이 논문은 **자리수 엔트로피 손실 (DEL)**이 휴리스틱 거리 기반 방법의 한계를 해결함으로써 LLM 의 수치 학습에서 중요한 진전을 이루었다고 주장합니다.

• 패러다임의 전환: 이 연구는 수치 학습이 수동으로 정의된 기하학적 사전 지식 (거리 항) 에서 모델이 학습한 의미 표현을 존중하는 엔트로피 기반 최적화로 전환해야 한다고 주장합니다.
• 신뢰성: 수치 토큰에 대한 매우 결정적인 생성을 달성함으로써 DEL 은 정량적 분석과 논리적 추론이 필요한 하류 작업에서 신뢰할 수 있는 LLM 배포를 위한 전제 조건 역할을 합니다.
• 적당한 범위: 저자들은 DEL 이 수치 생성 정확도를 향상시키지만, 토큰 수준에서 작동하며 복잡한 수학 연산 (예: 덧셈, 곱셈) 이나 전역적 수치 의미를 함께 모델링하지는 않는다고 인정합니다. 그들은 DEL 을 수학적 추론의 모든 측면에 대한 완전한 해결책이 아니라 수치 생성을 위한 기초적 개선으로 위치시킵니다.

요약하자면, 이 논문은 인위적인 거리 제약 제거와 지도 엔트로피 최적화가 수학적 추론 및 코드 생성 작업에서 우수한 성능을 산출함을 입증하며, DEL 을 기존 수치 손실 함수에 대한 견고하고 이론적으로 근거 있는 대안으로 제시합니다.