Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

다음은 논문 "Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling"(LenVM)에 대한 상세한 기술 요약입니다.

1. 문제 제기

현대 자동회귀 모델 (LLM 및 VLM) 에서 생성 길이는 추론 비용 (연산, 메모리, 지연 시간) 과 추론 성능에 직접적인 영향을 미치는 계산의 기본 단위입니다. 기존 방법들은 생성 길이를 제어하거나 예측하려 시도하지만, 다음과 같은 중대한 한계를 겪고 있습니다:

• 거시적 제어: 대부분의 접근법은 토큰 수준이 아닌 시퀀스 수준 (예: 학습 중 시퀀스 수준 페널티 또는 추론 시 프롬프트 기반 지시) 에서 작동하여 생성의 역동성을 토큰 수준에서 모델링하지 못합니다.
• 미세 신호의 부재: 모든 디코딩 단계에서 잔여 생성 지평 (horizon) 을 추정할 메커니즘이 결여되어 있습니다.
• 주석 병목 현상: 전통적인 길이 기반 보상 모델링은 종종 인간 라벨링이나 복잡한 보상 모델을 필요로 하여 확장성이 떨어집니다.
• 절충의 경직성: "200 토큰에서 중단"과 같은 경직된 제약 조건은 종종 성능을 저하시키며, 현재 방법들은 추론 품질과 토큰 예산 간의 균형을 부드럽게 조절할 메커니즘이 부족합니다.

2. 방법론: 길이 가치 모델 (LenVM)

저자들은 표준 강화학습 (RL) 가치 함수 프레임워크 내에서 잔여 생성 길이를 가치 추정 문제로 모델링하는 토큰 수준 프레임워크인 LenVM을 제안합니다.

핵심 공식화

LenVM 은 raw 토큰 수를 직접 예측하는 대신, 길이를 할인된 반환 (discounted return) 문제로 공식화합니다:

• 보상 구조: 생성된 모든 토큰에 대해 일정한 음수 보상이 할당됩니다: $r_t = -(1 - \gamma)$, 여기서 $\gamma \in (0, 1)$은 할인 인자입니다. 종료 상태 (EOS) 의 보상은 0 입니다.
• 할인된 반환: 총 길이 $L$을 가진 궤적에 대해 $t$ 단계에서의 목표 가치 $G_t$는 미래 할인 보상의 합으로 정의됩니다:
  $$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$$
• 속성:
  • 유계성: $G_t \in (-1, 0)$으로, raw 길이의 무한한 동적 범위를 피합니다.
  • 단조성: 짧은 잔여 지평은 0 에 가까운 값을, 긴 지평은 -1 에 가까운 값을 산출합니다.
  • 벨만 일관성: $G_t = r_t + \gamma G_{t+1}$이라는 재귀식을 만족합니다.

아키텍처 및 학습

• 헤드: LenVM 은 기본 LLM 또는 VLM 의 최종 레이어 은닉 상태에 스칼라 가치 헤드 (SiLU 활성화 함수를 가진 2 층 MLP) 를 연결합니다.
• 출력: 헤드는 출력이 $(-1, 0)$ 범위에 머무르도록 $V_\theta(s_t) = -\sigma(z_t)$ 값을 출력합니다.
• 학습 목적: 모델은 주석 없는, 밀집된, 토큰 수준의 회귀를 통해 학습됩니다.
  • 데이터 생성: 주어진 프롬프트에 대해 고정된 롤아웃 정책에서 여러 완성본이 샘플링됩니다.
  • 감독: 실현된 반환 $G_t$는 샘플링된 완성본 길이로부터 결정론적으로 계산됩니다.
  • 손실: 예측 가치와 실현된 반환 간의 토큰 평균 제곱 오차 (MSE).
  • 확장성: 감독 신호는 밀집되어 있습니다 (모든 토큰이 목표임), 편향되지 않으며 (고정 정책 하의 몬테카를로 샘플), 모델 크기, 프롬프트 수, 샘플링된 완성본 수에 따라 자연스럽게 확장됩니다.

3. 주요 기여

1. 토큰 수준 길이 모델링: LenVM 은 잔여 생성 길이를 연속적이고 토큰 수준의 가치 신호로 모델링한 최초의 프레임워크로, 미세한 제어와 예측을 가능하게 합니다.
2. 주석 없는 확장성: 학습 신호는 인간 라벨링이나 외부 보상 모델 없이 샘플링된 완성본에서 완전히 유도되므로, 모델 크기와 데이터셋 전반에 걸쳐 매우 확장 가능합니다.
3. 추론 시간 제어: LenVM 은 기본 모델 가중치를 수정하지 않고 생성 길이를 제어할 수 있는 메커니즘을 제공하며, 경직된 제약과 연속적인 절충을 모두 지원합니다.
4. 해석 가능성: 토큰 수준의 값은 추론 체계의 전환을 신호하는 "길이 토큰"을 드러냅니다 (예: "wait"나 "ah"와 같은 토큰은 더 긴 추론으로의 전환을, "therefore"는 종료를 나타냄).

4. 실험 결과

저자들은 수학, 코드, 지시 따르기 도메인에서 LLM(Qwen2.5, Qwen3) 과 VLM 에 대해 LenVM 을 평가했습니다.

• 길이 제어 생성 (LIFEBench):
  • LenVM 은 정확한 길이 일치에서 최첨단 폐쇄형 소스 모델 (GPT-4o, Claude, Gemini) 보다 훨씬 우수한 성능을 발휘합니다.
  • 7B 모델에서 "Equal To" 제약 조건에 대한 길이 점수가 30.9 에서 64.8로 향상되었으며, 길이 편차는 71% 에서 44% 로 감소했습니다.
• 성능 - 효율성 절충:
  • LenVM 의 예측 값을 기반으로 한 **지수 기울기 (exponential tilting)**를 사용하면 모델이 정확도와 토큰 예산을 지속적으로 균형 있게 조절할 수 있습니다.
  • 200 토큰 예산의 GSM8K 에서 LenVM 은 63% 정확도를 유지한 반면, 경직된 토큰 예산 기준선은 불과 **6%**에 그쳤습니다. 이는 기본 모델이 LenVM 이 발견할 수 있는 더 짧은 성공적인 추론 경로를 포함하고 있음을 보여줍니다.
• 생성 길이 예측:
  • LenVM 은 프롬프트 경계에서 (아직 토큰이 생성되기 전에) 예상 생성 지평을 예측할 수 있습니다.
  • 32B 규모에서 수학의 경우 평균 상대 오차 (MRE) 가 9.8%, 코드는 14.9%, 지시 따르기는 **17.1%**를 달성했습니다.
• 확장성:
  • 검증 손실은 모델 크기, 학습 프롬프트 수, 프롬프트당 샘플링된 완성본 수가 증가함에 따라 일관되게 감소합니다.
• 사례 연구 (길이 토큰):
  • 시간차 (temporal-difference) 잔여 분석은 "ah", "but"과 같은 토큰이 추론을 연장하는 마커로, "therefore", "perfect"와 같은 토큰이 종료를 위한 마커로 작용하는 특정 토큰을 드러냈습니다.

5. 중요성 및 미래 시사점

• 일반 프레임워크: LenVM 은 생성 길이가 거시적 페널티에 대한 원칙적인 대안으로 토큰 수준 가치 신호로서 효과적으로 모델링될 수 있음을 입증합니다.
• RL 기반: 이 논문은 LenVM 이 PPO 스타일 RL 을 위한 자연스럽고 길이 특화적인 가치 기준선으로 작용함을 강조합니다. 이는 효율성을 최적화하기 위한 직접적인 목적 함수 구성 요소로, 또는 작업 목적을 변경하지 않고도 신용 할당 (credit assignment) 을 개선하기 위한 잠재 기반 보상 형성 신호로 사용될 수 있습니다.
• 실용적 유용성: 길이를 예측하고 생성을 동적으로 제어할 수 있는 능력은 생산 LLM 시스템에서 추론 스케줄링, 메모리 관리, 비용 절감에 즉각적인 이점을 제공합니다.
• 해석 가능성: 특정 토큰이 예측 지평을 어떻게 변화시키는지 시각화함으로써, LenVM 은 추론 모델의 내부 역동에 대한 새로운 관점을 제공합니다.

요약하자면, LenVM 은 길이 제어 문제를 시퀀스 수준 제약에서 밀집되고 확장 가능하며 토큰 수준의 가치 추정 작업으로 변환하여, 정밀한 제어, 효율적인 추론, 그리고 자동회귀 생성에 대한 더 깊은 해석 가능성을 가능하게 합니다.