기술 요약: 트랜스포머 언어 모델을 위한 가치 인식 수치 표현 (Value-Aware Numerical Representations)

문제 정의

트랜스포머 기반 대규모 언어 모델(LLM)은 복잡한 수학적 추론 벤치마크에서 강력한 성능을 보여주기도 하지만, 기본적인 수치 이해 및 산술 연산에서는 여전히 취약성을 드러낸다. 확인된 핵심 한계는 표준 LLM이 숫자를 (문자 또는 서브워드 시퀀스로 구성된) 기호적 토큰으로 처리하며, 이들의 임베딩은 오직 토큰 공기(co-occurrence) 통계에 의해서만 학습된다는 점이다. 결과적으로 모델은 수치의 크기(magnitude)에 대한 명시적이고 연속적인 표현을 결어한다. 이는 특히 수치 입력의 길이가 길어질 때 크기 비교, 순서 정렬, 산술 연산이 필요한 작업에서 체계적인 오류를 초래한다. 본 논문은 현재의 "추론 집약적" 접근 방식(예: Chain-of-Thought)이 긴 중간 단계들을 생성함으로써 이러한 근본적인 약점을 은폐할 수는 있지만, 모델이 숫자가 무엇을 나타내는지 본질적으로 "알지" 못한다는 근본적인 문제를 해결하지는 못한다고 주장한다.

방법론

저자들은 표준 토큰화된 입력 바로 앞에 전용 접두사 토큰인 <num>을 삽eli 삽입하는 **가치 인식 수치 표현(value-aware numerical representation)**을 제안한다.

아키텍처 및 메커니즘

1. 가치 조건부 임베딩 (Value-Conditioned Embedding): 표준 토큰과 달리, <num> 토큰의 임베딩은 고정되지 않는다. 대신, 이는 기저의 수치 값 $x$의 함수 $f(x)$로서 계산된다.

   • 훈련 단계: 실제 수치 값 $x$를 사용할 수 있다. 학습 가능한 임베딩 모듈(MLP 기반 고정 소수점 인코더 또는 RNN 기반 순환 인코더)이 $f(x)$를 계산한다. 이 임베딩은 표준 토큰 임베딩과 함께 모델의 입력 시퀀스에 주입된다.
   • 추론 단계: 실제 값 $x$를 사용할 수 없다. 투영 헤드(projection head)가 <num> 토큰 앞의 숨겨진 상태(hidden state) $h$를 모델의 숨겨진 상태 $h$로부터 임베딩 공간으로 매핑하여, 가치 기반 임베딩($proj(h) \approx f(x)$)을 근사한다. 이 투영된 임베딩은 후속 숫자 토큰의 생성을 조건화한다.

2. 임베딩 모듈 변체:

   • MLP 기반: 정수 부분과 소수 부분을 고정 길이의 십진 벡터로 표현하고, 이를 부호(sign), 자릿수(digit count), 소수점 자리수(decimal places)와 같은 보조 특징들과 결합하여 선형 투영한다.
   • RNN 기반: 정수 부분과 소수 부분을 독립적으로 처리하기 위해 GRU(Gated Recurrent Units)를 사용하며, 이를 통해 가변 길이 시퀀스와 임의의 정밀도를 허용한다. 이후 보조 특징들과 결합하여 선형 투영한다.

3. 훈련 목적 함수: 훈련 시에는 실제 값을 보고 추론 시에는 이를 예측해야 하는 훈련-테스트 불일치(train-test mismatch) 문제를 해결하기 위해, 저자들은 복합 손실 함수를 사용한다.

   • 표준 언어 모델링 손실 ($L_{LM}^{emb}$): 실제 값 기반 임베딩 $f(x)$를 사용하여 모델을 훈련한다.
   • 투영 언어 모델링 손실 ($L_{LM}^{proj}$): 추론 조건을 시뮬레이션하기 위해 투영된 숨겨진 상태 $proj(h)$를 사용하여 훈련한다.
   • 재구성 손실 ($L_{rec}$): 투영된 숨겨진 상태와 실제 가치 기반 임베딩 사이의 코사인 거리를 최소화하여 정렬을 강제한다.
   • 전체 손실은 가중 합계이다: $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$.

주요 기여

1. 새로운 인코딩 메커니즘: 수치의 크기 표현을 표면적 토큰화로부터 분리하여, 수치 값에 명시적으로 조건화된 가치 인식 접두사 토큰을 제안한다.
2. 경험적 검증: 이 접근 방식이 동일한 훈련 및 추론 조건 하에서 강력한 베이스라인들을 능가하며, 산술 역량을 격리하도록 설계된 벤치마크에서 성능을 일관되게 향상시킨다는 것을 입증하였다.
3. 아키텍처 호환성: 이 방법은 최소한의 수정만을 필요로 하며, 기존의 토크나이저나 생성 메커니즘을 변경하지 않고 모든 디코더 전용 트랜스포머 아키텍처에 직접 적용 가능하다.
4. 오픈 소스: 재현성을 지원하기 위해 아키텍처 변경 사항, 훈련 코드 및 평가 스크립트를 포함한 전체 구현을 공개한다.

실험 결과

이 접근 방식은 정수, 부동 소수점, 분수 및 과학적 표기법에 걸쳐 근본적인 수치 기술을 격리하는 NUPA 벤치마크(Yang et al., 2024)에서 평가되었다.

• 베이스라인: 표준 트랜스포머(자기회귀, 토큰 전용) 및 크기(자릿수 등)에 대한 자연어 설명을 보조 입력으로 사용하는 Numerologic(Schwartz et al., 2024)과 비교하였다.
• 성능:
  • 제안된 NumValue-RNN 및 NumValue-MLP 모델은 Exact Match 정확도에서 각각 0.724와 0.720을 달성하였으며, 이는 표준 트랜스포머의 0.687 및 Numerologic의 0.633보다 높은 수치이다.
  • 모든 수치 형식, 작업 유형(산술, 비교, 변환) 및 피연산자 길이(최대 7자리)에서 성능 향상이 관찰되었다.
  • RNN 기반 변체가 가변 길이 시퀀스를 처리하는 능력 덕분에 약간 더 높은 Exact Match 점수를 보였으나, MLP 변체는 자릿수 수준의 정렬 및 길이 추정에서 미세하게 더 나은 성능을 보였다.
• 강건성: 제안된 방법과 베이스라인 간의 성능 격차는 입력 자릿수가 증가함에 따라 일정하게 유지되거나 오히려 넓어졌으며, 이는 입력 규모에 대한 개선된 강건성을 나타낸다.

의의 및 주장

본 논문은 수치를 명시적으로 인코딩하는 것이 언어 모델의 근본적인 수치적 강건성을 개선하는 효과적이고 효율적인 방법이라고 주장한다. 크기 정보를 입력 공간에 직접 주입함으로써, 이 접근 방식은 단순히 확장된 추론 사슬을 통해 문제를 보완하는 것이 아니라 근본적인 원인을 해결한다.

저자들은 자신들의 방법이 추론 집약적 전략에 대한 경량화된 대안을 제공한다고 강조한다. 그들은 수치적 역량이 단순히 개선된 추론의 부산물이 아니라, 명시적 표현을 필요로 하는 별개의 능력이라고 주장한다. 결과는 숫자를 이산적인 기호 토큰이 아닌 연속적인 측정값으로 취급하는 것이 수량에 대한 모델의 추론 능력을 크게 향상시킨다는 것을 시사한다.

저자들이 언급한 한계점:

• 평가는 제약된 벤치마크에서 처음부터 훈련된 모델을 사용한 프로토타입 수준에서 수행되었으므로, 복잡한 지시 이행 시나리오를 가진 대규모 사전 훈련된 모델의 성능을 완전히 반영하지 못할 수 있다.
• 이 방법은 예시당 두 번의 순전파(투영을 위한 한 번, 디코딩을 위한 한 번)가 필요하므로 더 높은 훈련 비용이 발생하지만, 추론 지연 시간에는 영향을 미치지 않는다.
• 별도의 하이퍼파라미터 튜닝이 수행되지 않았으며, 이는 절대적인 성능 지표에 영향을 줄 수 있으나 상대적인 비교 결과는 바꾸지 않는다.