기술 요약: 단일 토큰 숫자 인코딩을 통한 언어 모델의 효율적 수치 능력

문제 제기

대형 언어 모델 (LLM) 은 현재 수치 데이터를 처리하고 복잡한 계산을 효율적으로 해결하는 데 어려움을 겪고 있습니다. 최첨단 모델은 산술 작업에서 높은 정확도를 달성할 수 있지만, 종종 두 가지 비효율적인 전략에 의존합니다:

1. 외부 도구 사용: 계산기를 코드 해석기로 계산 작업을 위임합니다. 이는 지연 시간을 초래하고, 도구 선택 오류 가능성을 높이며, 모델이 순전파 (forward pass) 중에 중간 수치 표현을 생성하는 것을 방해합니다.
2. 추론 체인: 문제를 분해하기 위해 광범위한 단계별 텍스트를 생성합니다. 논문에서 illustrated 바와 같이, 단일 곱셈 문제를 해결하는 데 수만 개의 토큰이 필요할 수 있으며, 이는 컨텍스트 창 및 비용 제약으로 인해 해결 가능한 문제의 복잡성과 길이를 제한합니다.

식별된 근본 원인은 숫자를 텍스트처럼 취급하여 여러 하위 단어 토큰 (예: 자릿수 또는 세 자리 그룹) 으로 분할하는 표준 토큰화 전략입니다. 이러한 분할은 자리올림 전파와 같은 산술에 필요한 내부 논리를 방해하고, 모델이 비효율적인 알고리즘을 학습하도록 강요합니다.

방법론

1. 최첨단 LLM 평가

저자들은 비교 (최소/최대, 구간, 정렬), 기본 산술 (덧셈, 곱셈, 나눗셈), 그리고 다단계 연산 (거듭제곱, 평균, 표준편차) 등 9 가지 수치 작업에 걸쳐 GPT-5, Gemini 2.5, DeepSeek v3.1, Llama 4 를 포함한 8 개의 최첨단 LLM 을 벤치마크했습니다.

• 결과: 추론 능력이 없는 모델은 곱셈, 나눗셈, 거듭제곱에서 성능이 저조했습니다 (종종 log-sMAPE <60%). "최대" 추론 능력을 갖춘 모델은 더 높은 정확도를 달성했지만, 계산당 5,000 에서 30,000 개의 토큰을 생성하는 비용이 따랐습니다.
• 지표: 논문은 정확한 일치 정확도보다 수치 정밀도에 대한 더 세분화된 관점을 제공하는 첫 번째 오류 발생 전 올바르게 예측된 유효 자릿수의 비율을 측정하는 log-sMAPE라는 지표를 도입했습니다.

2. 단일 토큰 인코딩을 위한 요구 사항 (Desiderata)

현재 토큰화의 비효율성을 해결하기 위해 저자들은 이상적인 단일 토큰 숫자 인코딩을 위한 9 가지 요구 사항 (Desiderata) 을 제안했습니다:

• D1 (토큰 효율성): 숫자당 하나의 토큰.
• D2 (고유성): 값과 인코딩 간의 일대일 대응 (쌍대사상).
• D3 (구조): 수치적 순서와 거리를 반영하는 기하학적 구조.
• D4 (스케일 불변성): 광범위한 범위와 정밀도 지원.
• D5 (정규화): LayerNorm/RMSNorm 하에서 경계화되고 안정적임.
• D6 (안정성): 저정밀도 활성화 (예: FP8) 에 강건함.
• D7 (연속성): 기본 값에 따른 매끄러운 변화.
• D8 (강건성): 노이즈 하에서 신뢰할 수 있는 디코딩.
• D9 (산술): 핵심 연산을 위한 학습 가능한 알고리즘 허용.

3. 기존 접근법 분석

논문은 두 가지 기존 단일 토큰 전략을 분석합니다:

• xVal: 학습된 토큰을 수치 값으로 스케일링합니다. 정규화 제약으로 인해 D4(제한된 범위/정밀도) 와 D6을 충족하지 못합니다.
• FoNE: 사인파 함수 (Fourier features) 를 사용하여 숫자를 인코딩합니다. 대부분의 요구 사항을 충족하지만, 저자들은 명제 4.3을 통해 사인파 인코딩이 곱셈을 위한 단순한 국소적 매핑이 부족함을 증명했습니다. 이 공간에서의 곱셈은 계산 집약적인 비국소적 디코딩, 컨볼루션, 재인코딩 과정을 필요로 하므로 신경망의 효율적인 학습에는 부적합합니다.

4. 제안된 솔루션: BitTokens

저자들은 IEEE 754 배정밀도 이진 부동소수점 형식을 기반으로 한 새로운 인코딩 전략인 BitTokens를 소개합니다.

• 인코딩: 숫자는 부호 비트 (1), 지수 비트 (11), 그리고 가수부 비트 (52) 에 해당하는 64 차원 벡터를 포함하는 단일 토큰으로 표현됩니다.
• 구성: 이진 벡터는 정규화 제약 (D5) 을 충족하기 위해 $[-1, 1]$로 스케일링되고 학습 가능한 [NUM] 토큰 임베딩에 추가됩니다.
• 역수 증강: 나눗셈 학습을 용이하게 하기 위해 숫자의 역수에 대한 이진 표현이 인코딩에 연결됩니다.
• 디코딩: 전용 "숫자 헤더"(선형 레이어 + 시그모이드) 가 은닉 상태로부터 이진 벡터를 예측합니다. 고정 임계값 (0.5) 이 이진 출력을 생성합니다.
• 손실: 재구성된 값에 대한 회귀 대신 비트 단위 이진 교차 엔트로피 (BCE) 를 사용하여 훈련합니다. 이는 크기 및 임계값 문제로 인해 전자가 실현 불가능하기 때문입니다.

주요 기여

1. 체계적 평가: 최첨단 LLM 이 산술을 위해 과도하게 추론 토큰에 의존함을 입증하여 내재적 수치 능력의 필요성을 강조했습니다.
2. 이론적 프레임워크: 단일 토큰 인코딩을 위한 9 가지 요구 사항을 설정하고, 비국소성과 계산 복잡성으로 인해 사인파 인코딩 (FoNE) 이 곱셈에 근본적으로 부적합함을 이론적으로 증명했습니다.
3. BitTokens 구현: 요구 사항을 충족하는 결정론적이며 IEEE 754 기반의 인코딩을 제안하고 검증하여 작은 모델조차도 산술 알고리즘을 학습할 수 있게 했습니다.

결과

실험은 각 작업당 30M 개의 샘플로 처음부터 훈련된 nanoGPT-2모델 (117M 파라미터) 을 사용하여 수행되었으며, 텍스트 데이터 (FineWeb) 와 결합되었습니다.

• 성능: BitTokens 는 비교 및 단일 단계 산술 작업 (덧셈, 곱셈, 나눗셈) 에서 거의 완벽한 성능 (log-sMAPE > 0.98) 을 달성하여 하위 단어, 단일 자릿수, xVal, FoNE 기준선보다 현저히 우수했습니다.
• 효율성: BitTokens 는 추론 체인이 필요로 하는 수천 개와 비교하여 산술 작업에 대한 토큰 비용을 단일 토큰으로 줄였습니다.
• 한계:
  • 다단계 작업: BitTokens 는 평균, 표준편차, 거듭제곱과 같은 복잡한 다단계 작업을 단일 순전파로 처리하는 데 어려움을 겪었습니다. 저자들은 이를 모델이 고정밀 결과를 단일 잠재 단계로 압축하는 능력이 제한적이기 때문이라고 보며, 반면 다중 토큰 모델은 여러 순전파를 통해 답변을 점진적으로 정제할 수 있다고 설명합니다.
  • 비교: 평균 작업에서 전통적인 다중 토큰 방법 (단일 자릿수) 이 BitTokens 보다 우수했는데, 이는 중간 상태를 위한 외부 "스크래치패드"로 생성된 토큰을 사용할 수 있는 능력 때문일 가능성이 높습니다.

중요성 및 주장

이 논문은 BitTokens 가 LLM 의 내재적 수치 능력을 향한 유망한 단계라고 주장합니다. 비효율적인 토큰화를 구조화된 단일 토큰 표현으로 대체함으로써 모델은 과도한 추론 체인이나 외부 도구에 의존하지 않고 내부적으로 계산 알고리즘을 학습할 수 있습니다.

저자들은 BitTokens 가 기본 산술을 효율적으로 해결하지만, 복잡하고 다단계인 문제에서 추론의 필요성을 완전히 대체하지는 않는다고 겸손하게 주장합니다. 가장 효과적인 미래 접근법은 효율적인 중간 계산을 위해 BitTokens 를 사용하여 논리적 추론을 위한 토큰 예산을 확보함으로써 LLM 이 해결할 수 있는 문제의 복잡성을 확장하는 하이브리드 전략일 수 있다고 제안합니다. 이 연구는 현재 최첨단 모델이 긴 추론 체인에 의존하는 것은 아키텍처 자체의 근본적 한계가 아니라 수치 표현의 결여로 인한 증상임을 강조합니다.