A Triadic Suffix Tokenization Scheme for Numerical Reasoning

이 논문은 산술 및 과학적 추론 오류의 주요 원인인 숫자 토큰화의 불일치 문제를 해결하기 위해, 정수와 소수부의 크기 관계를 토큰 수준에서 명시적으로 표현하는 새로운 결정론적 방식인 '삼중 접미사 토큰화 (TST)'를 제안합니다.

핵심

🧩 문제: AI 가 숫자를 '조각'으로만 보는 이유

지금까지의 AI(대규모 언어 모델) 는 숫자를 볼 때 마치 레고 블록을 무작위로 부수는 것처럼 숫자를 쪼개서 봅니다.

• 예시: 1,004,000 이라는 숫자가 들어오면, AI 는 이를 100 과 400 같은 작은 조각으로 나눕니다.
• 문제점: AI 는 100 이라는 조각이 '백'을 의미하는지, '십만'을 의미하는지 알 수 없습니다. 마치 주소가 적힌 편지봉투 없이 우편물만 받은 상황과 같습니다. "이게 100 원인지, 100 만 원인지"를 AI 가 스스로 추측해야 하므로, 9.11 이 9.9 보다 크다고 착각하는 같은 실수를 반복하게 됩니다.

💡 해결책: 'Triadic Suffix Tokenization (TST)'

이 논문은 **"숫자를 3 자리씩 묶고, 그 묶음마다 '크기 표시'를 붙여주자"**는 아이디어를 제안합니다. 이를 TST라고 부릅니다.

1. 3 자리씩 묶기 (Triads)

우리가 숫자를 읽을 때 1,234,567 처럼 3 자리마다 쉼표를 찍는 것처럼, AI 가 숫자를 읽을 때도 3 자리씩 묶어줍니다.

• 1,234,567 → 123 (백만 단위) + 456 (천 단위) + 567 (일 단위)

2. 크기 표시 붙이기 (Suffix Markers)

단순히 묶는 것만으로는 부족합니다. 각 묶음 뒤에 **"이게 몇 만 단위야?"**라고 알려주는 라벨을 붙여줍니다.

• k = 천 (Thousand)
• m = 백만 (Million)
• b = 십억 (Billion)
• p = 소수점 아래 (Fractional parts)

변환 예시:

• 기존 방식: 1234567 → AI 는 "1, 2, 3, 4, 5, 6, 7"로만 봄. (크기 감이 없음)
• 새로운 방식 (TST): 1m 234k 567 → AI 는 "1 백만, 234 천, 567"이라고 명확하게 봄.

🏗️ 비유: 우편물과 주소

이 방식을 더 쉽게 이해하기 위해 우편물에 비유해 볼까요?

• 기존 AI: 우편물 (숫자) 을 받으면 내용물만 쭉 펼쳐서 봅니다. "이게 100 원짜리인지 100 만 원짜리인지" 알 수 없어서 헤매는 겁니다.
• TST 방식: 우편물마다 **"100 만 원 봉투", "1 천 원 봉투"**라고 적힌 색깔이 다른 스티커를 붙여줍니다.
  • AI 는 스티커만 봐도 "아, 이 부분은 100 만 단위구나!"라고 바로 알 수 있습니다.
  • 소수점 (0.123) 이 들어오면 123p 처럼 "소수점 아래 123"이라고 표시해 줍니다.

✨ 이 방식의 장점

1. 실수 방지: AI 가 숫자의 크기를 추측할 필요가 없으므로, 9.11 > 9.9 같은 멍청한 실수가 사라집니다.
2. 정확한 계산: 숫자를 쪼개는 과정에서 정보가 잃어버리지 않고, 100 과 100,000 의 차이가 명확해집니다.
3. 유연성: 아주 작은 숫자 (원자 크기) 에서부터 아주 큰 숫자 (우주 크기) 까지, 필요한 만큼 스티커 (레이블) 만 더 붙이면 됩니다.
4. 설치만 하면 됨: AI 의 두뇌 구조를 바꿀 필요 없이, 숫자를 입력하기 전 '가공'만 해주는 방식이라 기존 AI 에 바로 적용할 수 있습니다.

🚀 결론

이 논문은 **"AI 가 숫자를 더 잘 이해하게 하려면, 숫자를 단순히 글자 나열이 아니라 '크기 표시가 달린 블록'으로 만들어주자"**고 말합니다.

마치 아이에게 숫자를 가르칠 때 1, 2, 3을 외우는 것보다 100 원, 1,000 원, 10,000 원이라고 단위를 명확히 알려주는 것이 훨씬 계산이 잘 되듯이, AI 에게도 숫자의 '단위'를 명확히 알려주면 훨씬 똑똑해질 것이라는 희망적인 제안입니다.

이 기술이 실제로 적용되면, AI 가 수학 문제를 풀거나 과학 데이터를 분석할 때 훨씬 더 정확하고 신뢰할 수 있는 도구가 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 복잡한 추론 작업에서 뛰어난 성과를 보이고 있지만, 기본적인 수치 이해 (Numerical Understanding) 에서는 심각한 한계를 보입니다. 대표적인 예로 모델이 9.11이 9.9보다 작다고 잘못 판단하는 오류가 있습니다.

이러한 실패의 주된 원인은 기존의 서브워드 (Subword) 토큰화 방식에 있습니다.

• 불일치한 분할: 표준 토크나이저는 숫자를 임의의 서브워드 단위로 분할하여, 숫자의 위치적 구조와 크기 (Magnitude) 정보를 잃게 만듭니다. (예: 100400 을 100 과 400 으로 나누되, 전자가 '십만'을 의미함을 인코딩하지 않음)
• 학습 비효율성: 모델은 토큰의 위치 패턴만으로 숫자의 크기 관계를 처음부터 학습해야 하므로, 통계적으로 비효율적이고 오류가 발생하기 쉽습니다.
• 기존 방법의 한계:
  • 자릿수 단위 (Base-10): 정밀도는 유지하지만 크기 정보가 명시적이지 않음.
  • xVal: 연속 임베딩을 사용하여 보간 성능은 좋으나, 정확한 숫자 (Exact digits) 를 잃음.
  • 오른쪽에서 왼쪽 쉼표 (Right-to-left commas): 숫자 그룹화는 하지만 각 그룹의 크기 (천, 백만 등) 를 명시하지 않아 모델이 위치로 추론해야 함.

2. 방법론: 삼진 접미사 토큰화 (Triadic Suffix Tokenization, TST)

저자는 숫자의 위치와 크기 정보를 명시적으로 보존하는 새로운 토큰화 체계인 TST를 제안합니다. 핵심 원리는 다음과 같습니다.

2.1 핵심 원리

1. 3 자리 그룹화 (Triads): 숫자를 3 자리 단위 (천, 백만, 억 등) 로 그룹화합니다.
2. 명시적 크기 마커 (Explicit Magnitude Markers): 각 그룹에 해당 크기를 나타내는 접미사 (Suffix) 를 붙입니다.
3. 정확한 숫자 보존: 원본 숫자의 자릿수를 그대로 유지합니다.

2.2 정수부 처리 (Integer Part)

숫자를 오른쪽에서 왼쪽으로 3 자리씩 그룹화하고, 각 그룹에 크기 접미사를 추가합니다.

• 예: 100400 → 100k 400 (k=thousand, $10^3$)
• 예: 1234567 → 1m 234k 567 (m=million, $10^6$)
• 접미사 체계: k (천), m (백만), b (십억), t (조), q (경) 등으로 $10^3$ 단위의 배수를 명시합니다.
• 장점: 쉼표와 달리, 접미사 자체가 해당 그룹의 크기 (Order of Magnitude) 를 직접적으로 모델에 전달합니다.

2.3 소수부 처리 (Fractional Part)

소수부는 왼쪽에서 오른쪽으로 3 자리씩 그룹화하며, 소수점 깊이를 나타내는 'p' 마커를 반복하여 사용합니다.

• 패딩 (Padding): 수치적으로 동일한 값 (예: 0.1, 0.10, 0.100) 이 동일한 토큰 시퀀스를 갖도록, 모든 소수 그룹을 3 자리로 맞추기 위해 오른쪽에 0 을 채웁니다.
  • 예: 1.12345678 → 1. 123p 456pp 780ppp
• 목적: 어휘의 불필요한 확장을 방지하고, 모델이 수치적 동등성을 학습하는 부담을 줄여 수렴 (Convergence) 을 안정화합니다.

2.4 구현 변형 (Implementation Variants)

두 가지 방식이 제안되었습니다.

1. 옵션 A (분리 토큰): 숫자 그룹과 접미사를 별도의 토큰으로 처리. (예: 100, k)
   • 장점: 어휘 증가가 적음 (약 10 개 추가).
2. 옵션 B (복합 토큰): 숫자 그룹과 접미사를 하나의 토큰으로 결합. (예: 100k)
   • 장점: 입력 시퀀스 길이 단축, 크기 - 숫자 단위의 명확한 매핑 제공.
   • 어휘 크기: 정수부 5 개 접미사 × 1000 개 조합 + 소수부 5 개 깊이 × 1000 개 조합 = 총 10,000 개 추가 토큰 (현대 모델 어휘 크기에 수용 가능).

3. 주요 기여 (Key Contributions)

• 명시적 위계 구조 (Explicit Hierarchy): 모델이 숫자의 크기를 문맥에서 추론할 필요가 없도록, 토큰 수준에서 명확한 크기 정보를 제공합니다.
• 결정론적 경계 (Deterministic Boundaries): 접미사가 3 자리 그룹의 끝을 명확히 표시하여, 모델이 숫자 그룹의 범위를 즉시 파악할 수 있게 합니다. (접두사 방식보다 우월함)
• 확장성 (Scalability): 33 개의 크기 범위 ($10^{-15}$에서 $10^{18}$까지) 를 지원하며, 필요에 따라 새로운 접미사를 추가하여 임의의 정밀도와 범위로 확장 가능합니다.
• 아키텍처 무관성 (Architecture-Agnostic): 모델 구조 변경 없이 토큰화 전처리 단계에서 'Drop-in'으로 적용 가능합니다.
• NTL(숫자 토큰 손실) 과의 상호 보완성: TST 는 입력 구조를 개선하고, NTL 은 학습 손실 함수를 개선하여 두 기법을 결합할 경우 시너지 효과를 기대할 수 있습니다.

4. 결과 및 검증 (Results & Validation)

• 실험적 검증: 현재 논문은 이론적 제안 및 분석 단계이며, 실험적 검증은 향후 작업으로 미루어졌습니다.
• 예상 효과:
  • 안정적인 수렴: 명확한 그래디언트 신호 제공으로 학습 수렴 속도 향상 및 추론 오류 감소.
  • 정밀도 유지: xVal 과 달리 정확한 숫자 정보를 잃지 않음.
  • 비교 우위: 기존 방식 (자릿수 단위, xVal, 쉼표 방식, NumeroLogic 등) 에 비해 수치 추론에 더 강력한 귀납적 편향 (Inductive Bias) 을 제공함.
• 참고 자료: 재현성을 위해 TST 파서 구현 및 어휘 데이터가 Zenodo 및 GitHub 에 제공됨.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 수치 추론 실패를 해결하기 위한 실용적이고 확장 가능한 솔루션을 제시합니다.

• 근본적 해결: 토큰화 단계에서 발생하는 정보 손실 문제를 해결하여, 모델이 숫자의 '의미'를 직관적으로 이해할 수 있는 기반을 마련합니다.
• 실용성: 복잡한 모델 수정 없이 토크나이저만 교체하면 적용 가능하므로, 기존 모델에 쉽게 통합할 수 있습니다.
• 미래 전망: 수치 추론 벤치마크 (NumericBench 등) 에서의 실험적 검증을 통해, TST 가 LLM 의 수학 및 과학적 추론 능력을 획기적으로 향상시킬 수 있는 핵심 기술로 자리 잡을 가능성이 높습니다.

요약하자면, TST는 숫자를 단순한 문자열이 아닌, 명시적인 크기 정보가 포함된 구조화된 토큰 시퀀스로 변환함으로써, LLM 이 수치적 관계를 더 정확하게 이해하고 추론할 수 있도록 돕는 혁신적인 토큰화 체계입니다.