IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings

본 논문은 OEIS 정수 수열의 예측을 위해 로그 크기 임베딩과 100 개의 모듈로 잔여 임베딩을 결합한 'IntSeqBERT'를 제안하여, 기존 토큰화 기반 모델보다 정밀도와 다음 항 예측 성능을 획기적으로 향상시켰음을 보고합니다.

핵심

이 논문은 **"수열의 숨겨진 규칙을 AI 가 어떻게 찾아내는가?"**에 대한 이야기입니다.

기존의 AI 는 숫자를 단순히 '단어'처럼 취급하다가 큰 수를 만나면 혼란에 빠지거나, 숫자 사이의 복잡한 수학적 관계 (예: 2 배씩 커진다, 3 으로 나누어 떨어진다 등) 를 놓치는 경우가 많았습니다. 이 논문은 IntSeqBERT라는 새로운 AI 모델을 소개하며, 이 문제를 해결하는 방법을 제안합니다.

일상적인 비유를 들어 쉽게 설명해 드리겠습니다.

---

1. 문제: AI 가 숫자를 '단어'로만 보면 생기는 일

기존의 AI(예: 챗봇) 는 숫자를 볼 때 마치 외국어 단어를 외우듯이 접근합니다.

• 상황: "1, 2, 4, 8, 16..."이라는 수열을 보고 다음 숫자를 맞추라고 하면, AI 는 "아, 16 다음엔 32 가 나오겠지"라고 기억해 둔 단어 목록에서 찾아냅니다.
• 한계: 하지만 숫자가 100 자리나 되는 거대한 수 (예: 우주에 있는 별의 개수보다 큰 수) 가 나오면, AI 는 그 단어를 사전에 없으므로 "모르겠다 (UNK)"라고만 답합니다. 또한, 숫자가 커질수록 규칙을 찾기 어려워집니다.

2. 해결책: IntSeqBERT 의 두 가지 안경

이 연구팀은 AI 에게 숫자를 볼 때 두 가지 다른 안경을 끼게 했습니다.

🕶️ 안경 1: "크기"를 보는 안경 (Magnitude Stream)

• 비유: 숫자가 얼마나 큰지, 얼마나 멀리 있는지를 보는 망원경입니다.
• 기능: 숫자가 10 인지, 100 만인지, 아니면 100 억인지 그 '크기'의 로그 (Log) 스케일로 파악합니다. 이는 숫자가 얼마나 빠르게 커지는지 (성장 패턴) 를 이해하는 데 도움을 줍니다.

🕶️ 안경 2: "나머지"를 보는 안경 (Modulo Stream)

• 비유: 숫자를 100 개의 서로 다른 시계에 맞춰보는 것입니다.
• 기능: 숫자를 2 로 나눈 나머지, 3 으로 나눈 나머지, ..., 101 로 나눈 나머지까지 모두 봅니다.
  • 예: "이 숫자는 2 로 나누면 0 이 남는다 (짝수다)", "3 으로 나누면 1 이 남는다" 같은 정보입니다.
  • 수학에서 '나머지'는 숫자의 거대한 크기와 상관없이 규칙적인 패턴 (주기성) 을 보여줍니다. 마치 시계 바늘이 12 시가 되면 다시 1 시로 돌아오듯, 큰 숫자라도 나머지는 일정하게 반복됩니다.

3. 마법 같은 결합: FiLM (필름)

이 두 가지 안경으로 본 정보를 단순히 합치는 게 아니라, 나머지 정보 (시계) 가 크기 정보 (망원경) 를 조절하도록 만들었습니다.

• 비유: 마치 "이 시계가 3 시를 가리키고 있으니 (나머지 3), 망원경으로 본 크기는 이 정도여야 한다"라고 상호작용하게 한 것입니다.
• 이를 통해 AI 는 거대한 숫자라도 그 안에 숨겨진 수학적 규칙 (예: 3 의 배수, 짝수 등) 을 쉽게 찾아낼 수 있게 되었습니다.

4. 결과: AI 가 수열의 규칙을 얼마나 잘 찾았나?

연구팀은 OEIS(온라인 정수 수열 백과사전) 에 있는 27 만 개 이상의 수열로 이 모델을 훈련시켰습니다.

• 기존 AI vs IntSeqBERT:
  • 기존 AI 는 큰 숫자가 나오면 거의 무작위로 추측하거나 틀렸습니다.
  • IntSeqBERT는 큰 숫자에서도 정확도가 7 배 이상 향상되었습니다. 특히 "다음 숫자가 무엇일까?"를 맞히는 능력에서 압도적인 차이를 보였습니다.
• 특이한 발견:
  • AI 는 **소수 (2, 3, 5 등)**로 나눈 나머지보다 **합성수 (6, 12, 96 등)**로 나눈 나머지를 통해 더 많은 정보를 얻는다는 사실을 발견했습니다.
  • 비유: 96 시계는 2 시계, 3 시계, 4 시계, 6 시계, 8 시계, 12 시계, 16 시계, 24 시계, 32 시계의 정보를 모두 동시에 담고 있기 때문에, 96 시계를 보면 훨씬 더 많은 규칙을 한 번에 파악할 수 있다는 뜻입니다.

5. 결론: 왜 이것이 중요한가?

이 연구는 AI 가 단순히 숫자를 외우는 것을 넘어, 수학의 본질적인 규칙 (나눗셈, 나머지, 주기성) 을 이해하도록 만들 수 있음을 보여줍니다.

• 일상적인 의미: 앞으로 AI 가 매우 큰 수를 다루는 과학 문제 (우주 물리학, 암호학 등) 나 복잡한 패턴을 찾아내는 문제를 풀 때, 이 '나머지 안경'을 끼고 접근하면 훨씬 더 똑똑해질 수 있다는 희망을 줍니다.

한 줄 요약:

"기존 AI 는 숫자를 '단어'로만 외워 큰 수에 취약했지만, 이 새로운 AI 는 숫자를 '크기'와 '나머지 패턴'이라는 두 가지 안경으로 동시에 보아, 거대한 수열의 숨겨진 규칙까지 찾아내는 수학적 천재가 되었습니다."

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 OEIS(On-Line Encyclopedia of Integer Sequences, 정수 수열 온라인 백과사전) 에 수록된 정수 수열의 패턴을 학습하고 예측하는 문제를 다룹니다. 기존 연구 (예: FACT 벤치마크) 와 표준 토큰 기반 Transformer 모델이 직면한 주요 한계는 다음과 같습니다.

• 범위 제한 (Out-of-Vocabulary): 정수 수열은 1 자리 상수부터 천문학적인 팩토리얼, 지수 함수 값까지 그 범위가 극단적으로 넓습니다. 고정된 어휘 (Vocabulary) 를 가진 토큰화 모델은 사전에 없는 큰 정수를 처리할 수 없으며, 이를 UNK(알 수 없음) 토큰으로 대체하면 수열의 수학적 구조를 학습하는 데 실패합니다.
• 산술 구조의 부재: 표준 토큰화는 정수 간의 산술적 관계 (나눗셈, 모듈로 연산, 주기성 등) 를 불투명한 토큰 ID 로 감추어, 모델이 수열의 내재된 규칙 (예: 소수성, 짝수/홀수, 주기적 나머지) 을 학습하기 어렵게 만듭니다.
• 과도한 이질성: 단일 학습 코퍼스 내에서 값의 크기가 수십 차수 (orders of magnitude) 로 차이 나며, 이는 모델의 수렴을 어렵게 합니다.

2. 방법론 (Methodology: IntSeqBERT)

저자는 이러한 한계를 극복하기 위해 IntSeqBERT라는 이중 스트림 (Dual-stream) Transformer 인코더를 제안합니다. 정수를 토큰화하는 대신, 각 수열 요소를 두 가지 보완적인 축으로 인코딩합니다.

가. 이중 스트림 표현 (Dual-Stream Representation)

각 정수 $x_i$에 대해 두 가지 특징 벡터를 생성합니다:

1. 크기 스트림 (Magnitude Stream):
   • 절대값의 연속적인 로그 스케일 ($1 + \log_{10}|x_i|$) 을 임베딩합니다.
   • 부호 (양수, 음수, 0) 를 원-핫 (one-hot) 인코딩하여 포함합니다.
   • 이는 수열의 성장 패턴과 스케일을 포착합니다.
2. 모듈로 스트림 (Modulo Stream):
   • 2 부터 101 까지의 100 개의 서로 다른 모듈로 (moduli) 에 대한 나머지 값을 처리합니다.
   • 각 나머지 $r = x_i \mod m$를 단위 원 위의 점 $(\sin(2\pi r/m), \cos(2\pi r/m))$으로 임베딩합니다.
   • 이는 주기성과 수론적 구조 (나머지 패턴) 를 명시적으로 포착합니다.

나. 융합 메커니즘 (FiLM Fusion)

두 스트림은 FiLM (Feature-wise Linear Modulation) 을 통해 융합됩니다.

• 모듈로 스트림의 임베딩이 크기 스트림의 임베딩에 스케일 ($\gamma$) 과 시프트 ($\beta$) 를 생성하여 조절합니다.
• 이를 통해 모듈로 정보가 크기 예측에 직접적인 수학적 제약 (Arithmetic Constraint) 으로 작용하도록 합니다.
• 최종 임베딩은 표준 Transformer 인코더 (Pre-Layer Norm) 에 입력됩니다.

다. 다중 태스크 학습 (Multi-task Training)

마스크된 위치의 값을 예측하기 위해 세 가지 헤드를 동시에 최적화합니다:

1. 크기 회귀 (Magnitude Regression): 로그 스케일 값 예측 (Huber Loss).
2. 부호 분류 (Sign Classification): 양수/음수/0 분류 (Cross-Entropy).
3. 모듈로 예측 (Modulo Prediction): 100 개의 모듈로에 대한 나머지 분류 (Cross-Entropy).

• 손실 함수는 $L = L_{mag} + L_{sign} + 2L_{mod}$로 설정되어 모듈로 학습에 더 높은 가중치를 둡니다.

라. 솔버 (Solver)

모델의 예측 (크기, 부호, 나머지 분포) 을 실제 정수로 변환하기 위해 확률론적 중국인의 나머지 정리 (CRT) 기반 솔버를 사용합니다.

• 예측된 크기 범위 내에서 가능한 정수 후보를 생성하고, 모델이 예측한 나머지 확률 분포와 일치하는지 점수를 매겨 최상위 후보를 선택합니다.

3. 주요 기여 (Key Contributions)

1. 아키텍처 혁신: OEIS 수열 학습을 위해 크기 (Magnitude) 와 모듈로 (Modulo) 정보를 FiLM 을 통해 융합한 최초의 이중 스트림 Transformer 를 제안했습니다.
2. 수론적 발견 (Number-theoretic Finding): 모듈로 스펙트럼 분석을 통해 **정규화된 정보 이득 (NIG)**과 오일러 피 함수 비율 ($\phi(m)/m$) 사이에 강한 음의 상관관계 ($r = -0.851$) 가 있음을 발견했습니다. 이는 **합성수 (Composite numbers)**가 CRT 를 통해 더 많은 산술 구조를 효율적으로 집계함을 의미합니다.
3. 성능 향상: 기존 토큰 기반 Transformer 보다 큰 정수 예측과 산술 구조 학습에서 압도적인 성능 개선을 입증했습니다.

4. 실험 결과 (Results)

274,705 개의 OEIS 수열을 사용하여 Small(6.4M), Middle(29.0M), Large(91.5M) 파라미터 크기로 실험했습니다.

• 정확도 (Accuracy):
  • Large 모델 기준: IntSeqBERT 는 크기 정확도 (Mag Acc) 에서 95.85%, 평균 모듈로 정확도 (MMA) 에서 **50.38%**를 기록했습니다.
  • 비교: 기존 Vanilla Transformer 보다 Mag Acc 는 +8.9%p, MMA 는 +4.5%p 더 높았습니다.
  • Ablation Study: 모듈로 스트림을 제거한 모델은 MMA 에서 -15.2%p 급감하여 모듈로 정보가 산술 구조 학습에 필수적임을 입증했습니다. 또한 크기 예측 정확도에도 +6.2%p 기여했습니다.
• 다음 항 예측 (Next-Term Prediction):
  • 솔버를 통한 정수 복원 정확도 (Top-1) 에서 IntSeqBERT 는 **19.09%**를 기록하여, Vanilla baseline(2.59%) 대비 7.4 배의 개선을 보였습니다.
  • 특히 큰 정수 (Large, Huge bucket) 에서 Vanilla 는 UNK 처리로 인해 성능이 붕괴된 반면, IntSeqBERT 는 유의미한 정확도를 유지했습니다.
• 확장성 (Scaling):
  • 모델 크기가 커질수록 모듈로 정확도와 솔버 정확도가 크기 정확도보다 더 급격히 향상되었습니다. 이는 산술 추론 능력이 모델 용량 증가에 더 민감하게 반응함을 시사합니다.

5. 의의 및 결론 (Significance)

• 표현 학습의 새로운 패러다임: 정수 수열과 같은 수학적 데이터 처리에 토큰화 대신 연속적인 로그 스케일과 명시적인 모듈로 임베딩을 결합하는 것이 효과적임을 증명했습니다.
• 수학적 발견 도구: AI 모델이 단순히 패턴을 매칭하는 것을 넘어, 수열의 내재된 수론적 구조 (예: 소수, 합성수, 나머지 규칙) 를 학습하고 이를 통해 새로운 수학적 통찰 (NIG 와 $\phi(m)/m$의 상관관계) 을 도출할 수 있음을 보여주었습니다.
• 실용적 가치: 큰 정수를 다루는 수열 예측, 수학적 가설 생성 (Conjecture Generation), 그리고 수학적 지식의 자동화 (Autoformalization) 를 위한 강력한 기반을 마련했습니다.

이 연구는 AI 가 수학적 구조를 이해하는 데 있어 단순한 통계적 패턴 매칭을 넘어, 수학적 연산 (Modular Arithmetic) 을 명시적인 특징으로 활용하는 것이 핵심임을 시사합니다.