Nothing from Something: Can a Language Model Discover 0?

기술 요약: 무(無)에서 유(有)를: 언어 모델은 0을 발견할 수 있는가?

문제 정의
본 논문은 인공 신경망이 "분포 외(out-of-distribution)" 일반화, 즉 훈련 데이터에 존재하지 않는 진정으로 새로운 수학적 구조를 가설화하고 학습할 수 있는 능력을 갖추고 있는지 조사한다. 최근의 대규모 언어 모델(LLM)들이 복잡한 수학적 벤치마크(예: IMO, Putnam)에서 높은 성능을 달성하고 있으나, 이러한 성공은 주로 테스트 문제의 복잡성과 내용을 반영하는 훈련 데이터에 의존하고 있다. 저자들은 진정한 수학적 발견을 위해서는 시스템이 개념적 간극을 메우는 것, 즉 하나의 개념 세계에서 더 강력한 개념을 포함하는 세계로 이동하는 능력이 필요하다고 상정한다. 본 논문은 '0'의 도입을 사례 연구로 사용하여, 양수 단일 자릿수 산술만을 학습한 모델이 0을 포함하도록 일반화할 수 있는지, 그리고 언어 사전 학습이 이러한 도약을 촉진하는지를 묻는다.

방법론
저자들은 GPT 스타일의 디코더 전용 트랜스포머(구체적으로 GPT-2 크기의 아키텍처)를 사용하는 통제된 실험 설정을 채택하였다.

• 모델: 두 가지 주요 구성이 테스트되었다: 소형 모델(4개 레이어, 128 차원 임베딩, 약 80만 개의 파라미터)과 대형 모델(12개 레이어, 768 차원 임베딩, 약 1억 2,400만 개의 파라미터). 이들은 네 가지 조건 하에 평가되었다: (1) 필터링되지 않은 OpenWebText로 사전 학습된 경우, (2) 숫자와 수학 기호가 제거된 필터링된 OpenWebText 코퍼스로 사전 학습된 경우, (3) 특정 수학 훈련 없이 필터링되지 않은 데이터로 사전 학습된 경우, (4) 사전 학습이 전혀 없는 경우.
• 데이터 구축:
  • 산술 과업: 모델은 가변 길이의 단일 자릿수 덧셈 및 뺄셈 문제(2~4개의 피연산자)에 대해 훈련되었다.
  • 제로 홀드아웃(Zero-Holdout) 전략: 훈련 및 검증 세트에는 0이 피연산자나 결과값으로 등장하지 않는 문제들만 포함되었다(단, 다자릿수 정수의 일의 자리인 "10"과 같은 경우는 제외). 테스트 세트는 0을 요구하는 문제들(예: "3-3=0" 또는 "0+5=5")로만 구성되었다.
  • 토큰화: 각 숫자와 기호를 별개의 토큰으로 취급하는 커스로 제작된 수동 토큰화 방식을 사용하였다. 이는 모델이 "0"을 더 큰 정수 토큰의 일부가 아닌 특정 토큰으로 취급하도록 보장한다.
  • 언어 사전 학습: '필터링된' 모델이 산술에 대한 사전 노출이 없음을 보장하기 위해, 저자들은 모든 비자연어 문자를 제거하고 숫자를 단어로 변환하며 수학 기호를 필터링하여 OpenWebText를 큐레이션하였다. 퍼플렉시티(Perplexity) 확인을 통해 이 모델들이 산술 토큰에 익숙하지 않음을 확인하였다.
• 실험 설계:
  1. 제로샷 일반화: 양수 전용 산술로 훈련된 모델을 0을 포함하는 문제에 대해 테스트하였다.
  2. 퓨샷 학습: 훈련 데이터의 아주 작은 부분(1개에서 1024개 예시 사이)을 0을 포함하는 문제로 교체하여 샘플 효율성을 측정하였다.
  3. 대조 실험: 0의 특이성을 결정하기 위해 19의 숫자(및 8진법에서의 17)에 대해 제로 홀드아웃 절차를 반복하였다.

주요 결과

1. 제로샷 일반화의 실패: 언어 사전 학습 여부나 모델 크기에 관계없이, GPT-2 크기의 모델들은 0이 훈련 분포에서 완전히 배제되었을 때 0으로 일반화하는 데 실패하였다. 훈련 손실이 감소하고 검증 정확도가 포화 상태에 도달함에도 불구하고, 0을 포함하는 문제에 대한 테스트 정확도는 무작위 수준에 머물렀다.
2. 퓨샷 데이터의 영향: 훈련 세트에 0을 포함하는 예시를 소량 도입했을 때 모델 성능이 크게 향상되었다.
   • 언어 사전 학습을 거친 모델의 경우, 단 64개의 예시(훈련 데이터의 0.64%)만으로 60% 이상의 정확도를 보였고, 1024개의 예시로는 90% 이상의 정확도를 보였다.
   • 샘플 효율성: 언어 사전 학습은 사전 학습이 없는 모델에 비해 필요한 퓨샷 예시의 수를 약 50% 줄였다. 이는 언어 능력이 수학적 발견을 위한 스캐폴드(scaffold, 비계) 역할을 한다는 것을 시사한다.
3. 0의 특수성: 일반화의 난이도는 숫자에 따라 달랐다. 범위 중간에 위치한 숫자(예: 4, 5)는 0이나 올림수(10진법에서의 9, 8진법에서의 7)보다 일반화하기가 더 쉬웠다.
   • 임베딩 벡터 분석 결과, 0과 9의 표현은 중간 숫자들에 비해 "근접 이웃(cosine similarity가 높은 인접 숫자)"이 적은 것으로 나타났다. 이는 모델이 표현적 이웃이 희소한 숫자로 외삽(extrapolate)하는 데 어려움을 겪는다는 가설을 뒷받침한다.
4. 스케일링 한계: 부록에 포함된 더 큰 규모의 오픈 소스 10억 파라미터 모델들도 명시적인 노출 없이는 테스트 시점에 0을 발견하지 못했다. 이는 스케일링 자체만으로는 이 특정 일반화 문제를 해결할 수 없음을 시사한다.

의의 및 주장
본 논문은 신경 모델의 "개념적 일반화"를 측정하는 엄격한 벤치마크를 제공한다고 주장하며, 이를 구성적 일반화(compositional generalization)와 구별한다. 저자들은 다음과 같이 결론짓는다:

• 현재의 GPT-2 크기 모델은 산술 훈련만으로는 0이라는 개념을 자발적으로 발견할 수 없으며, 명시적인 노출이 필요하다.
• 언어 사전 학습은 제로샷 발견을 가능하게 하지는 않지만, 일단 개념이 도입되면 학습 과정을 유의미하게 가속화하여 데이터 요구량을 약 절반으로 줄여준다.
• 이러한 결과는 언어 능력이 인간 인지에서 형식적 개념의 진화를 뒷받침한다는 인지 과학 이론(예: Carey, 2009)과 맥을 같이 한다.
• 0(및 올림수)에 대한 일반화의 어려움은 기존 토큰 표현의 "보간(interpolation)"을 넘어 외삽하려는 모델의 능력에 한계가 있음을 강조한다.

저자들은 이러한 결과가 단순 산술에서의 일반화 메커니즘을 밝히는 데는 유용하지만, 아직 AI가 복잡하고 새로운 수학적 증명을 독립적으로 생성할 수 있음을 입증하는 것은 아니라는 점을 명시하며 신중한 태도를 유지한다. 이 연구는 AI 시스템에서 진정한 수학적 발견을 어떻게 측정하고 잠재적으로 가능하게 할 것인지 이해하기 위한 기초적인 단계로서 기능한다.