LLMs Know More About Numbers than They Can Say

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 수학 문제 해결이나 과학적 추론 분야에서 점차 활용되고 있으나, 숫자 표기법이 혼합된 비교 (Cross-notation comparison) 작업에서는 심각한 오류를 범합니다.

• 구체적 문제: "5.7×10² 와 580 중 어느 것이 더 큰가?"와 같이 과학적 표기법 (Scientific Notation) 과 일반 십진법 (Decimal) 이 섞인 숫자를 비교할 때, 최신 모델 (GPT-4.1 등 포함) 이조차 높은 오류율을 보입니다.
• 핵심 질문: LLM 은 내부적으로 이러한 숫자의 크기를 알고 있는가, 아니면 단순히 숫자의 텍스트 패턴 (문자열) 만을 처리하고 있는가? 즉, LLM 은 숫자의 '크기 (Magnitude)'를 이해하고 있는가?

2. 연구 방법론 (Methodology)

저자들은 7B~8B 파라미터 규모의 오픈 소스 LLM 들을 대상으로 프로빙 (Probing) 기법을 사용하여 모델의 내부 상태 (Hidden States) 를 분석했습니다.

• 데이터셋 구성:
  • 합성 데이터 (Synthetic Data): 과학적 표기법과 일반 숫자를 짝지어 만든 교차 표기법 (Cross-notation) 데이터셋.
  • 실제 데이터 (Real-world Data): arXiv 논문에서 추출된 과학적 텍스트 데이터셋.
• 프로빙 기법 (Probing):
  1. 회귀 프로빙 (Regression Probing): 모델의 은닉 상태 (Hidden States) 에서 선형 회귀 (Linear Regression) 를 훈련하여 숫자의 로그 크기 (Log-magnitude) 를 예측합니다.
  2. 분류 프로빙 (Classification Probing): 두 숫자 중 어느 것이 더 큰지 판단하는 이진 분류기 (Binary Classifier, Logistic Regression) 를 훈련하여 내부 비교 능력을 측정합니다.
  3. 비교 대상: 프로빙 결과 (내부 지식) 와 모델이 언어로 생성한 답변 (Verbalization, One-shot Prompting) 의 정확도를 대조합니다.
• 파인튜닝 실험: 분류 프로빙의 손실 함수 (Loss) 를 LLM 의 학습 목적 함수에 보조 목표 (Auxiliary Objective) 로 추가하여 파인튜닝을 수행하고, 이것이 언어적 추론 능력 향상으로 이어지는지 확인했습니다.

3. 주요 발견 및 결과 (Key Findings & Results)

A. 내부 지식과 언어적 표현의 괴리 (The Gap)

• 높은 내부 정확도: 선형 프로빙을 통해 추출한 LLM 의 은닉 상태는 숫자의 크기를 매우 정확하게 인코딩하고 있었습니다.
  • 합성 데이터 기준: 로그 크기 예측 오약 2.3% (Mistral-7B).
  • 분류 정확도: 내부 상태만 보면 두 숫자의 크기를 비교하는 데 90% 이상의 정확도를 보입니다.
• 낮은 언어적 표현 정확도: 동일한 숫자 쌍을 비교하라고 요청했을 때 (One-shot prompting), 모델들의 언어적 답변 정확도는 50~70% 수준에 머물렀습니다. 이는 무작위 추측 (50%) 에 가깝거나 그보다 약간 높은 수준으로, 내부에 정확한 지식이 있음에도 불구하고 이를 언어로 표현하는 데 실패함을 의미합니다.

B. 레이어별 인코딩 특성

• 숫자의 크기와 비교 정보는 모델의 후반부 레이어에서 더 명확하게 인코딩되는 경향이 있으나, 언어 생성 (Verbalization) 과의 상관관계는 초기 레이어 (첫 3 레이어) 의 프로빙 성능과 더 강하게 연관되어 있었습니다.
• 이는 초기 레이어의 표현 품질이 최종 언어 출력의 질을 예측하는 지표가 될 수 있음을 시사합니다.

C. 파인튜닝을 통한 개선 (Causal Link)

• 실험: 파인튜닝 시 모델의 언어 손실 (LM Loss) 에 더해 프로빙 손실 (Probing Loss) 을 보조 목표로 추가했습니다.
• 결과: 보조 목표를 포함한 파인튜닝을 수행한 모델들은 베이스 모델 대비 약 3.22% 추가적인 정확도 향상을 보였습니다.
  • 예: Mistral-7B 의 경우 정확도가 50% 에서 99.31% 로 급격히 상승했습니다.
• 의미: 이는 LLM 이 내부적으로 숫자 크기를 더 잘 표현하도록 유도하면 (내부 지식 개선), 자연스럽게 언어적 추론 능력 (표현) 도 향상된다는 인과 관계를 입증했습니다.

4. 주요 기여 (Contributions)

1. LLM 의 수치적 능력에 대한 새로운 통찰: LLM 은 숫자의 크기를 선형적으로 인코딩하고 내부적으로 비교할 수 있는 능력을 갖추고 있음이 밝혀졌습니다. 즉, "숫자 감각 (Number Sense)"이 존재합니다.
2. 표현의 한계 규명: 모델은 내부적으로 정답을 알고 있음에도 불구하고, 생성 과정에서 이를 올바르게 표현하지 못하는 '언어적 병목 현상'이 존재함을 증명했습니다.
3. 개선 방법 제시: 내부 표현을 직접적으로 개선하는 것 (프로빙 손실 활용) 이 추론 성능을 높이는 효과적인 전략임을 실험적으로 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • LLM 의 수학적/과학적 추론 실패 원인이 '지식의 부재'가 아니라 '지식 접근성 (Access)' 또는 '표현 능력'의 문제일 수 있음을 시사합니다.
  • 단순한 데이터 양 증가가 아닌, 내부 표현 (Internal Representations) 을 타겟으로 한 튜닝이 LLM 의 수치적 능력을 향상시킬 수 있는 새로운 방향을 제시합니다.
• 한계:
  • 대부분의 핵심 발견이 통제된 합성 데이터에서 나왔으며, 실제 과학 텍스트 (arXiv) 에서는 프로빙 정확도가 다소 낮았습니다.
  • 현재 연구는 7B~8B 규모의 오픈 소스 모델에 국한되었으며, GPT-4.1 등 대형 폐쇄형 모델의 내부 구조는 직접 분석하지 못했습니다.
  • 단위 (Unit) 나 문맥적 의미 (Context) 를 고려하지 않고 숫자의 크기 (Magnitude) 만을 분석했습니다.

결론

이 논문은 "LLM 은 숫자에 대해 말보다 더 많이 알고 있다" 는 역설적인 사실을 증명합니다. 모델은 내부적으로 숫자의 크기를 정확히 계산하고 비교할 수 있는 능력을 갖추고 있으나, 이를 언어로 출력하는 과정에서 실패합니다. 그러나 내부 표현을 개선하는 추가적인 학습 (Auxiliary Probing Loss) 을 통해 이러한 격차를 해소하고 추론 능력을 획기적으로 향상시킬 수 있음을 보여주었습니다.