💬 NLP

AI-rithmetic

이 논문은 최신 AI 모델들이 고등 수학에는 능숙하면서도 기초적인 정수 덧셈에서 자릿수가 늘어남에 따라 정확도가 급격히 떨어지는 현상을 분석하며, 이러한 오류의 주요 원인이 토큰화로 인한 숫자 정렬 불일치와 올림 계산 실패에 있음을 밝히고 있습니다.

원저자: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 "천재 수학자인데, 구구단은 못 외우는 바보?"

상상해 보세요. 어떤 사람이 세계 최고의 수학 난제를 풀고, 대학 교수들보다 더 어려운 논문을 써냅니다. 그런데 정작 식당에 가서 "123 + 456이 뭐예요?"라고 물으면 엉뚱한 대답을 하거나, 손가락을 꼽으며 한참을 헤맵니다.

지금의 최첨단 AI(GPT-5, Claude 등)가 딱 이렇습니다. 복잡한 논리 문제는 기가 막히게 풀면서, 정작 초등학생도 하는 **'긴 숫자 더하기'**에서는 자꾸 실수를 합니다. 이 논문은 **"왜 똑똑한 AI가 이런 기초적인 산수에서 자꾸 삐끗하는가?"**를 파헤친 보고서입니다.

🔍 AI가 실수하는 두 가지 결정적인 이유

연구진은 AI가 산수를 틀리는 이유를 크게 두 가지 '병명'으로 진단했습니다.

1. "줄 맞추기 실패" (Misalignment Error) 📏

비유: "글씨를 칸에 맞춰 쓰지 못하는 아이"
우리가 세로셈을 할 때 일의 자리, 십의 자리를 줄에 맞춰 써야 하죠? 그런데 AI는 숫자를 읽을 때 숫자를 하나하나 보는 게 아니라, **'덩어리(Token)'**로 묶어서 읽습니다.

예를 들어, AI는 123을 하나의 덩어리로 인식할 수 있는데, 숫자가 길어지면 이 덩어리들이 서로 어긋나면서 마치 줄이 삐뚤빼뚤하게 써진 연습장처럼 숫자의 위치를 잘못 파악하게 됩니다. "일의 자리에 십의 자리를 갖다 대고 더하는" 식의 실수를 하는 것이죠.

2. "아슬아슬한 올림 실수" (Close Carry Error) 🎲

비유: "9 다음엔 10이라며? 아, 맞다! (깜빡)"
더하기를 하다 보면 9 다음에 1을 위로 올려주는 '올림'을 해야 하죠? AI는 이 과정에서 아주 미세한 실수를 합니다.

9를 더해서 10이 되어야 하는데 "어? 그냥 9인가?" 하고 넘어가거나, 반대로 10이 아닌데 "올려야지!" 하고 실수합니다. 연구진은 이 실수가 마치 **'동전 던지기'**와 같다고 말합니다. 숫자가 길어질수록 올림을 해야 할 상황이 많아지는데, 그때마다 AI가 동전을 던져서 '실수'라는 면이 나오면 틀려버리는 식이죠. 즉, 운 나쁘게 연속해서 동전이 잘못 나오면 계산이 완전히 망가지는 것입니다.

💡 이 연구가 왜 중요한가요?

"겨우 더하기 문제 가지고 뭘 그래?"라고 생각하실 수도 있습니다. 하지만 이 연구가 주는 메시지는 훨씬 깊습니다.

규모의 경제가 만능은 아니다: 모델을 엄청나게 크게 만든다고 해서(Scaling) 이 문제가 저절로 해결되지 않는다는 것을 보여줍니다. 덩치가 커져도 기초 체력(산수)은 별개의 문제라는 거죠.
AI의 '생각 방식'을 이해하기: AI는 인간처럼 숫자를 이해하는 게 아니라, 우리가 만든 '언어 규칙(토큰)'에 따라 숫자를 처리합니다. 이 규칙이 오히려 AI의 발목을 잡고 있다는 것을 밝혀낸 것입니다.

🏁 결론

현재의 AI는 **"엄청난 지식을 가진 천재지만, 아주 정교한 계산기 기능은 갖추지 못한 상태"**입니다. 이 논문은 AI가 진정한 '범용 인공지능(AGI)'이 되기 위해서는, 단순히 지식을 많이 쌓는 것을 넘어 **기초적인 논리적 규칙을 완벽하게 수행하는 '정교함'**이 필요하다는 것을 경고하고 있습니다.

[기술 요약] AI-rithmetic*: 프론티어 LLM의 산술 능력 결함에 관한 체계적 조사

1. 문제 정의 (Problem)

최근의 대규모 언어 모델(LLM)은 국제 수학 경시 대회에서 메달을 따거나 복잡한 수학적 정리를 증명하는 등 고등 수학 분야에서 놀라운 성과를 보이고 있습니다. 그러나 이와 대조적으로, 매우 단순한 정수 덧셈(Integer Addition) 작업에서는 숫자의 자릿수가 늘어남에 따라 정확도가 급격히 떨어지는 현상이 관찰됩니다. 본 논문은 AI 모델이 왜, 그리고 어떤 방식으로 기초적인 산술에서 실패하는지를 체계적으로 규명하고자 합니다.

2. 연구 방법론 (Methodology)

연구진은 Claude Opus 4.1, GPT-4o, GPT-5, Gemini 2.5 Pro/Flash, Gemma 3 27B 등 최신 프론티어 모델들을 대상으로 실험을 설계했습니다.

실험 설정: $d$ 자리의 두 정수를 무작위로 생성하여 $A + B$ 를 계산하도록 요청하는 프롬프트를 사용했습니다. 자릿수( $d$ )는 1부터 100까지 변화시키며 실험을 진행했습니다.
오류 분류 체계: 모델의 오답을 세 가지 주요 범주로 정의하여 분석했습니다.
1. 정렬 오류 (Misalignment Error): 입력값 중 하나의 숫자가 좌우로 몇 칸씩 밀려서 계산되는 경우.
2. 근접 올림 오류 (Close Carry Error): 올림(Carry)이 필요한 상황(합이 10인 경우)에서 올림을 하지 않거나, 올림이 필요 없는 상황(합이 9인 경우)에서 실수로 올림을 하는 경우.
3. 폭주 오류 (Runaway Error): 정답보다 훨씬 긴(50% 이상 긴) 숫자를 출력하는 경우.
통계적 검증: 오류의 원인이 토큰화(Tokenization) 방식에 있는지, 혹은 각 자리의 계산이 독립적인 확률적 실패(Stochastic failure)로 발생하는지를 수학적으로 검증했습니다.

3. 주요 연구 결과 (Key Results)

① 자릿수 증가에 따른 성능 저하

모든 프론티어 모델은 숫자의 자릿수가 증가함에 따라 정확도가 유의미하게 하락했습니다. 특히 모델의 크기가 커지더라도 자릿수가 늘어남에 따라 발생하는 오류를 완전히 극복하지 못했으며, 성능이 자릿수에 따라 단조 감소하지 않고 불규칙하게 변동하는 양상을 보였습니다.

② 오류의 원인 규명 (Error Breakdown)

대부분의 오류는 위에서 정의한 두 가지 핵심 원인으로 설명 가능했습니다.

Claude Opus 4.1: 오류의 **87.9%**가 정렬 및 올림 오류.
GPT-5: 오류의 **62.9%**가 정렬 및 올림 오류.
Gemini 2.5 Pro: 오류의 **92.4%**가 정렬 및 올림 오류.
결과적으로 모든 모델 오류의 최소 55.6% 이상이 이 두 가지 유형에 해당함을 확인했습니다.

③ 토큰화와 정렬 오류의 상관관계 (Tokenization & Misalignment)

GPT-5와 GPT-4o의 경우, 정확도가 자릿수의 3의 배수 여부에 따라 주기적으로 변하는 현상이 발견되었습니다. 이는 해당 모델들이 숫자를 3자리씩 묶어서 하나의 토큰으로 처리하는 'Multi-digit tokenization' 방식을 사용하기 때문입니다. 토큰의 길이가 가변적일 때 숫자의 위치를 맞추는 데 어려움을 겪는다는 것을 입증했습니다.

④ 독립적 확률 모델과 올림 오류 (Independence & Close Carry)

올림 오류는 각 자리에서 독립적으로 발생하는 확률적 사건에 가깝다는 것을 발견했습니다. 즉, 모델이 한 자리에서 올림 실수를 했다고 해서 다음 자리의 실수 확률이 높아지는 것이 아니라, 각 '근접 올림' 상황마다 독립적인 확률 $p$ 로 실패하는 기하 분포(Geometric distribution) 모델을 따랐습니다.

4. 연구의 의의 및 시사점 (Significance)

AI의 한계 노출: 본 연구는 AI가 고등 수학을 잘한다고 해서 기초적인 논리적/산술적 메커니즘이 인간과 유사하게 완성되어 있는 것은 아님을 보여줍니다. 현재의 LLM은 산술을 '알고리즘'으로서 완벽히 구현하기보다는, 학습 데이터의 패턴에 의존하는 '불완전한 전략'을 사용하고 있습니다.
설계적 결함 지적: 모델의 성능 저하가 단순히 데이터 양의 문제가 아니라, 토큰화(Tokenization) 및 자기회귀(Auto-regression) 방식과 같은 모델의 근본적인 설계 구조와 밀접하게 연관되어 있음을 밝혀냈습니다.
신뢰할 수 있는 AI를 위한 방향성: 단순히 모델의 크기를 키우는(Scaling) 것만으로는 산술과 같은 정밀한 작업의 오류를 해결할 수 없음을 시사합니다. 향후 신뢰할 수 있는 범용 AI를 구축하기 위해서는 새로운 모델 아키텍처, 데이터 구성, 혹은 도구 활용(Tool-use) 능력을 결합한 새로운 접근 방식이 필요함을 강조합니다.