이 논문은 **"인공지능 (AI) 이 왜 덧셈을 잘 못 하는지, 그 실패가 어떻게 단계별로 일어나는지"**를 아주 작은 실험실 환경에서 파헤친 연구입니다.
일반적으로 우리는 AI 가 덧셈 문제를 풀 때, "맞췄다/틀렸다"는 점수 하나만 봅니다. 하지만 이 논문은 **"점수가 낮다는 건 단순히 '못해서'가 아니라, 어떤 단계에서 막혔기 때문"**이라고 말합니다. 마치 3 층 건물을 지으려다 1 층이 무너지면 2 층, 3 층은 아예 지을 수 없는 것과 비슷합니다.
연구진은 아주 작은 AI(미니 GPT) 를 만들어 2 자리 수 덧셈 (예: 49+07) 을 완벽하게 가르친 뒤, 3 자리 수 (예: 201+760) 로 확장했을 때 왜 실패하는지 4 단계로 나누어 분석했습니다.
이 과정을 비유를 들어 쉽게 설명해 드리겠습니다.
🏗️ AI 덧셈 실패의 4 단계 스토리
1 단계: "옷장 정리 실패" (레이아웃 장벽)
상황: AI 는 2 자리 수 덧셈을 완벽하게 배웠습니다. 하지만 3 자리 수를 보여줄 때, 숫자의 **배열 (레이아웃)**만 바뀌면 (예: 49 대신 049) AI 는 당황해서 아무것도 못 합니다.
비유: 마치 옷장을 생각해보세요. AI 는 2 개의 옷걸이에 걸린 옷 (2 자리 수) 을 정리하는 법은 완벽하게 알지만, 갑자기 옷걸이 3 개가 달린 새로운 옷장 (3 자리 수) 을 주면, "어? 옷걸이 개수가 달라졌는데 어떡하지?"라고 혼란을 겪습니다.
해결: AI 가 3 자리 수 모양을 직접 보며 훈련해야만 이 장벽을 넘을 수 있습니다. 단순히 "위치 감각"을 가르치는 것만으로는 부족합니다.
2 단계: "불꽃 신호등 오해" (캐리/올림수 의미 혼동)
상황: 옷장 문제는 해결됐습니다. 이제 3 자리 수의 '백의 자리' 숫자를 보게 됩니다. 그런데 AI 는 이 숫자를 '백 (100)'이라는 뜻으로 쓰지 않고, **"아래에서 올림수가 올라왔나?"를 알려주는 신호등 (플래그)**처럼만 사용합니다.
비유: 신호등이 초록불이면 "차량 (숫자) 이 지나가라"는 뜻인데, AI 는 신호등을 보고 "아, 신호등이 켜졌네? 그럼 차가 지나가는 게 아니라, 신호등 자체가 목적지인가?"라고 착각합니다. 즉, 숫자의 진짜 의미를 잊어버리고 단순한 기호로만 인식합니다.
해결: AI 에게 "이 숫자는 진짜 숫자야, 신호등이 아니야"라고 특정 교정 데이터를 주면, 신호등 오해가 사라집니다.
3 단계: "상단과 하단의 연결 실패" (조건부 재구성)
상황: 이제 AI 는 '백의 자리'를 제대로 이해합니다. 하지만 정답을 완성하지 못합니다. 앞부분 (상단) 은 맞는데, 뒷부분 (하단) 을 잘못 붙여버립니다.
비유:레고 블록을 조립한다고 생각해보세요. AI 는 1 층과 2 층 (상단 숫자) 은 완벽하게 쌓아올렸습니다. 하지만 3 층 (하단 숫자) 을 올릴 때, "1 층이 이렇게 쌓였을 때, 3 층은 이렇게 올라가야 해"라는 연결 규칙을 모릅니다. 그래서 1 층은 완벽해도 3 층이 삐뚤어져 전체가 무너집니다.
해결: "올바른 상단 상태"를 기준으로 "올바른 하단"을 가르치는 맞춤형 데이터를 주면, 이 연결 고리가 단단해집니다.
4 단계: "마지막 미세한 흔들림" (나머지 오차)
상황: 앞의 모든 문제가 해결되어 AI 는 거의 완벽해졌습니다. 하지만 아주 가끔, '십의 자리' 숫자가 1 정도씩 틀립니다.
비유: 이제 정교한 시계를 만들었습니다. 바늘은 거의 정확히 가리키는데, 시계 바늘이 약간만 앞이나 뒤로 흔들립니다. 특히 "올림수가 있었을 때"와 "없었을 때"에 흔들리는 방향이 다릅니다.
해결: 이 마지막 오차는 AI 가 "올림수 상황"에 따라 십의 자리 숫자를 너무 크게 혹은 너무 작게 계산하는 버릇 때문입니다. 이 버릇만 고치면 완벽해집니다.
💡 이 연구가 우리에게 주는 교훈
점수 하나만 보면 안 됩니다: AI 가 덧셈을 못 한다고 해서 "머리가 나쁘다"고 단정 짓지 마세요. 어떤 단계 (옷장, 신호등, 레고 연결, 시계 흔들림) 에서 막혔는지 찾아야 합니다.
문제 해결은 단계별로: AI 를 고칠 때는 "더 많은 데이터"를 무작정 주는 것보다, 현재 막힌 단계에 딱 맞는 치료제를 주는 것이 훨씬 효과적입니다.
작은 실험이 큰 통찰을 줍니다: 거대한 AI 모델을 다룰 때보다, 아주 작고 통제된 환경에서 실패 원인을 하나씩 분리해 보면, AI 가 어떻게 생각하는지 (혹은 착각하는지) 훨씬 명확하게 알 수 있습니다.
한 줄 요약:
"AI 가 덧셈을 못 하는 건 한 번에 다 망친 게 아니라, 옷장 정리부터 시작해 신호등 오해, 레고 연결, 마지막 시계 흔들림까지 단계별로 막히는 것이니, 각 단계에 맞는 약을 처방해야 한다."
1. 연구 배경 및 문제 제기 (Problem)
현황: 기존 산술 벤치마크는 종종 단일한 '홀드아웃 (held-out)' 점수로 요약됩니다. 그러나 이 하나의 점수는 질적으로 다른 여러 실패 유형을 혼동하여, 모델이 왜 실패하는지, 어떤 부분이 개선되었는지에 대한 명확한 통찰을 제공하지 못합니다.
핵심 질문: 2 자리 덧셈을 완벽하게 학습한 최소 규모의 GPT(minimal GPT) 가 3 자리 덧셈 일반화에 실패할 때, 어떤 장애물이 먼저 발생하고, 그 다음에는 무엇이 실패하며, 각 단계별 수복 (repair) 후 무엇이 남는가?
가정: 2 자리 덧셈 데이터셋은 모든 국소적인 자릿수 전이 (local digit transitions) 를 이미 포함하고 있으므로, 3 자리 일반화 실패는 '국소 규칙 부재' 때문이 아니라 다른 구조적/의미론적 장애물 때문일 것입니다.
2. 방법론 (Methodology)
실험 환경:
모델: Karpathy 의 microGPT 에서 영감을 받은 최소한의 디코더 전용 트랜스포머 (Tensorized mirror).
데이터: 2 자리 덧셈 (00~99) 의 모든 10,000 가지 조합을 포함하는 완전 (exhaustive) 데이터셋.
평가: 3 자리 덧셈으로의 일반화 능력을 측정하기 위해 점진적으로 난이도가 추가된 평가 스위트 (Evaluation Suites) 사용.
실험 설계 (5 단계 접근):
레이아웃 장벽 분석: 학습된 절대 위치 모델이 3 자리 레이아웃 변화에 어떻게 반응하는지 확인 (다양한 위치 인덕티브 바이어스 비교).
캐리 (Carry) 의미론 분석: 100 의 자리 (hundreds position) 가 실제 자릿수로 작용하는지, 아니면 캐리 플래그로 오작동하는지 확인 (타겟팅된 캐리 프로브 vs 매칭된 추가 데이터).
조건부 재구성 (Conditional Recomposition) 분석: 캐리 의미론이 수정된 후, 올바른 상위 상태에 올바른 하위 꼬리 (tail) 를 연결하는 능력 평가.
브리지 실험: 1 층 모델에서 발견된 순서가 2 층 모델 (용량 증가) 에서도 유지되는지 확인.
잔류 오류 분석: 재구성이 해결된 후 남는 마지막 오류가 무엇인지 (10 시드 실험을 통한 정밀 분석).
3. 주요 기여 및 결과 (Key Contributions & Results)
산술 OOD 실패는 단일 현상이 아니라 4 개의 명확하게 분리된 단계로 전개됨을 실험적으로 증명했습니다.
1 단계: 레이아웃 장벽 (Layout Barrier)
현상: 2 자리 덧셈을 완벽하게 학습한 모델도, 동일한 숫자를 3 자리 형식 (예: 049+007) 으로 제시받으면 정확도가 급격히 떨어집니다 (0.920 → 0.0008).
원인: 학습된 절대 위치 (absolute-position) 모델이 레이아웃 변화에 취약함.
해결: 위치 인덕티브 바이어스 (Positional Bias) 자체만으로는 해결되지 않음. 혼합 레이아웃 노출 (Mixed-layout exposure) 즉, 3 자리 형식의 데이터를 학습 과정에 포함시키는 것이 유일한 효과적인 개입이었습니다.
2 단계: 캐리 플래그 의미론 오류 (Carry-Semantics Error)
현상: 레이아웃이 안정화되더라도, 모델은 100 의 자릿수를 '자릿수 (place-value digit)'가 아닌 '캐리 도착 여부 (carry flag)'로 인식하는 경향이 있습니다.
증거: 타겟팅된 캐리 프로브 (targeted probes) 를 적용했을 때, 100 의 자리 예측 시 로짓 마진 (logit margin) 이 반전되었고, 하위 자릿수에 대한 어텐션이 감소하며 상위 위치로 이동했습니다. 이는 단순한 추가 데이터 양의 증가가 아니라 의미론적 규칙의 수정이 필요함을 시사합니다.
현상: 캐리 의미론이 수정되어 상위 자릿수 (100, 1000) 가 정확해지면, 모델은 여전히 올바른 하위 자릿수 (10, 1) 를 연결하는 데 실패합니다.
해결: '상위 상태 (high state)'가 정확할 때만 '하위 꼬리 (tail)'를 학습하는 **조건부 꼬리 데이터 (high-conditioned tail data)**가 가장 효과적이었습니다. 이는 모델이 이미 올바른 상위 상태를 알고 있지만, 이를 하위 결과와 연결 (binding) 하는 능력이 부족함을 의미합니다.
4 단계: 캐리 조건부 10 의 자리 잔류 오류 (Late Tens-Residual)
현상: 재구성이 대부분 해결된 후에도 남는 최종 오류는 매우 구체적입니다. 이는 일반적인 하위 자릿수 혼란이 아니라, 캐리 상태 (c2) 에 의존하는 10 의 자리 부호 (sign) 오류입니다.
c2=0 (캐리 없음): 10 의 자릿수를 과소평가 (under-shoot).
c2=1 (캐리 있음): 10 의 자릿수를 과대평가 (over-shoot).
해결: 'tenspolarity'와 같은 특정 개입을 통해 이 편향을 보정하면, 가장 어려운 천 단위 캐리 스위트에서 정확도가 0.664 에서 0.822로 크게 향상되었습니다.
4. 의의 및 결론 (Significance & Conclusion)
실험적 분해 가능성: 산술 일반화 실패는 하나의 모호한 점수가 아니라, 레이아웃 → 의미론 (캐리 플래그) → 재구성 (바인딩) → 잔류 오류라는 순차적이고 실험적으로 분리 가능한 단계로 나뉩니다.
벤치마크 설계의 제언: 단일 점수보다는 각 단계의 장애물을 분리하여 측정할 수 있는 구조화된 스위트 (structured suites) 가 필요합니다.
방법론적 통찰: 국소 규칙 (local rules) 이 완전히 학습된 상태에서도 일반화가 실패할 수 있으며, 이는 표현 (representation), 의미론 (semantics), 그리고 구성 (composition) 의 각 단계에서 발생하는 고유한 문제를 해결해야 함을 보여줍니다.
검증 가능성: 각 단계별 실패를 특정 개입 (mixed-layout, targeted probe, conditional binding 등) 으로 해결할 수 있음을 증명함으로써, 산술 벤치마크를 단순한 성능 경쟁이 아닌 계산적 장애물을 규명하는 통제된 환경으로 재정의했습니다.
이 연구는 대규모 언어 모델의 산술 능력 평가뿐만 아니라, 신경망의 일반화 실패 메커니즘을 정밀하게 진단하고 해석하는 새로운 프레임워크를 제시한다는 점에서 중요한 의의를 가집니다.