기술 요약: 덧셈의 형상: 대규모 언어 모델에서의 산술적 기하 구조

1. 문제 제기

대규모 언어 모델(LLM)은 복잡한 수학적 추론 벤치마크(예: GSM8K, MATH)에서 높은 성능을 달ras에도 불구하고, 기본적인 알고리즘 프리미티브, 특히 다자릿수 산술에서 놀라운 취약성을 보입니다. 핵심적인 역설은 모델이 내부적으로는 올바른 정보를 인코딩하고 있음에도 불구하고 이를 출력하는 데 실패하며, 피연산자의 수가 증가함에 따라 빈번하게 "오차 1(off-by-one)" 오류를 범한다는 점입니다. 기존 연구들은 이러한 동작을 기호적 조작이나 기하학적 표현을 통해 모델링하려고 시도했으나, 특정 출력 실패(예: 올림 전파 오류)와 내부 활성화 기하 구조 사이의 정확한 메커니즘은 여전히 밝혀지지 않았습니다. 또한, 경량 프로브(probe)가 실패하는 모델로부터 정답(ground truth)을 디코딩할 수 있음에도 불구하고, 단일 활성화 벡터 내에서 정답과 환각이 공존할 수 있게 하는 기하학적 구조가 무엇인지는 아직 완전히 규명되지 않았습니다.

2. 방법론

저자들은 10자리 정수의 3항 덧셈을 수행하는 LLM의 미세한 내부 표현을 조사합니다. 본 연구는 차원 축소, 프로빙(probing), 그리고 인과적 개입(causal intervention)을 결কে한 다각적인 접근 방식을 채택합니다.

• 데이터셋 및 설정: Qwen3-4B 모델을 사용하여 10,000개의 덧셈 문제 데이터셋을 구축했습니다. 저자들은 모든 생성된 숫자 위치($p$)의 은닉 상태 벡터($h_p^{(L)}$)를 추출하며, 주로 대표적인 중간 위치($p=4$)에 집중합니다.
• 기하학적 시각화: 고차원 활성화 공간을 코사인 거리를 사용한 UMAP(Uniform Manifold Approximation and Projection)을 통해 2D로 투영합니다. 시각화에는 의미적 참조를 제공하기 위해 숫자 토큰(0–9)에 대한 고정된 "앵커(Anchor)" 벡터가 포함됩니다.
• 프로빙 프레임워크: 잔차 스트림(residual stream) 활성화로부터 다양한 이산적 및 연속적 변수를 디코딩하기 위해 경량 프로브(로지스틱 회귀, MLP)를 학습시킵니다. 여기에는 정답 숫자, 모델 출력, 입력 올림(input carry), 원시 합계(raw sum), 그리고 새롭게 정의된 연속 변수인 "올림 잠재력(Carry Potential)"이 포함됩니다.
• 인과적 스티어링(Causal Steering): 기하학적 가설을 검증하기 위해, 저자들은 식별된 궤적 상의 안정적인 중심점들 사이의 스티어링 벡터를 정의하고, 활성화에 개입하여 생성된 토큰의 변화를 관찰합니다.
• 추론 시 교정(Inference-Time Correction): 로컬 신호(Raw Sum)와 글로벌 신호(Carry Potential) 사이의 논리적 정렬을 강제함으로써 오류를 탐지하고 교정하는 이중 스트림 일관성 검사 방법을 제안합니다.

3. 주요 결과 및 기여

A. 등합 원시 합계 궤적 (Iso-Raw-Sum Trajectory, IRST)

주요한 기하학적 발견은 **등합 원시 합계 궤적(IRST)**입니다. 저자들은 산술 표현이 다음과 같은 계층적 구조로 조직되어 있음을 확인했습니다:

• 거시적 백본(Macroscopic Backbone): 표현은 의미적 앵커(0–9)를 중심으로 10개의 뚜렷한 "숫자 분지(digit basins)"로 클러스터링됩니다.
• 미시적 질감(Microscopic Texture): 각 분지 내부에서 공간은 입력 올림 상태($c_p \in \{0, 1, 2\}$)에 의해 결정되는 평행한 섬유(fibers) 형태로 층을 이룹니다.
• 궤적 정의: IRST($T_r$)는 동일한 원시 합계($r_p$)를 공유하는 모든 내부 상태를 연결하는 연속적인 매니폴드입니다. 이 궤적들은 인접한 숫자 분지들을 관통하는 연속적인 "실(threads)" 역할을 합니다. 예를 들어, $r_p=1$인 궤적은 입력 올림이 증가함에 따라 출력 숫자 1, 2, 3에 해당하는 안정적인 노드들을 연결합니다.

B. 기하학적 미끄러짐으로서의 산술 오류

산술 오류는 무작위 노이즈가 아니라 **기하학적 미끄러짐(Geometric Slippages)**으로 특징지어집니다.

• 올바른 예측은 숫자 분지 내의 안정적인 노드 주변에 밀집해 있습니다.
• 오류는 활성화 벡터가 IRST를 따라 인접한 분지나 섬유 사이의 전이 구역으로 표류할 때 발생합니다.
• 이러한 표류는 모델이 인접한 올림 상태를 혼동하여(예: $c_p=0$을 $c_p=1$로 혼동), 표현이 한 숫자 분지에서 인접한 다른 분지로 미끄러지는 "오차 1" 오류로 나타납니다.

C. 노이즈 양자화 모델 (Noisy Quantization Model)

이러한 궤적의 연속성을 설명하기 위해, 저자들은 노이즈 양자화 모델을 제안합니다.

• 연속적 올림 잠재력 ($\Phi$): 모델은 문맥으로부터 유도된 올림 신호의 추진력 또는 모멘텀을 나타내는 연속적인 "올림 잠재력"을 내부적으로 추정합니다. 이산적인 실제 올림 값은 이 잠재력의 정수 하한값($c_p = \lfloor \Phi \rfloor$)입니다.
• 양자화 실패: 모델의 내부 추정치는 신경망 노이즈($\epsilon$)에 의해 오염됩니다. 오류는 인지된 잠재력($\hat{\Phi} = \Phi + \epsilon$)이 정수 양자화 임계값을 넘어설 때 발생합니다.
• 욕조형 오류 분포(Bathtub Error Distribution): 이 메커니즘은 오류율이 정수 경계 근처(메타스테이빌리티, 불안정성)에서 급증하고 반정수 값(강건한 플래토)에서 사라지는 주기적인 "욕조형" 오류 분포를 예측합니다. 실증 데이터는 이 패턴을 확인하며, 이를 통해 모델의 내부 인지 노이즈 수준($\sigma \approx 0.05$, 3항 덧셈 기준)을 추정할 수 있게 합니다.

D. 프로브 다재다능성의 기하학적 기원

본 논문은 왜 경량 프로브가 단일 벡터로부터 다양한 신호(정답, 모델 출력, 올림)를 동시에 디코딩할 수 있는지에 대한 기하학적 설명을 제공합니다. 이러한 "프로브 다재다능성"은 매니폴드의 **위상적 분리 가능성(topological separability)**의 직접적인 함수입니다. 원시 합계의 높은 분리성과 IRST 섬유의 구조화된 특성 덕분에, 프로브는 최종 출력이 오류인 상황에서도 공존하는 잠재 신호들을 분리해낼 수 있습니다.

E. 추론 시 자기 교정 (Inference-Time Self-Correction)

올바른 잠재 신호의 유지를 검증하기 위해, 저자들은 이중 스트림 일관성 프로토콜을 도입합니다.

1. 로컬 계산 스트림(Raw Sum)과 글로벌 문맥 스트림(Carry Potential)을 디코딩합니다.
2. 모델의 출력이 잠재력의 이웃 범위에서 도출 가능한 그 어떤 타당한 올림과도 일치하는지 확인합니다.
3. 불일치할 경우, 상태를 올바른 매니폴드 섬말로 다시 투영하여 출력 로짓을 덮어씁니다.
   이 방법은 성능을 유의미하게 회복시키며(예: Qwen3-4B에서 토큰 정확도를 86.26%에서 89.56%로 향상), 이는 모델이 이산적인 토큰 선택에 실패하더라도 올바른 수학적 구성 요소를 유지하고 있음을 입증합니다.

4. 결과

• 시각화: UMAP 투영은 숫자 분지와 층화된 올림 섬유를 가진 명확한 계층 구조를 보여주며, 이는 다양한 모델(Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT)과 작업 복잡도(3항에서 5항 덧셈까지)에 걸쳐 일관되게 나타납니다.
• 오류 모델링: 노이즈 양자화 모델은 높은 충실도($R^2 \approx 0.80$)로 경험적 오류 분포를 적합시키며, 오류의 주기적 특성을 정확하게 예측합니다.
• 인과적 검증: 스티어링 실험은 IRST 방향을 따라 표현을 이동시키는 것이 생성된 숫자를 인과적으로 변화시킨다는 것을 보여줍니다. 특히 경계에 인접한 상태는 안정적인 상태보다 값을 뒤집기 위해 더 작은 섭동(perturbation)을 필요로 합니다.
• 교정 효능: 이중 스트림 일관성 검사는 기하학적 미끄러짐을 효과적으로 교정하며, 교정된 오류의 대부분은 "오차 1" 사례였습니다. 절제 연구(ablation studies)는 출력이 틀린 상황에서도 로컬 원시 합계 신호는 견고하게 유지됨을 확인하여, 노이즈가 있는 올림 잠재력이 주요 병목임을 격리해냈습니다.

5. 의의 및 주장

본 논문은 산술을 순수하게 기호적 조작이나 이산적 상태 전이로 보는 관점을 넘어, LLM의 산술 실패에 대한 기계론적 기하학적 설명을 제공한다고 주장합니다.

• 통합 프레임와: 프로브의 다재다능성과 산술적 취약성을, 오류가 매니폴드 상의 연속적인 표류로 발생하는 하나의 기하학적 프레임워크 아래 통합합니다.
• 잠재 신호 유지: LLM이 이산적인 출력을 생성하는 데 실패하더라도 올바른 연속적 내부 표현(올림 잠재력)을 유지하는 경우가 많음을 입증하며, 이는 산술에서의 환각이 지식의 부재라기보다는 양자화 실패인 경우가 많음을 시사합니다.
• 보편성: IRST 기하 구조와 노이즈 양자화 역학은 서로 다른 모델 아키텍처와 규모에서 관찰되며, 이는 최첨단 LLM에서 산술 표현을 위한 수렴된 메커니즘이 존재함을 시사합니다.
• 실용적 개입: 내부 일관성에 기반한 추론 시 개입이 성능을 회복할 수 있음을 검증함으로써, 연속적인 신경적 사고를 이산적인 기호 출력으로 매핑하는 과정을 안정화하여 LLM의 신뢰성을 높이는 경로를 제시합니다.

저자들은 현재의 증거가 완전한 회로 수준의 국지화(localization)보다는 시각화와 프로빙의 결적합임을 언급하며 신중한 태도를 유지하며, 다자릿수 토큰을 사용하는 BPE 기반 모델은 올림 신호가 얽혀 있을 수 있다는 점을 들어 이를 향후 연구의 과제로 남겨두었습니다.