기술적 요약: 자연 환경의 산술

문제 제기

본 논문은 대규모 언어 모델 (LLM) 에서 표현 기하학의 알고리즘적 역할을 조사하며, 특히 모델이 순환적 개념(예: 달, 요일, 시간) 을 어떻게 추론하는지에 초점을 맞춥니다. 이전 연구들은 LLM 이 이러한 개념을 원형 기하학을 사용하여 표현한다는 점 (Engels et al., 2025) 과 모듈러 산술로 훈련된 소형 트랜스포머가 주기적 기저 위에서 작동한다는 점 (Nanda et al., 2023) 을 입증했습니다. 그러나 중요한 질문이 남아 있습니다: 입력 표현의 원형 구조가 원형 계산을 의미하는가?

저자들은 Llama-3.1-8B 가 "8 월로부터 6 개월 후는 몇 월인가?"와 같은 질문에 답할 때 원형 다양체 (manifold) 를 따라 회전하여 계산할 것이라고 가정했습니다. 그러나 그들은 모델이 개념의 특정 주기 내에서 (예: 달의 경우 12 로 나눈 나머지) 직접 모듈러 산술을 수행하지 않는다는 사실을 발견했습니다. 대신, 모델은 결과를 순환 공간으로 다시 매핑하기 전에 범용적이고 작업과 무관한 10 진법 덧셈 메커니즘을 활용합니다.

방법론

본 연구는 Llama-3.1-8B 의 내부 메커니즘을 해부하기 위해 인과 분석과 기하학적 프로빙을 결합합니다.

1. 분산 정렬 탐색 (DAS) 을 통한 인과적 추상화:

   • 저자들은 DAS (Geiger et al., 2023) 를 사용하여 잔여 스트림 (residual stream) 내에 인과 변수 (입력 개념, 오프셋, 출력 개념) 를 인코딩하는 저랭크 부분 공간을 국소화합니다.
   • 이러한 변수들이 언제 그리고 어디서 결합되는지 결정하기 위해 **교환 개입 정확도 (IIA)**를 측정합니다. 이는 반사실적 프롬프트의 숨겨진 상태를 원래 프롬프트에 패치하여 모델의 출력이 예측 가능하게 변하는지 확인하는 과정을 포함합니다.
   • 이 분석을 통해 계산이 발생하는 특정 레이어와 토큰 위치를 분리해냅니다.

2. 교차 작업 패칭:

   • 공유 메커니즘 가설을 검증하기 위해 저자들은 표준 산술 작업 ($a+b=$) 과 순환 작업 (예: 달) 간에 "패칭" 실험을 수행합니다.
   • 공유된 DAS 부분 공간 내에서 덧셈 프롬프트의 잔여 스트림을 순환 프롬프트로 (그 반대로도) 패치하여 모델이 각각 합이나 순환 개념을 출력하는지 관찰합니다.

3. 푸리에 프로빙 및 조종:

   • 저자들은 10 진법 숫자를 표현하는 것으로 알려진 특정 주기 $T \in \{2, 5, 10, 20, 50, 100\}$를 가진 **푸리에 특징 (사인파 표현)**을 탐지하기 위해 선형 프로브를 훈련합니다 (Kantamneni & Tegmark, 2025).
   • 표준 덧셈으로 훈련된 이러한 특징들이 순환 작업에서 존재하며 인과적인지 확인합니다.
   • 이러한 프로브를 사용하여 모델의 내부 상태를 조종하여 "모듈로 전 합 (pre-modulo sum)"을 반사실적 값으로 강제하여 출력이 이에 따라 변하는지 확인합니다.

4. 뉴런 식별 및 제거:

   • 저자들은 DAS 출력 부분 공간에 기록하는 레이어 18 의 희소 MLP 뉴런 집합을 식별합니다.
   • 이러한 뉴런들의 활성화 패턴을 분석하여 주기성에 따라 클러스터로 분할합니다.
   • 특정 뉴런을 제거 (제로화) 하는 제거 연구를 수행하여 모델 성능에 대한 인과적 기여도를 정량화합니다.

주요 결과

1. 공유된 10 진법 덧셈 메커니즘

원형 계산 가설과 달리, 모델은 순환 작업을 10 진법 덧셈 메커니즘을 사용하여 계산합니다.

• 2 단계 과정: 모델은 먼저 수치 공간에서 입력의 합을 계산한 후 (예: $6 + 8 = 14$), 이후 레이어에서 이 합을 순환 개념 공간으로 매핑합니다 (예: $14 \to 2 월$).
• 레이어 18 국소화: 인과 분석은 입력 개념과 오프셋이 마지막 토큰 위치에서 레이어 18 MLP에서 결합됨을 보여줍니다. 중요하게도, 출력 개념의 원형 기하학 (예: "요일의 원") 은 레이어 18 에서는 존재하지 않으며, 레이어 22~25 에서만 나타납니다.
• 교차 작업 패칭: 덧셈 프롬프트 ($6+8=$) 에서 순환 프롬프트로 패칭하면 모델은 합에 해당하는 순환 개념 (예: 2 월) 을 출력합니다. 반대로 순환 프롬프트에서 덧셈 프롬프트로 패칭하면 모델은 모듈로 전 합 (예: 14) 을 출력하며, 이는 모델이 깨끗한 실행에서 올바른 순환 답을 생성하지 못하더라도 마찬가지입니다.

2. 푸리에 특징과 작업 무관성

모델은 덧셈을 수행하기 위해 작업 무관적 푸리에 특징을 사용합니다.

• 내부 표현은 순환 개념의 특정 주기 (예: 달의 경우 12, 요일의 경우 7) 가 아닌 표준 10 진법 주기 ($T \in \{2, 5, 10, 20, 50, 100\}$) 를 따릅니다.
• 표준 덧셈으로 훈련된 푸리에 프로브가 순환 작업을 성공적으로 조종하여, 동일한 기하학적 특징이 도메인 전반에 걸쳐 계산을 주도함을 확인합니다.

3. 희소 뉴런 회로

저자들은 이 덧셈을 담당하는 레이어 18 의 28 개의 MLP 뉴런이라는 희소 집합을 식별했습니다 (레이어 MLP 의 약 0.2%).

• 주기에 따라 클러스터화: 이러한 뉴런은 서로소 클러스터로 분할할 수 있으며, 각 클러스터는 특정 푸리에 주기에 대한 합을 계산합니다 (예: $T=2$용 클러스터, $T=5$용 클러스터 등).
• 메커니즘: 뉴런들은 분산 방식으로 작동합니다. 일부 뉴런은 게이트 벡터를 통해 입력 개념을, 업 (up) 벡터를 통해 오프셋을 읽는 "분할" 활성화 패턴을 보이며, 다른 뉴런들은 "혼합"되어 있습니다. 이들의 다운 (down) 투영 벡터는 푸리에 평면에서 올바른 각도를 가리키는 벡터로 합쳐져, 합을 $T$로 나눈 나머지를 인코딩합니다.
• 제거 영향: 이러한 28 개의 뉴런을 제로 제거하면 정확도가 급격히 떨어집니다 (예: 덧셈의 경우 95% 에서 24% 로 감소). 반면 레이어 18 의 다른 모든 뉴런을 제거하면 대부분의 성능이 유지됩니다.

중요성과 주장

본 논문은 표현 기하학과 인과적 계산 간의 간극을 연결하며, 대규모 언어 모델이 순환적 개념에 대한 산술을 수행하는 방식에 대한 메커니즘적 이해를 제공한다고 주장합니다.

• 기하학 vs 계산: 이 연구는 표현이 원형일지라도 그 기반 계산이 반드시 해당 원형에서의 모듈러 산술일 필요는 없음을 보여줍니다. 대신 모델은 범용 10 진법 덧셈 회로를 재사용하며, 계산이 완료된 후에야 결과를 대상 도메인으로 매핑합니다.
• 방법론의 상호작용: 본 연구는 정보가 어디서 처리되는지 파악하기 위한 인과적 추상화와 정보가 어떻게 표현되는지 이해하기 위한 기하학적 분석을 결합하는 힘에 주목합니다. 인과적 분석은 계산을 레이어 18 로 국소화했고, 기하학적 분석은 계산이 작업 특이적 원형 구조가 아닌 10 진법 푸리에 특징에 의존함을 밝혔습니다.
• 희소 회로: 달, 일, 시간, 숫자 등 다양한 작업에서 덧셈을 수행하는 작고 재사용 가능한 뉴런 집합 (28 개) 의 식별은 LLM 이 입력의 의미 도메인과 관계없이 기본 산술 연산을 위해 매우 효율적이고 공유된 서브회로를 개발함을 시사합니다.

저자들은 일반화에 대해 겸손한 태도를 유지하며, 이러한 특정 메커니즘은 Llama-3.1-8B 에서 식별되었으며 모든 모델이나 모든 유형의 순환 추론 (예: 역방향 오프셋 또는 거리 쿼리는 범위를 벗어남) 에 일반화되지 않을 수 있음을 지적합니다. 그러나 이러한 발견은 희소 뉴런과 푸리에 기하학의 상호작용을 통해 "자연 환경의 산술"이 어떻게 구현되는지에 대한 구체적인 사례를 제시합니다.