Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs

기술 요약: 산술 휴리스틱 뉴런은 형태 불변적인가?

문제 정의
대규모 언어 모델(LLM)은 동일한 피연산자를 가진 수학적 문제의 한 가지 정식화(formulation)에는 성공하지만, 그와 동등한 다른 정식화(예: 기호 방정식은 풀지만 동일한 피연산자를 가진 자연어 문장 문제는 실패하는 경우)에는 실패하는 경우가 빈번하다. 최근의 기계론적 해석 가능성(mechanistic interpretability) 연구들은 LLM의 산술 연산이 희소한 MLP 뉴런에 인코딩된 "휴리스틱의 꾸러미(bag of heuristics)"로부터 발현된다는 점을 시사하고 있으나, 이러한 내부 회로가 특정 입력 형식(기호, 자연어, 코드)에 특화된 것인지, 아니면 형태 불변적인지(form-invariant)는 여전히 불분명하다. 특히, 형식 간 성능 차이가 서로 다른 내부 회로 때문인지, 아니면 공유된 회로의 서로 다른 활성화 상태 때문인지는 알려져 있지 않다.

연구 방법론
저자들은 세 가지 Llama-3 모델(8B, 3.2-3B, 3.2-1B)을 대상으로 분석을 수행하였으며, 주로 Llama-3-8B에 집중하였다. 연구에는 세 가지 의미론적으로 동등한 프롬프트 형식인 기호 산술, Python 코드, 자연어 문장 문제가 사용되었다.

1. 뉴런 식별: 저자들은 산술 휴리스틱 뉴런을 식별하기 위해 2단계 파이프라인을 사용하였다:

   • 1단계 (Attribution Patching): 출력 확률에 미치는 간접 효과를 기준으로 레이어당 상위 2,000개의 후보 뉴런을 효율적으로 순위 매기는 데 사용되었다.
   • 2단계 (Activation Patching): 정확한 인과적 개입(causal interventions)을 사용하여 상위 후보들을 재순위 매기고, 분석을 위해 레이어당 상위 200개의 뉴런을 유지하였다.
   • 레이어 선택: 선형 프로브(linear probes)를 통해 산술 계산의 신뢰할 만한 발현이 확인된 레이어 $\ell \ge 16$ 및 최종(정답) 토큰으로 분석을 제한하였다.

2. 회로 검증: 식별된 뉴런들이 기능적 회로를 형성하는지 결정하기 위해 다음을 수행하였다:

   • Keep-Only 개입: 충분성을 테스트하기 위해 공유되지 않은 모든 뉴런을 제거(ablate)하였다.
   • Knockout 개입: 필연성을 테스트하기 위해 공유된 뉴런만을 제거하였다.
   • 충실도 지표(Faithfulness Metric): 전체 모델과 완전히 제거된 모델 대비 성능 격분이 회복되는 비율을 측정하였다.

3. 교차 형식 활성화 전이(Cross-Format Activation Transfer): 성공적인 실행이 일어난 한 형식(공여자, donor)의 공유 뉴런 활성화를 실패한 다른 형식(대상, target)으로 전이하여, 실패의 원인이 회로의 차이인지 아니면 활성화 상태의 차이인지 확인하였다.

4. 휴리스틱 분류: 공유된 뉴런들을 휴리스틱 패밀리(예: 피연산자 범위, 결과 나머지, 패턴 매칭)로 분류하여 형식 간 기능적 일관성을 평가하였다.

주요 결과

• 압축된 공유 회로: 기호, 코드, 문장 문제 전반에 걸친 상위 순위 산술 뉴런의 교집합은 비단조적(non-monotonic)이며, 레이어당 약 50~100개에서 정점을 찍는다. 이는 하위 순위의 뉴런들은 점점 더 형식 특이적으로 변하는 반면, 핵심적인 코어 회로는 여러 형식 간에 공유되는 압축된 형태임을 나타낸다.
• 필연성 및 충분성:
  • 충여성(Sufficiency): 공유 회로만을 유지했을 때(Keep-Only), 덧셈과 뺄셈에 대한 산술 성능이 (전체 모델의 천장에 근접하며) 거의 모두 회복되었다(레이어당 100~500개 뉴로).
  • 필연성(Necessity): 공유 회로만을 제거했을 때(Knockout) 충실도가 급격히 저하된 반면, 동일한 크기의 무작위 뉴런 집합을 제거했을 때는 영향이 미미했다.
• 활성화 상태 회복: 성공적인 공여자 형식의 공유 뉴런 활성화를 실패한 대상 형식으로 전이했을 때, 덧셈과 뺄셈의 오답 중 97% 이상을 회복하였고 곱셈과 나눗셈에서는 80~90%를 회복하였다. 무작위 뉴런 전이는 거의 제로에 가까운 회복률을 보였다. 이는 교차 형식의 실패가 별개의 회로가 아닌, 공유된 회로의 활성화 상태 차이에서 기인함을 확인시켜 준다.
• 기능적 일관성: 공유된 뉴런들은 모든 형식에서 동일한 휴리스틱 패밀리에 일관되게 속한다. 휴리스틱 할당의 쌍별 자카드 유사도(pairwise Jaccard similarity)는 평균 0.75였고, 삼자 유사도는 평균 0.64로 우연 수준을 크게 상회하였다.

의의 및 주장
본 논문은 LLM의 산술 계산이 뉴런 수준에서 대체로 **형태 불변적(form-invariant)**임을 입증한다고 주장한다. 연구 결과는 다음과 같은 점을 시사한다:

1. 기호, 자연어, 코드 형식을 가로지르는 수학적으로 동등한 문제들은 동일한 희소한 인과적 산술 휴리스틱 뉴론 집합을 동원한다.
2. 형식 간의 성능 편차는 주로 이 공유된 회로의 활성화 상태에 의해 구동되며, 별도의 형식 특이적 회로의 동원에 의한 것이 아니다.
3. 하나의 표현(예: 기호 산술)에서 식별된 기계론적 회로는 다양한 입력 양상(modality)에 걸쳐 일반화된다.

저자들은 본 분석이 기초적인 정수 산술에 국한되어 있으며, 기본 Llama 모델의 MLP 뉴런 및 최종 토큰에만 초점을 맞추고 있다는 점을 언급하며 연구의 범위를 겸허히 제한하였다. 또한, 이러한 발견을 복잡한 추론, 지시어 튜닝된 모델, 또는 어텐션 기반 라우팅 메커즘으로 확장하는 것이 향데 과제임을 인정하였다.