🤖 AI

RACE: Scalable Statistical Estimation of Functional Consistency in LLM Neurons

이 논문은 기존의 그래디언트 기반 방식보다 우수한 확장성과 특이성을 입증하며, 트랜스포머 뉴런의 도메인 전반에 걸친 기능적 일관성을 평가하는 계산 효율적인 순전파 통계 프레임워크인 RACE를 소개한다.

원저자: Runyu Wang, Bo Liu, Xiaxin Zhang, Yu Han, Jiawei Cao, Xiaoye Zhang, Zhe Zhang, Yifan Yang, Peng Ping

게시일 2026-08-26

📖 5 분 읽기🧠 심층 분석

원저자: Runyu Wang, Bo Liu, Xiaxin Zhang, Yu Han, Jiawei Cao, Xiaoye Zhang, Zhe Zhang, Yifan Yang, Peng Ping

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 거대한 디지털 정신 내부에는 연구자들이 이제 겨우 지도를 그리기 시작한 숨겨진 활동 층이 존재합니다. 대규모 언어 모델로 알려진 이 시스템들은 인간처럼 문장이나 단락 단위로 생각하지 않습니다. 대신, 이들은 뉴런이라고 불리는 수십억 개의 작고 서로 연결된 스위치를 통해 정보를 처리합니다. 당신이 컴퓨터에게 시를 쓰거나, 수학 문제를 풀거나, 코드 한 줄을 디버깅하라고 요청할 때, 이러한 작업을 수행하기 위해 특정 뉴런 그룹들이 불을 밝힙니다. 수년 동안 과학자들은 어떤 뉴런이 어떤 작업에 책임이 있는지를 이해하기 위해 고군분투해 왔습니다. 어려움은 운영 규모의 방대함에 있습니다. 이 모델들은 너무나 복격적이어서, 모델이 작동하는 것을 관찰하는 것은 종종 단 하나의 가로등을 보고 도시 전체를 이해하려고 노력하는 것처럼 느껴집니다. 적절한 스위치를 찾는 기존의 방법들은 실용적이지 않을 정도로 너무 느리거나, 혹은 개별적인 순간에만 너무 집중한 나머지 시스템이 시간이 흐름에 따라 어떻게 행동하는지에 대한 더 큰 그림을 놓치곤 했습니다.

이제 한 연구팀이 이 디지털 정신의 소리를 듣는 새로운 방법, 즉 그들이 RACE라고 부르는 방법을 도입했습니다. 시스템 전체를 역설계하거나 모든 개별 연결의 영향력을 계산하려 하는 대신, 이 접근 방식은 모델의 내부 활동을 통계적 패턴으로 취급합니다. 연구진은 파이썬 코드를 작성하거나 대수 방정식을 푸는 것과 같은 특정 목적을 수행하는 뉴런들이 단순히 무작위로 발화하는 것이 아님을 깨달았습니다. 대신, 이들은 특정 유형의 작업이 수행될 때마다 모델의 내부 상태에 일관되고 안정적인 방식으로 기여합니다. 수천 개의 사례에 걸쳐 이러한 일관된 기여를 추적함으로써, 연구진은 어떤 뉴런이 주어진 작업에 대한 진정한 전문가인지를 식별할 수 있습니다. 이것은 한 번 발화하고 잊어버리는 뉴런을 찾는 것이 아니라, 모델이 특정한 일을 하도록 요청받을 때마다 매번 성실하게 출근하는 뉴런을 찾는 것에 관한 것입니다.

이 발견의 핵심은 과학자들이 중요성을 측정하는 방식의 변화에 있습니다. 기존 기술들은 흔ert히 컴퓨터가 자신의 논리를 역방향으로 실행해야 하는 복잡한 계산에 의존했는데, 이는 믿기 힘들 정도로 느리고 계산 비용이 많이 드는 과정이었습니다. 새로운 방법인 RACE는 단 한 번의 순방향 패스(forward pass)로 작동하며, 모델이 정보가 시작부터 끝까지 자연스럽게 흐르는 과정을 관찰합니다. 이 방식은 각 뉴런이 모델의 내부 메모리 스트림에 가하는 아주 작은 업데이트를 살펴봅니다. 만약 어떤 뉴런이 특정 작업을 위해 모델의 사고를 올바른 방향으로 일관되게 밀어준다면, 그 뉴한 높은 점수를 받습니다. 만약 그 행동이 불규칙하거나 오직 몇 번의 드문 경우에만 도움이 된다면, 무시됩니다. 이를 통해 연구진은 가능한 모든 결과를 계산하기 위해 멈출 필요 없이, 모델의 능력을 나타내는 신뢰할 수 있는 지도를 구축할 수 있습니다.

이 지도가 정확한지 테스트하기 위해, 연구진은 40억 개의 파라미터를 가진 작은 모델부터 320억 개의 파라미터를 가진 거대한 모델에 이르기까지 여러 다양한 대규모 언어 모델을 대상으로 일련의 통제된 실험을 수행했습니다. 그들은 세 가지 뚜렷한 영역에 집중했습니다: 컴퓨터 코드 작성, 수학 문제 풀이, 그리고 특정 문장 구조를 사용하는 것과 같은 특정 행동 제어입니다. 각 경우에 대해, 그들은 RACE 방법을 사용하여 해당 작업에 책임이 있는 상위 뉴로들을 식별했습니다. 그런 다음, 그들은 정교한 작업을 수행했습니다: 모델이 작동하는 동안 그 특정 뉴런들을 일시적으로 침묵시킨 것입니다.

결과는 놀라웠습니다. 연구진이 코딩 작업을 위해 RACE에 의해 식별된 뉴런들을 음소거했을 때, 모델의 올바른 코드를 작성하는 능력은 크게 떨어졌지만, 일반적인 질문에 답하거나 수학 문제를 푸는 능력은 거의 온전하게 유지되었습니다. 수학의 경우도 마찬가지였습니다. 수학 뉴런을 침묵시키면 모델의 추론 능력은 손상되었지만, 일반적인 언어 능력에는 영향을 미치지 않았습니다. 이는 이 방법이 특정 기술을 담당하는 구체적인 구성 요소를 성공적으로 분리해 냈음을 확인시켜 주었습니다. 반면, 더 덜 정밀한 기존의 방법들을 사용하여 침 silence할 뉴런을 선택했을 때는, 피해가 단 하나의 기술에만 국한되지 않고 모델의 전반적인 성능에 광범위하게 영향을 미쳤습니다.

가장 중요한 발견 중 하나는 이 모델들 내부의 두 가지 주요 뉴런 유형 간의 차이점이었습니다. 연구진은 수학적 추론과 코딩을 담당하는 뉴런들이 매우 전문화되어 있으며 작업 간에 거의 공유되지 않는다는 것을 발견했습니다. 그러나 어텐션(attention, 주의 집중)—모델이 어떤 단어에 집중할지를 결정하는 부분—에 관여하는 뉴런들은 훨씬 더 일반적이었습니다. 이 어텐션 뉴런들은 시를 쓰는 것부터 방정식을 푸는 것까지 모델이 수행하는 거의 모든 일에 도움을 주는 재사용 가능한 도구처럼 보였습니다. 이러한 구분은 왜 모델의 어떤 부분은 가지치기하거나 수정하기가 더 쉬운지를 설명해 줍니다. 전문화된 부분은 작업장의 전용 도구와 같고, 어텐션 부분은 그 도구들을 잡는 손과 같습니다.

연구진은 또한 자신들의 방법이 믿기지 않을 정도로 효율적이라는 것을 발견했습니다. 이전 기술들이 뉴런의 점수를 매기기 위해 모델을 144번 실행하는 것과 맞먹는 계산을 수행해야 했던 반면, 새로운 방법은 단 한 번의 전체 실행(full run)도 채 되지 않는 데가 필요했습니다. 이 속도는 그 전보다 훨씬 더 큰 모델을 분석하는 것을 가능하게 합니다. 또한, 이는 미래에 개발자들이 전체 시스템을 처음부터 다시 훈련할 필요 없이, 원치 않는 행동을 제거하거나 특정 기술을 강화하기 위해 이 기술을 미세 조정(fine-tuning)에 사용할 수 있음을 의미합니다.

연구진은 모델이 훈련받은 것과 약간 다른 일을 수행하도록 요청받았을 때 이 전문화된 뉴런들이 어떻게 행동하는지도 살펴보았습니다. 연구진이 모델에 대해 본 적 없는 새로운 수학 문제를 테스트했을 때도, RACE에 의해 식별된 뉴런들은 침묵 시 여전히 상당한 성능 저하를 일으켰습니다. 이는 이 방법이 단순히 특정 질문 세트에 대한 암기된 패턴을 찾는 것이 아니라, 기술의 근본적인 메커니데를 찾아낸다는 것을 시사합니다. 지식을 일반화하는 모델의 능력은 바로 이 동일한 안정적인 뉴런들에 달려 있습니다.

아마도 가장 미묘한 발견은 모델이 특정 스타일의 선택, 예를 들어 특정 종류의 리스트 구조를 사용하는 파이썬 코드를 작성하는 능력을 다루는 것이었을 것입니다. 연구진은 시스템이 이 특정 스타일을 인식하도록 훈련시킨 후, 그에 대응하는 뉴런들을 침묵시켰습니다. 결과는 모델이 여전히 코드를 작성할 수는 있지만, 다른 방식으로는 올바른 코드를 작성할 수 있음에도 불구하고 그 특정 스타일은 거의 완전히 사용하지 않게 되었다는 것이었습니다. 이러한 수준의 정밀함은 이 방법이 매우 좁은 범위의 행동을 격리할 수 있음을 시사하며, 외과적인 정확도로 모델의 출력을 조종할 수 있는 길을 제시합니다.

연구진은 자신들의 방법이 모든 문제에 대한 완벽한 해결책은 아니라는 점을 인정합니다. 그들은 이 방법이 정보가 직선적이고 가산적인(additive) 방식으로 처리되는 모델의 부분에서 가장 잘 작동하며, 어텐션 메커니즘에서 발생하는 더 복잡하고 중첩된 상호작용을 매핑하는 데는 덜 효과적이라는 것을 발견했습니다. 또한 그들은 이 방법이 선형 패턴에 의존하기 때문에, 뉴런들이 함께 작용하는 더 복잡한 비선형적 방식을 놓칠 수 있다고 언급했습니다. 그러나 그들이 테스트한 대다수의 작업에 대해, 이 접근 방식은 모델이 무엇을 하고 있는지에 대해 명확하고 신뢰할 수 있으며 빠른 방법을 제공했습니다.

이 연구는 인공지능의 "블랙박스"를 열고자 하는 기계적 해석 가능성(mechanistic interpretability) 분야의 중요한 진전을 나타냅니다. 거대한 시스템 내에서 특정 기능적 구성 요소를 식별하고 격리하는 방법을 제공함으로써, 연구진은 우리가 이 기술을 이해하고, 디버그하고, 개선할 수 있는 새로운 도구 세트를 제공했습니다. 모델의 특정 기술을 담당하는 부분이 정확히 어디인지 짚어낼 수 있는 능력은, 우리가 추측을 넘어 이 시스템이 어떻게 구축되어야 하고 어떻게 사용되어야 하는지에 대해 정보에 입각한 결정을 내릴 수 있게 해줍니다. 앞으로의 경로는 한 번에 도시 전체를 이해하려고 노력하는 것이 아니라, 특정 거리를 걸으며 그곳에서 정확히 무슨 일이 일어나고 있는지 알 수 있게 되는 것입니다.

기술 요약: RACE – LLM 뉴런의 기능적 일관성에 대한 확장 가능한 통계적 추정

1. 문제 정의

본 논문은 기계론적 해석 가능성(mechanistic interpretability)의 핵심적인 공백, 즉 전체 도메인에 걸쳐 **안정적인 인구 집단 수준의 뉴런 행동(stable, population-level neuron behavior)**을 발견하는 데 따르는 어려움을 다룹니다. 기존 방법들(인과적 추적, 그래디언트 기반 속성 추출, 희소 오토인코더 등)은 개별 인스턴스 수준의 설명에는 뛰어나지만, 모델 감사, 도메인 특화 프루닝(pruning), 행동 스티어링(behavioral steering)과 같은 실제 작업에 적용할 때 두 가지 주요 한계에 직면합니다:

계산 비효ل성: 그래디언트 기반 방법과 개입 파이프라인은 반복적인 계산과 역전파(backpropagation)에 의존하므로, 대규모 도메인 분석을 수행하기에는 과도한 오버헤드가 발생합니다.
통계적 단순화: 뉴런의 기여도를 단순한 태스크 수준의 평균으로 집계하면 샘플 간의 변동성을 가릴 수 있습니다. 이는 소수의 이상치(outliers)에서 강하게 활성화되지만, 더 넓은 인구 집단에서는 침묵하거나 일관성이 없는 뉴런을 선택하게 만들어, 진정한 기능적 일관성을 포착하는 데 실패하게 합니다.

저자들은 도메인 특화된 기능을 수행하는 뉴런은 잔차 스트림(residual stream) 상에 기여 분포를 형성할 때, 비도메인 특화 뉴런과는 통계적으로 다른 양상을 보일 것이라고 가설을 세웠습니다. 목표는 기여의 크기가 크면서도(large in magnitude), 대상 도메인 전반에 걸쳐 방향이 안정적인(stable in direction) 뉴런을 식별하는 것입니다.

2. 방법론: RACE 프레임ка

저자들은 그래디언트 계산 없이 트랜스포머 뉴런의 기능적 일관성을 평가하는 순전파(forward-pass) 통계 프레임워크인 **RACE (Residual Alignment for Consistency Estimation)**를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다.

2.1 잔차-방향 정렬 (Residual-Direction Alignment, RDA)

RDA는 가공되지 않은 활성화 대리 지표(raw activation proxies)나 그래디언트 오버헤드를 피하면서, 뉴런 출력을 모듈의 국소 업데이트 방향으로 투영함으로써 개별 관측치에 대한 증거를 제공합니다.

분해 (Decomposition): 주어진 관측치에 대해, 모듈(Attention 또는 MLP)의 잔차 스트림 업데이트( $\Delta r$ )를 개별 뉴런의 랭크-1(rank-1) 기여분으로 분해합니다.
정렬 점수 (Alignment Score): 모듈 업데이트의 방향( $\hat{d}$ )을 계산합니다. 각 뉴런의 기여도는 이 축에 대한 부호가 있는 활성화 변조 투영값( $e^{(t)}_j = \xi_j$ )으로 점수가 매겨집니다.
의의: 이 점수는 뉴런이 해당 토큰에 대한 모듈의 특정 계산을 강화하는지 혹은 반대하는지를 포착합니다. 글로벌 로짓 투영과 달리, RDA는 **모듈 국소 축(module-local axis)**을 사용하므로, 특정 깊이와 레이어의 기능적 역할에 적합한 평가를 보장합니다.

2.2 베이지안 집계 (Bayesian Aggregation)

RACE는 개별 관측치 증거의 집합 $\{e^{(t)}_j\}$ 를 기저 분포으로부터의 노이즈가 섞인 실현값으로 취급합니다. 이는 각 뉴런의 잠재 파라미터 $(\mu_j, \sigma^2_j)$ 의 사후 분포를 추론하기 위해 정규-역감마(Normal-Inverse-Gamma, NIG) 공액 모델을 채택합니다.

사후 추론 (Posterior Inference): 모델은 증거의 경험적 평균과 제곱합을 바탕으로 사후 평균( $\mu_{n,j}$ )과 분산을 업데이트합니다.
불확실성 정량화 (Uncertainty Quantification): 프레임워크는 불확실성을 명시적으로 모델링합니다. 관측치가 적거나, 분산이 크거나, 부호가 변동하는 증거를 가진 뉴런은 더 높은 사후 불확실성을 부여받습니다.
보수적 정렬 크기 (Conservative Alignment Magnitude, CAM): 최종 점수 메트릭은 양의 사후 평균에 대한 일방향 하한 신뢰 구간입니다:
$CAM_j(\gamma) = I[\mu_{n,j} > 0] \max(0, \mu_{n,j} - t_{1-\gamma, 2\alpha_n}\sigma_{\mu,j})$
이는 강력하고 안정적이며 통계적으로 유의미한 양의 정렬을 보이는 뉴런만을 선택하도록 보장합니다.

2.3 참조 세트 필터링 (Reference-Set Filtering, RSF)

도메인 특화 뉴런과 광범위하고 일반적인 능력을 지원하는 뉴런을 분리하기 위해, RACE는 필터링 단계를 도입합니다. 대상 도메인에서 뉴런을 순위 매긴 후, 일반 참조 코퍼스(예: WikiText-2)에서도 높게 순위가 매겨진 뉴런을 제거합니다. 이를 통해 대상 도메인에 특화된 행동을 보이는 뉴런을 고립시킵니다.

3. 주요 기여

확장 가능한 통계적 프레임워크: RACE는 그래디언트 기반 베이스라인(예: GxAct, AttnLRP)보다 계산 오버헤드가 3 자릿수(1,000배) 낮은 순전파 전용 접근 방식을 제공하여, 도메인 전반의 뉴런 감사를 가능하게 합니다.
강건한 일관성 추정: 베이지안 집계를 활용함으로써, RACE는 일관된 기능적 역할과 산발적인 이상치 중심의 활성화를 구분하여, 인구 집단 수준의 분석에서 발생하는 "노이즈" 문제를 해결합니다.
모듈 국소 정렬: 저자들은 글로벌 로짓 축 대신 국소 잔차 업데이트 축을 사용해야 한다고 주장하며 이를 구현했습니다. 이는 정렬 크기와 네트워크 깊이의 혼동을 방지하고, 이전 기여를 이후 레이어가 덮어씀으로써 발생하는 잘못된 순위 매김을 방지합니다.
인과적 유효성 검증: 표적 억제 실험을 통해, 저자들은 RACE가 선택한 뉴런이 특정 도메인에 대해 인과적으로 부하를 담당(causally load-bearing)하고 있음을 입증했습니다.

4. 실험 결과

저자들은 4B에서 32B 파라미터 규모의 모델(Qwen3, OLMo, Llama)을 대상으로 코드 생성(MBPP+, HumanEval+), 수학적 추론(MATH-500, AMC), 미세한 행동 제어에 대해 RACE를 평가했습니다.

개입 특이성 (Intervention Specificity): 상위 순위 뉴런을 억제했을 때, RACE(특히 RSF 적용 시)는 대상 도메인에서는 상당한 성능 저하를 일으키는 동시에 비대상 벤치마크에서의 성능은 유지했습니다.
- 코드 도메인: RACE는 MLP에 대해 2.91의 개입 특이성 지수(ISI)를 달성하여, 그래디언트 기반 베이스라인(예: AttnLRP의 1.15)을 능가했습니다.
- 수학 도메인: 32B OLMo 모델에서 RACE는 1.73의 ISI를 달성했으며, 이는 베이스라인들이 종종 0.00을 기록한 것과 대조적입니다.
분포적 교란 (Distributional Disruption): 토큰 수준 분석 결과, RACE가 선택한 MLP 뉴런을 억제하면 대상 도메인의 퍼플렉시티(perplexity)가 급격히 증가(예: MATH-500에서 +129%)하는 반면, 일반 언어 모델링(WikiText-2)에는 거의 영향을 주지 않았습니다.
미세 제어 (Fine-Grained Steering): RACE는 특정 Python 이해 패턴(PyComp-1K)을 담당하는 뉴런을 성공적으로 국소화하여, 일반적인 코딩 능력을 파괴적인 망각 없이 유지하면서도 해당 뉴런의 사용량을 약 70% 감소시켰습니다.
효율성: RDA는 그래디언트 기반 방법의 ~144배에 달하는 FLOPs와 비교하여, 표준 순전파의 0.63x 수준의 FLOPs만을 사용했습니다.

5. 의의 및 주장

본 논문은 RACE가 대규모 언어 모델을 인구 집단 수준에서 감사하기 위한 실용적이고, 확장 가능하며, 통계적으로 강건한 방법을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

간극 해소: 해석 가능성을 인스턴스 수준의 설명을 넘어, 모델 프루닝 및 스티어링에 필요한 인구 집단 수준의 특성화로 이동시킵니다.
효율성: 그래디언트 기반 방법의 계산적 제약 없이 다양한 도메인에 걸친 대규모 모델 분석을 가능하게 합니다.
신뢰성: 베이지안 정식화는 선택된 뉴런이 단순히 활성화가 높은 이상치가 아니라, 모델 아키텍처 내에서 안정적이고 기능적인 역할을 수행함을 보장합니다.

저자들은 프레임워크가 선형 잔차 투영에 의존하며 복잡한 비선형 시너지(non-linear synergies)를 놓칠 수 있다는 점을 인정하며 한계를 겸허히 밝혔습니다. 또한, RACE가 현재 Attention 모듈보다 MLP 모듈에서 기능적으로 일관된 뉴런을 식별하는 데 더 효과적임을 관찰하였으며, 이는 어텐션 메커니즘이 정보를 다르게 인코딩할 수 있으며 향후 맞춤형 통계 전략이 필요함을 시사합니다.