💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

이 논문은 기계론적 해석 가능성(mechanistic interpretability)이 근본적으로 인과 매개 점수(causal mediation scores)의 높은 내재적 분산으로 인해 고통받는 통계적 추정 문제라고 주장하며, 이는 회로 발견 파이프라인이 불안정하고 취약한 결과를 생성하게 만드므로 엄격한 통계적 강건성 및 안정성 보고로의 전환이 필요함을 역설한다.

원저자: Maxime Méloux, François Portet, Maxime Peyrard

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maxime Méloux, François Portet, Maxime Peyrard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 흔들리는 나침반으로 도시 지도 그리기

당신이 복잡한 도시(신경망)의 지도를 그려서, 어떻게 A 지점에서 B 지점까지 도달하는지(문제를 해결하는지) 이해하려고 노력하고 있다고 상상해 보세요. 기계적 해석 가능성(Mechanistic Interpretability) 분야의 과학자들은 도시 탐험가와 같습니다. 그들은 이 도시가 의사결정을 내릴 때 사용하는 구체적인 "도로"와 "교차로"(뉴런과 연결)를 찾고자 합니다. 그들은 이러한 특별한 경로를 **"회로(circuits)"**라고 부릅니다.

이 논문은 현재 이 탐험가들이 미친 듯이 회전하는 나침반을 사용하고 있다고 주장합니다. 그들은 자신들이 '단 하나의 진정한 지도'를 찾고 있다고 생각하지만, 실제로는 날씨의 미세한 변화나 나침반을 잡는 방식에 따라 매번 서로 다른 지도를 그리고 있는 것입니다.

핵심 문제: "회전하는 나침반" (분산)

연구진은 이 회로들을 찾아내는 도구들이 근본적으로 불안정하다는 것을 발견했습니다. 그들은 이 문제를 세 가지 층위의 불안정성으로 나누었습니다.

1. 원시 신호 자체가 노이즈가 심함 (내재적 변동성)

비유: 폭풍 속에서 특정 풍속을 측정하려고 한다고 상상해 보세요. 만약 정확히 한 순간에 측정한다면 하나의 숫자를 얻을 것입니다. 하지만 1초 후에 다시 측정하면, 무작ful한 난류 때문에 바람이 약간 더 강해지거나 약해질 수 있습니다.
논문의 주장: AI의 특정 부분에 대한 "중요도"는 바위의 무게처럼 고정된 숫자가 아닙니다. 그것은 풍속과 더 비슷합니다. 당신이 보고 있는 특정 입력(폭풍)에 따라 급격하게 변합니다. 논문은 설령 이를 완벽하게 계산하더라도, 단일 연결에 대한 점수가 너무 심하게 요동치기 때문에 이것이 실제로 중요한 것인지 아니면 그저 무작위적인 돌풍인지 구분하기 어렵다는 것을 보여줍니다.

2. 도구가 노이즈를 더함 (근사 오류)

비유: 바람을 완벽하게 측정하는 데 시간이 너무 많이 걸리기 때문에, 탐험가들은 풍속을 추측하기 위해 저렴하고 빠른 센서(EAP와 같은 근사법)를 사용합니다. 하지만 이 저렴한 센서는 매우 떨립니다. 이 센서는 이미 변동성이 큰 바람 위에 자체적인 정전기와 오류를 추가로 얹어버립니다.
논문의 주장: 과학자들이 시간을 아끼기 위해 사용하는 빠른 방법들(Edge Attribution Patching 등)은 훨씬 더 많은 노이즈를 유발합니다. 이러한 방법들은 기존의 신호보다 오히려 더 불안정하게 보이도록 만드는 경우가 많습니다. "신호 대 잡음비(signal-to-noise ratio)"가 너무 낮아서, 도구들이 실제 신호가 아닌 그저 정전기만을 잡아내고 있는 경우가 많습니다.

3. 단계마다 지도가 바뀜 (집계 불안정성)

비유: 최종 지도를 그리기 위해 탐험가들은 100개의 서로 다른 측정을 수행한 뒤 그 평균을 냅니다. 하지만 측정값 자체가 너무 흔들리기 때문에, 만약 100개의 측정 목록을 아주 조금만 바꿔도(예를 들어 하나를 다른 것으로 교체해도) 최종 지도는 완전히 달라집니다. 어떤 날은 지도가 고속도로를 보여주지만, 다음 날은 비포장도로를 보여줍니다.
논문의 주장: 과학자들이 "회로"를 구축하기 위해 이러한 흔들리는 점수들을 결합할 때, 그 결과는 믿을 수 없을 정도로 취약합니다.

데이터의 변화: 지도를 학습시키기 위해 약간 다른 데이터 세트를 사용하면, 완전히 다른 회로를 발견하게 됩니다.
방법의 변화: 설정값(예를 들어 숫자를 평균 내는 방식)을 살짝 바꾸기만 해도, 다른 회로가 나타납니다.
섭동(Perturbation)의 변화: AI를 테스트하기 위해 "파괴"하는 방식(counterfactual)을 바꾸면, 발견되는 회로가 다시 이동합니다.

"죽은 연어" 효과

이 논문은 현재의 방법들이 "죽은 연어"의 인공물(artifact)을 만들어내기 쉽다고 언급합니다.
비유: 신경과학에서 연구자들은 통계적 노이즈를 보정하지 않았을 뿐인데, 죽은 연어의 뇌에서 "뇌 활동"이 나타나는 것을 발견한 적이 있습니다. 논문은 AI 연구자들도 이와 똑같은 일을 하고 있을 수 있다고 시사합니다. 즉, 실제 회로를 찾는 것이 아니라 우연히 일치한 무작위 노이즈를 보고 회로라고 믿고 있는 것일 수 있다는 것입니다.

연구진이 발견한 것 (증거)

그들은 다양한 AI 모델(GPT-2, Llama 등)과 작업(수학 또는 문법 등)에 대해 실험을 수행했습니다.

결과: 동일한 실험을 약간씩 다른 데이터로 100번 반복했을 때, 발견된 "회로"들은 거의 겹치지 않았습니다. 때로는 겹치는 부분이 10% 미만인 경우도 있었습니다.
결론: 기다리고 있는 단 하나의 "진정한 회로"란 존재하지 않습니다. 대신, 가능한 회로들의 구름(cloud)이 존재하며, 현재의 방법들은 그 구름 속에서 무작위적인 한 점을 찍어 그것을 진실이라고 부르고 있는 것뿐입니다.

제안된 해결책: 추측하지 말고, 불확실성을 측정하라

저자들은 "AI 해석를 포기하라"고 말하는 것이 아닙니다. 대신 "우리가 알고 있다는 척하는 것을 멈추라"고 말합니다.

새로운 규칙:

분산을 보고하라: 단 하나의 지도만 보여주지 마세요. 100개의 지도를 보여주고, "이것이 평균이며, 이만큼 차이가 난다"라고 말하세요.
안정성을 확인하라: 회로를 찾았다고 주장하기 전에, 데이터를 약간 바꿨을 때도 그 회로가 유지되는지 확인하세요. 만약 작은 변화에도 회로가 사라진다면, 그것은 신뢰할 수 없는 것입니다.
불확실성을 수용하라: 이러한 발견을 절대적인 사실(예: "비가 올 것이다")이 아니라 기상 예보(예: "강수 확률 70%")처럼 다루세요.

요약

이 논문은 기계적 해석 가능성이 현재 통계적 문제를 인정하지 않은 채 과학을 하려 한다고 주장합니다. 이는 트램펄린 위에 서서 산의 높이를 측정하려는 것과 같습니다. 저자들은 이 분야가 단 하나의 완벽한 "지면 진실(ground truth)" 회로를 찾는 것을 멈추고, 자신들의 발견이 얼마나 흔들리고 가변적인지를 보고하기를 바랍니다. 이러한 불안정성을 인정해야만 비로소 우리는 AI의 마음을 그려낸 지도를 신뢰할 수 있습니다.

기술 요약: 통계적 추정으로서의 기계론적 해석 가능성: 분산 분석

문제 제기

기계론적 해석 가능성(Mechanistic Interpretability, MI)은 특정 모델 행동을 담당하는 기능적 하위 네트워크인 '회로(circuits)'를 식별함으로써 심층 신경망을 역공학하는 것을 목표로 한다. 이러한 회로는 일반적으로 계산 그래프에 개입하여 특정 구성 요소(노드 또는 엣지)가 모델 출력에 미치는 인과적 효과를 측정하는 인과 매개 분석(Causal Mediation Analysis, CMA)을 사용하여 발견된다.

그러나 이러한 발견의 과학적 타당성은 결과의 안정성 결여로 인해 점점 더 의구심을 받고 있다. 현재의 MI 관행은 불확실성을 정량화하지 않은 채 "점 추정치(point estimates, 단일 구조적 요약)"만을 제시하는 경향이 있다. 본 논문은 회로 발견이 독립적인 작업이 아니라 CMA를 기반으로 구축된 통계적 추정 문제라고 주장한다. 식별된 핵심 문제는 **근본적인 불안정성(fundamental instability)**이다. 구성 요소의 인과적 효과는 고정된 속성이 아니라 변동성이 큰 확률 변수이다. 결과적으로 입력 데이터, 하이퍼파라미터, 또는 개입 정의의 작은 변화만으로도 매우 다른 회로가 생성되며, 이는 MI 연구 결과의 신뢰성과 일반화 가능성을 저해한다.

방법론

저자들은 회로 발견을 CMA에 의해 구동되는 다운스트림 파이프라인으로 프레임화하고, 이를 통계적 관점에서 분석하여 불안정성을 두 가지 주요 원인으로 분해한다:

분산 (샘플링 민감도): 유한한 데이터셋을 사용하여 모집단의 기댓값을 근사하는 과정에서 발생하는 변동성.
강건성 (방법론적 민감도): 반사실적 상황(counterfactuals)의 명세(개입 전략) 및 하이퍼파라미터에 대한 민감도.

연구에는 다음과 같은 실험 설정이 사용되었다:

태스크: 세 가지 표준 해석 가능성 태스크: 간접 목적어 식별(IOI), 주어-동사 일치(SVA), 그리고 Greater-Than.
모델: GPT-2-small, Llama-3.2-1B, Llama-3.2-1B-Instruct.
추정기(Estimators): 본 연구는 정확한 CMA(계산 가능한 경우)를 포함한 Edge Attribution Patching(EAP) 계열, 즉 EAP와 EAP-IG(입력 및 활성화에 대한 통합 그래디언트 적용)에 초점을 맞춘다.
안정성 지표:
- 구조적 안정성: 발견된 엣지 집합의 쌍별 자카드 지수(pairwise Jaccard index)를 통해 측정.
- 기능적 안정성: 회로 오차(Circuit Error, CE) 및 전체 모델과 격리된 회로 사이의 KL 발산(KL divergence)을 통해 측정.
섭동 Regime (Perturbation Regimes):
- 데이터 재표집: 제한된 샘플 크기를 시뮬레이션하기 위한 부트스트랩 재표집(Bootstrap resampling).
- 분포 변화: 메타 데이터셋 및 프롬프트 구절 변경(paraphrasing).
- 개입 정의: 반사실 생성 시 노이즈 진폭(토큰 임베딩에 가해지는 가우시안 노이즈)의 변화.
- 방법론적 섭동: 집계 함수(평균 vs 중앙값) 및 패칭 유형, 추정기 선택의 변화.

주요 기여 및 결과

1. CMA 점수의 내재적 가변성

저자들은 정확한(exact) CMA 점수조차 높은 내재적 가변성을 보인다는 것을 입증했다. 단일 엣지에 대해, 동일한 분포에서 추출된 입력이라 할지라도 인과적 효과는 일정하지 않다.

발견: 정확한 엣지 점수의 변동 계수(CV)는 종종 0.5에 달한다.
함의: 인과적 효과는 구성 요소의 고정된 속성이 아니라, 특정 입력-반사실 쌍에 의존하는 확률 변수이다.

2. 근사법에 의한 증폭

EAP 및 EAP-IG와 같은 근사법은 내재적 분산 위에 추가적인 추정 노이즈를 도입한다.

발견: 근사 추정기는 종종 CV > 1을 나타내며, 이는 점수의 표준 편차가 평균보다 크다는 것을 의미한다. 이는 신호 대 잡음비(SNR)를 낮추어, 유한한 샘플로부터 안정적인 회로를 식별하는 것을 통계적으로 위태롭게 만든다.

3. 파이프라인 전반의 회로 불안정성

엣지 점수의 불안정성은 최종 회로 구조로 전파되어, 미세한 변화에도 매우 상이한 결과를 초래한다:

데이터 재표집: 부트스트랩 재표집은 가장 낮은 구조적 일관성(평균 자카드 지수 $\approx$ 0.56, GPT-2-small 기준)과 가장 높은 변동성을 보인다. 재표집된 데이터에서 발견된 회로들은 종종 구조적으로 서로 분리되어 있으며 원래 모델에 대한 충실도가 낮다.
모델 크기: 안정성은 GPT-2-small에 비해 더 큰 모델(Llama-3.2-1B)에서 크게 저하되며, 이는 더 유능한 모델에서 신뢰할 수 있는 회로를 식별하는 것이 매우 까다로운 작업임을 시사한다.
방법론적 민감도: 하이퍼파라미터(예: 합계에서 중앙값으로의 집계 변경, 또는 패칭 유형)를 변경하면 자카드 유사도가 거의 0(예: 0.086)까지 떨어져, 사실상 서로 분리된 부분 그래프를 반환하게 된다. 서로 다른 EAP 변형들은 하나의 회리로 수렴하기보다는 고분산 분포의 서로 다른 아티팩트(artifact)들을 격리하는 경향이 있다.
개입 민감도: 식별된 회로는 섭동의 크기에 불변하지 않는다. 반사실 생성 시 노이즈 진폭을 변화시키면 중요하다고 판단되는 구성 요소의 집합이 바뀌며, 특정 임계 영역(예: 노이즈 진폭 $\approx$ 0.2)에서 정점의 불안정성을 보인다.

4. 비식별성(Non-Identifiability) 대 추정기 불안정성(Estimator Instability)

본 논문은 비식별성(무한한 데이터가 있더라도 유일한 회로를 복구하는 것이 이론적으로 불가능함)과 추정기 불안정성(유한한 샘플링 및 근사에 따른 경험적 민감도)을 구분한다. 높은 불안정성은 비식별성과 일치하지만, 저자들은 관찰된 변동성이 근본 원인과 관계없이 현재의 보고 관행을 저해할 만큼 크다는 것을 보여준다.

의의 및 권고 사항

본 논문은 기계론적 해석 가능성이 엄밀한 과학으로 진화하기 위해서는 자연과학에서 사용하는 통계적 추론의 표준을 채택해야 한다고 주장한다. 불확실성 추정 없이 단일 지점의 회로 발견만을 보고하는 현재의 관행은 불충분하다.

제안된 모범 사례:

안정성 지표 보고: 연구자들은 회로 발견 결과와 함께 안정성 지표를 정기적으로 보고해야 한다. 구체적으로, 부트스트랩 재표집( $n \ge 100$ $n \geq 100$ ) 하에서의 회로 구조의 분산(예: 평균 쌍별 자카드 지수)과 성능(회로 오차의 CV)을 보고해야 한다.
- 권장 임계값: 부트스트랩 재표집 하에서 평균 쌍별 자카드 지수가 0.8 이상인 경우를 회로가 안정적이라고 보고할 수 있는 예비 기준으로 삼을 수 있다.
추정기 불확실성 정량화: 하이퍼파라미터 및 집계 방법에 대한 민감도 분석이 수행되고 보고되어야 한다. 만약 특정 하이퍼파라미터 하에서만 관찰되는 메커니즘이라면, 이러한 취약성을 반드시 공개해야 한다.
개입 민감도 특성화: 단일 고정 개입에 의존하는 대신, 반사실적 정의(예: 노이즈 진폭)가 변함에 따라 회로가 어떻게 변하는지 분석하여 핵심 메커니즘과 국소적 아티팩트를 구분해야 한다.

결론:
저자들은 분야가 단 하나의 "진정한" 회로를 찾는 것에서 벗어나야 한다고 결론짓는다. 대신, 향후 연구는 가능한 회로들의 분포(확률적 회로 발견, Probabilistic Circuit Discovery)를 특징짓는 방향으로 나아가야 하며, 분산을 명시적으로 페널티로 부여하는 최적화 목적 함수를 개발하여 데이터셋과 섭동 전반에 걸쳐 신뢰할 수 있는 매개체 역할을 하는 구성 요소를 우선시해야 한다. 이러한 통계적 프레임워크는 신뢰할 수 있는 AI 시스템을 구축하고, 해석 가능성 도구가 안전 및 정책 결정에 견고한 토대를 제공하도록 하기 위한 필수적인 단계이다.