기술 요약: "모든 곳에, 모든 것이, 동시에: 기계적 해석 가능성은 식별 가능한가?"

문제 정의

AI 시스템이 고위험 애플리케이션에 배치됨에 따라, 이들의 해석 가능성을 확보하는 것은 매우 중요해지고 있다. 기계적 해석 가능성(Mechanistic Interpretability, MI)은 신경망 내부에 임베딩된 인간이 이해할 수 있는 알고리즘(계산적 추상화)을 추출함으로써 신경망을 역공학하는 것을 목표로 한다. 계산적 추상화는 두 가지 구성 요소로 이루어진다: 무엇(what)(설명적 알고리즘)과 어디(where)(해당 알고리즘이 구현된 네트워크 내의 특정 서브그래프 또는 회로).

MI 방법론들은 종에도 설명적 유일성(explanatory unicity)—즉, 모델의 동작에 대해 유일하고 올바른 설명이 존재한다는 믿음—을 암묵적으로 가정하며 작동하는 경우가 많으나, 본 논문은 이러한 전제를 체계적으로 의심한다. 저자들은 통계학에서의 식별 가능성(identifiability)(특정 가정 하에 데이터로부터 파라미터를 유일하게 추론하는 것) 개념을 빌려와 다음과 같은 질문을 던진다: MI가 설정한 기준 하에서, 고정된 동작에 대한 설명이 반드시 유일함이 보장되는가?

본 논문은 MI 설명을 생성하기 위한 두 가지 주요 전략을 조사한다:

1. 어디-그다음-무엇(Where-then-what): 네트워크의 부분 집합(회로)을 탐지하여 모델의 동작을 재현하게 한 뒤, 그 구성 요소들의 해석을 도출한다.
2. 무엇-그다음-어디(What-then-where): 후보 설명 알고리즘에서 시작하여, 해당 알고리즘이 인과적으로 정렬된 네트워크 내의 활성화 부분 공간(activation subspaces)을 탐색한다.

핵심 문제는 이러한 전략들이 각각의 유효성 기준(회로 오차 및 인과적 정렬) 하에서 단 하나의 유일한 설명을 산출하는지, 아니면 동일한 기준을 만족하는 여러 개의 상충하는 설명이 존재할 수 있는지 여부이다.

방법론

저자들은 대규모 모델에서는 불가능한 **전수 조사(exhaustive enumeration)**를 허용하는 통제된 소규모 환경을 사용하여 MI 식별 가능성에 대한 스트레스 테스트를 수행한다.

실험 설정

• 태스크: Boolean 함수, 구체적으로 XOR 함수와 논리 게이트 조합을 구현하도록 다층 퍼셉트론(MLP)을 학습시킨다.
• 아키텍처: 작은 규모의 MLP(예: 입력 크기 2, 은닉층 크기 $k$, 출력 크기 $n$)를 가우시안 노이즈가 추가된 이진 입력을 사용하여 낮은 손실 임계값에 도달할 때까지 학습시킨다.
• 전수 조사:
  • "어디-그다음-무엇"의 경우: 네트워크의 가능한 모든 서브그래프(회로)를 열거한다. 각 회로를 검증 데이터에 테스트하여 "완벽한 회로"(회로 오차 0)를 식별한다. 각 완벽한 회로에 대해, 일관성(매핑이 계산과 교환 법칙이 성립함)을 만족하는 뉴런 활성화와 논리 게이트(AND, OR, NOT) 간의 모든 유효한 매핑(해석)을 재귀적으로 탐색한다.
  • "무엇-그다음-어디"의 경우: 대상 함수를 구현하는 후보 Boolean 알고리즘(파스 트리)을 열거한다. 그런 다음, **중재 교환 정확도(Intervention Interchange Accuracy, IIA)**로 측정되는, 알고리즘과 인과적으로 완벽히 정렬된 뉴런의 부분 집합 및 매핑을 탐색한다. IIA가 1이라는 것은 알고리즘에 대한 반사실적 중재가 네트워크의 내부 상태에 동일한 효과를 낸다는 것을 의미한다.

식별 가능성의 정의

본 논문은 현재의 MI 기준이 두 개의 상충하는 설명을 구별하지 못할 경우, 해당 설명을 **비식별적(non-identifiable)**이라고 정의한다. 상충 관계는 다음의 경우 발생한다:

1. 두 설명이 동일한 동작에 대해 서로 다른 알고리즘을 상정할 때.
2. 동일한 알고리즘이 네트워크 내의 서로 다른 부분 공간에 임베딩되어 있을 때.

주요 결과

실험 결과, 모든 단계의 MI 과정에서 압도적인 **비식별성(non-identifiability)**의 증거가 발견되었다:

1. 비유일한 회로 (Where): 여러 개의 서로 다른 회로가 모델의 동작을 완벽하게 재현할 수 있다(회로 오차 0). XOR 예시에서 85개의 고유한 완벽한 회로가 발견되었다.
2. 비유일한 해석 (What): 하나의 유효한 회로에 대해, 여러 유효한 해석(뉴런과 논리 게이트 간의 매핑)이 존재한다. XOR 예시에서 각 회로당 평균 535.8개의 해석이 발견되었다.
3. 비유한 알고리즘 (What): 여러 서로 다른 알고리즘이 타겟 함수를 구현하며 완벽하게 인과적 정렬을 이룰 수 있다(IIA = 1). XOR에 대해 단 두 개의 후보 알고리즘만 테스트했을 때도, 두 알고리즘 모두 완벽한 구현을 갖는 것으로 나타났다.
4. 비유일한 국소화 (Where): 하나의 인과적으로 정렬된 알고리즘에 대해, 서로 다른 여러 부분 공간이 동일하게 정렬될 수 있다(IIA = 1). XOR 예시에서 단 두 개의 후보 알고리즘에 대해 159개의 완벽한 최소 매핑이 식별되었다.

정량적 결과:

• 네트워크 크기($k$)가 증가함에 따라, 유효한 계산적 추상화의 수는 기하급수적으로 증가한다(회로 우선 접근법에서 중앙값이 38에서 910,000으로 증가).
• 학습된 네트워크 중 단 하나의 유효한 최소 매핑만을 포함하는 네트워크는 2% 미만이었으며, 단 하나의 네트워크도 단 하나의 회로 해석을 포함하지 않았다.
• 태스크 복잡성 증가(여러 논리 게이트를 동시에 학습)는 해석의 수를 줄였으나, 비식별성을 제거하지는 못했다.

주요 기여

1. MI의 식별 가능성 공식화: 본 논문은 통계학적 개념을 채택하여, 고정된 유효성 기준 하에서 설명의 유일성을 정의함으로써 "설명의 식별 가능성"이라는 개념을 MI 분야에 도입하였다.
2. 체계적인 스트레스 테스트: 전수 조사를 가능하게 하는 소규모 모델을 활용함으로써, 현재의 MI 기준(회로 오차 및 IIA)이 유일한 설명을 보장하지 못한다는 것을 보여주는 최초의 엄격한 경험적 증거를 제시하였다.
3. 전략의 범주화: "어디-그다음-무엇"과 "무엇-그다음-어디" 전략을 명확히 구분하고 평가하여, 두 방식 모두 비식별성 문제를 겪고 있음을 보여주었다.
4. 상충하는 설명의 경험적 증거: 하나의 훈련된 모델이 표준적인 "좋은" 설명의 기준을 모두 만족하면서도 서로 상충하는 수십만 개의 계산적 추상화를 지원할 수 있음을 입증하였다.

의의 및 주장

저자들은 이 연구가 AI 설명에 대한 기대를 공식화하려는 지속적인 노력에 건설적으로 기여하고자 함을 밝힌다. 본 논문은 MI가 무용하다고 주장하는 것이 아니라, 흔히 가정되는 "유일성 직관"에 의문을 제기하는 것이다.

• 실용적 관점: 만약 목표가 예측이나 조작 가능성에 있다면, 유일성이 필수적이지 않을 수 있으며, 여러 유효한 설명을 수용하는 실용적인 태도를 취할 수 있다.
• 엄격한 관점: 만약 유일성이 진정한 "이해의 감각"을 제공하는 데 필수적이라면, 본 논문은 현재의 기준이 불충분하며, 더 엄격한 기준(또는 다중 보완적 검증을 요구하는 "내적 해석 가능성" 프레임워크)이 필요하다고 주장한다.
• 향%후 방향: 본 연구는 단일한 "진정한" 메커니즘이 존재하며 현재의 방법으로 쉽게 발견될 수 있다는 가정에서 벗어나, AI에 대한 설명이란 무엇인지에 대한 엄격한 정의가 필요함을 강조한다.

결론적으로, 현재의 기계적 해석 가능성 지형은 근본적인 식별 가능성 문제에 직면해 있다. 추가적인 제약 조건이나 기준 없이는, 우리가 도출한 설명이 모델의 동작을 지배하는 유일하고 올바른 메커니즘임을 보장할 수 없다.