기술 요약: 언어 모델의 해석 가능성에 대한 데이터 기반 회로 발견

문제 제기

기계적 해석 가능성 (Mechanistic Interpretability, MI) 은 "회로"를 국소화하고 해석함으로써 대규모 언어 모델 (LLM) 의 내부 메커니즘을 역공학하는 것을 목표로 합니다. 여기서 회로란 특정 행동을 담당하는 모델의 계산 그래프 내 희소 부분 그래프를 의미합니다. 회로 발견 분야에서 지배적인 패러다임은 가설 주도 (hypothesis-driven) 방식입니다. 연구자들은 작업을 정의하고, 대표적인 데이터 세트를 구축한 후, 해당 작업에서 모델의 행동을 설명하기 위해 고안된 단일 회로를 발견하는 알고리즘을 적용합니다.

이 워크플로우는 두 가지 암묵적인 가정에 의존합니다:

1. 단일 회로 가정: 모델은 주어진 작업을 단일하고 일관된 계산 메커니즘을 통해 수행한다.
2. 데이터 세트 적절성 가정: 발견에 사용된 특정 데이터 세트는 인간이 이해하는 작업의 전체 범위를 충분히 대표한다.

저자들은 이러한 가정이 결함이 있다고 가정합니다. 그들은 기존 방법들이 일반적인 작업 회로를 발견하는 것이 아니라, 오히려 서로 다른 메커니즘을 단일 설명에 실수로 혼합할 수 있는 데이터 세트 특정적 (dataset-specific) 회로를 발견할 수 있다고 주장합니다. 또한, 단일 회로가 작업의 모든 사례를 실제로 설명할 수 있는지, 아니면 모델이 인간이 단일 작업으로 분류하는 현상에 대해 여러 개의 서로 다른 메커니즘을 사용하는지 의문을 제기합니다.

방법론

1. 가설 주도 방법의 체계적 평가

저자들은 먼저 확립된 네 가지 작업 (간접 목적어 식별 (IOI), 개체 바인딩 (EB), 산술 덧셈, 시퀀스 완성) 에 걸쳐 기존 패러다임의 타당성을 엄격하게 검증합니다. 그들은 표준 발견 방법 (EAP-IG, EAP, E-ACT) 을 사용하여 세 가지 모델 (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) 에서 이러한 작업을 평가합니다.

그들의 실험 설계는 두 가지 주요 조사를 포함합니다:

• 교차 데이터 세트 충실도 (Cross-Dataset Faithfulness): 작업의 의미론적 특성을 유지하지만 표면적 특징 (복잡성, 구문, 도메인) 이 다른 여러 데이터 세트 변형을 각 작업에 대해 구축합니다. 그들은 한 변형에서 회로를 발견하고 다른 변형에서 그 충실도를 테스트합니다.
• 혼합 작업 발견: 두 가지 서로 다른 작업 (예: 산술과 개체 바인딩) 의 예제를 혼합한 데이터 세트를 구축하고, 가설 주도 방법이 두 작업 모두에 충실한 단일 회로를 반환하는지 관찰합니다. 이는 잠재적으로 메커니즘의 혼합을 나타냅니다.

2. 제안된 프레임워크: 데이터 기반 회로 발견 (DCD)

가설 주도 방법들이 일반화되지 못하고 메커니즘을 혼합할 수 있다는 발견에 영감을 받아, 저자들은 데이터 기반 회로 발견 (Data-driven Circuit Discovery, DCD) 을 제안합니다. 이 프레임워크는 작업당 단일 회로라는 가정을 제거합니다.

DCD 워크플로우:

1. 계산에 따른 그룹화: 데이터 세트의 모든 예제가 동일한 메커니즘에 의해 처리된다고 가정하는 대신, DCD 는 먼저 모델이 각 개별 예제를 어떻게 처리하는지 분석합니다. EAP-IG 와 같은 방법을 사용하여 예제별 엣지 귀속 벡터 (edge attribution vectors) 를 계산하여 각 입력에 대해 모델이 특정 엣지에 의존하는 정도를 특성화합니다.
2. 클러스터링: 이러한 고차원 귀속 벡터는 PCA 나 SVD 를 통해 저차원 공간으로 투영된 후 (예: K-means 사용) 클러스터링됩니다. 이는 유사한 계산 메커니즘으로 처리되는 예제들을 그룹화합니다.
3. 독립적 발견: 각 클러스터에 대해 별도의 회로를 독립적으로 발견합니다.

그 결과, 전체 데이터 세트를 설명하려는 단일 회로가 아니라, 일관된 메커니즘에 의존하는 데이터의 특정 하위 집합을 설명하는 일련의 서로 다른 회로들이 도출됩니다.

주요 결과

1. 일반 작업 회로의 실패

본 연구는 가설 주도 방법으로 발견된 회로들이 일반적인 작업 회로가 아닌 데이터 세트 특정적임을 발견합니다:

• 낮은 교차 데이터 세트 충실도: 동일한 작업의 다른 변형에서 발견된 회로 (예: 2 인 IOI 회로가 3 인 변형에서 실패함) 는 작업이 의미론적으로 동일함에도 불구하고 다른 변형에서 종종 현저히 낮은 충실도를 보입니다.
• 낮은 구조적 중첩: 동일한 작업의 다른 변형에서 발견된 회로들은 엣지 중첩이 낮습니다 (Jaccard 유사도가 0.30 에서 0.66 사이). 이는 서로 다른 계산 경로를 의존하고 있음을 나타냅니다.
• 메커니즘 혼합: 발견 데이터 세트에 두 가지 서로 다른 작업 (예: 산술과 개체 바인딩) 의 예제가 포함되어 있을 때, 가설 주도 방법은 여전히 두 작업 모두에 높은 충실도를 보이는 단일 회로를 반환합니다. 이는 방법이 서로 다른 메커니즘을 분리하는 대신 하나의 회로로 혼합하고 있음을 시사합니다.

2. DCD 의 효과성

DCD 는 이러한 한계를 성공적으로 해결합니다:

• 여러 메커니즘의 발견: 혼합 작업 데이터 세트에서 DCD 는 여러 개의 서로 다른 회로를 복원합니다. 각 회로는 일관된 예제 하위 집합 (예: 산술을 위한 한 회로, 개체 바인딩을 위한 다른 회로) 에 특화되어 해당 그룹에서는 높은 충실도를 달성하지만 다른 그룹에서는 실패합니다.
• 높은 충실도와 희소성: DCD 는 Best-of-K 충실도(각 테스트 인스턴스에 대해 가장 충실한 회로를 선택) 측면에서 가설 주도 베이스라인 (EAP-IG, EAP, E-ACT) 과 무작위 분할 베이스라인 (K-RANDOM) 일관적으로 우위를 점합니다. 이 이점은 낮은 희소성 영역 (회로 크기 $\le$ 0.05) 에서 가장 두드러집니다.
• 일관된 클러스터링: DCD 가 형성한 클러스터는 인간이 정의한 작업 경계가 아니라 모델의 내부 조직과 일치합니다. 예를 들어, IOI 와 같은 단일 작업 내에서도 DCD 는 복잡성 (2 인 대 3 인) 이나 도메인 (이름 대 문자) 에 따라 예제를 분리하여 각 그룹에 대해 서로 다른 회로를 발견합니다.

중요성과 주장

본 논문은 회로 발견에 대한 현재의 가설 주도 접근 방식이 인간이 정의한 작업 경계에 대한 의존성과 작업당 단일 메커니즘이라는 가정에 근본적으로 제한되어 있다고 주장합니다.

• 설명 범위의 재정의: 저자들은 "회로"를 인간이 정의한 작업을 위한 메커니즘이 아니라, 모델에 의해 유사하게 처리되는 특정 예제 클러스터를 위한 메커니즘으로 정의해야 한다고 주장합니다.
• 데이터 주도 패러다임 전환: DCD 는 모델의 내부 계산 구조가 회로 발견의 범위를 결정하도록 함으로써 더 충실하고 해석 가능한 설명을 산출함을 보여줍니다. 이는 인간이 단일 작업으로 인식하는 것이 종종 기존 방법들이 혼동하는 여러 개의 서로 다른 메커니즘으로 구성되어 있음을 드러냅니다.
• 한계 및 향후 작업: 저자들은 DCD 가 기초 귀속 방법 (예: 귀속 점수가 메커니즘을 충실히 반영한다는 가정) 의 가정을 계승하고 클러스터링 하이퍼파라미터에 의존한다는 점을 겸손하게 지적합니다. 테스트 시간에 새로운 예제를 클러스터에 할당하는 방법과 인간이 이해하기 쉬운 설명을 거부하는 클러스터를 해석하는 방법에 대한 열린 질문을 식별하였으며, 이는 향후 과제로 남깁니다.

결론적으로, 본 논문은 기존 회로 발견 방법들이 일반적인 작업 메커니즘이 아닌 데이터 세트 특정적 산물을 복원한다는 실증적 증거를 제시하며, 언어 모델 계산의 진정한 다중 메커니즘 특성을 밝히기 위한 프레임워크로 DCD 를 제안합니다.