기술적 요약: 규모가 아닌 아키텍처: 대규모 언어 모델의 회로 국소화

문제 제기

기계적 해석 가능성 (mechanistic interpretability) 분야는 대규모 언어 모델 (LLM) 이 수십억 개의 파라미터로 확장됨에 따라 회로 분석이 점점 더 다루기 어려워진다는 지배적인 가정을 기반으로 운영됩니다. 표준 가설은 더 큰 모델이 중복된 표현을 개발하고, 계산을 더 많은 구성 요소에 분산하며, 회로를 가독성 있게 만들기 위해 필요한 외과적 제거 (surgical ablations) 에 저항한다고 제안합니다. 결과적으로, 이 분야는 주로 작고 다루기 쉬운 모델을 우선시해 왔으며, 해석 가능성의 어려움이 규모의 필연적 결과인지 아니면 다른 요인에 의존하는 변수인지 직접적으로 검증하지 않은 채 미래의 규모를 위해 설계된 자동화 도구를 개발해 왔습니다.

본 논문은 규모가 해석 가능성 어려움의 주요 동인이라는 가정을 도전합니다. 이는 아키텍처 선택, 특히 어텐션 메커니즘이 파라미터 수보다 회로 기하학과 처리 가능성의 더 신뢰할 수 있는 예측 변수일 수 있다고 주장합니다.

방법론

저자들은 어텐션 메커니즘을 주요 독립 변수로 격리하여, 6 가지 모델 크기 (1 억 6 천만 개에서 70 억 개 파라미터 범위) 에 걸쳐 두 가지 다른 아키텍처 계열을 비교했습니다:

• Pythia: 전반에 걸쳐 표준 멀티헤드 어텐션 (MHA) 을 사용합니다.
• Qwen2.5: 전반에 걸쳐 그룹화 쿼리 어텐션 (GQA) 을 사용하며, 여기서 키와 값 행렬은 쿼리 헤드의 그룹 간에 공유됩니다.

이 연구는 TransformerLens 라이브러리를 사용하여 세 가지 잘 확립된 회로 유형을 평가했습니다:

1. 간접 대상 식별 (IOI): 문장 구조에서 이름을 추적하고 올바른 수신자를 라우팅해야 하는 의미적 작업 (예: "메리와 존이 가게에 간 후, 존은 망고를...에게 주었다").
2. 인덕션 헤드 (Induction Heads): 반복된 토큰 시퀀스에서의 패턴 완성을 포함하는 비의미적 작업 (예: [A][B]...[A]가 B를 예측), 이는 의미적 특이성에 대한 견고성 검증으로 작용합니다.
3. 사실적 회상 (Factual Recall): 주어 - 관계 - 객체 연관성을 완성하는 능력 (예: "프랑스의 수도는..."), 사실 정보의 라우팅을 탐구합니다.

지표:

• 최상위 헤드 점수 (Top Head Score): 가장 중요한 단일 헤드를 제거했을 때 발생하는 로그 확률 (logit) 또는 정확도 하락.
• 80% 손실까지의 헤드 수 (Heads-to-80%): 작업 성능에 80% 의 손상을 초래하는 데 필요한 탐욕적 제거 (greedy ablations) 의 수. 낮은 값은 더 집중된 회로를 나타냅니다.
• 상전이 분석 (Phase Transition Analysis): 규모가 증가함에 따라 회로 국소화가 이산적으로 이동하는지 아니면 점진적으로 저하되는지 관찰합니다.

주요 결과

1. GQA 가 회로를 더 적은 헤드로 집중시킴

세 가지 작업 전반에 걸쳐, GQA 모델 (Qwen2.5) 은 비교 가능한 규모에서 MHA 모델 (Pythia) 보다 훨씬 더 집중된 회로를 생성합니다.

• IOI: 세 가지 Qwen2.5 모델 모두 80% 손실을 초래하는 데 단 하나의 제거만 필요했던 반면, Pythia 모델은 2 개에서 5 개가 필요했습니다. Qwen2.5 의 최상위 헤드 점수는 Pythia 보다 4 배에서 8 배 더 높았습니다.
• 인덕션: 70 억 개 파라미터 GQA 모델을 14 억 개 파라미터 MHA 모델과 비교할 때조차 집중화 우위가 유지되었습니다. 70 억 개 파라미터 Qwen2.5 는 회로를 파괴하는 데 6 번의 제거만 필요했던 반면, 14 억 개 파라미터 Pythia 는 22 번이 필요했습니다.
• 사실적 회상: Qwen2.5 모델은 모델별 및 공유 사실 조건 모두에서 80% 손실을 초래하는 데 정확히 하나의 제거만 필요했습니다. 반면, Pythia 모델은 4 개에서 135 개 사이의 제거가 필요했으며, 회로 기하학은 사실의 난이도에 따라 크게 이동했습니다.

2. 기계적 안정성과 상전이

• 안정성: GQA 회로는 입력 조건과 작업 난이도 전반에 걸쳐 안정적으로 유지되었습니다. 입력이 쉬운지 어려운지에 관계없이 동일한 헤드가 지배적이었습니다. 반면, MHA 회로는 영역 간에 상당한 이동을 보였으며, 다른 헤드가 입력 분포에 따라 중요해졌습니다.
• GQA 의 상전이: Qwen2.5 계열 내에서 5 억 개와 15 억 개 파라미터 모델 사이에 이산적인 상전이가 관찰되었습니다. 이 임계값 (5 억 개) 미만에서는 사실적 회상 회로가 분산되어 있었으며 (8 번의 제거 필요) 중간 레이어에 위치했습니다. 임계값 이상 (15 억 개 및 70 억 개) 에서는 회로가 완전히 레이어 0의 단일 병목으로 붕괴되어, 파괴하는 데 단일 제거만 필요했습니다. 이는 GQA 아키텍처가 계산을 고도로 국소화된 구조로 재구성하는 임계 규모의 존재를 시사합니다.

3. 구조적 제약이 국소화를 주도함

본 논문은 이러한 집중화를 GQA 의 구조적 제약으로 귀인합니다. GQA 에서 단일 키 - 값 (KV) 헤드는 여러 쿼리 헤드의 출력을 중재합니다. 하나의 KV 헤드를 제거하면 모든 관련 쿼리 헤드가 방해받으므로, 헤드가 독립적인 MHA 에서는 존재하지 않는 "병목"이 생성됩니다. 이 아키텍처 제약은 값 공간 계산을 공유 부분 공간으로 강제하여 회로 기하학을 더 다루기 쉽게 만듭니다.

중요성과 주장

본 논문은 해석 가능성의 어려움이 모델 크기의 고정된 결과가 아니라 아키텍처 설계에 크게 영향을 받음을 주장합니다.

• 규모보다 아키텍처: 어텐션 메커니즘 (GQA 대 MHA) 은 파라미터 수보다 회로 기하학을 더 신뢰할 수 있게 예측합니다.
• 배포된 모델의 처리 가능성: 현재 대부분의 최첨단 모델이 추론 효율성을 위해 GQA 또는 유사한 KV 공유 메커니즘을 사용하므로, 이러한 대규모 모델은 이전에 가정된 것보다 회로 수준 분석에 더 적합할 수 있습니다.
• 안전성 함의: 입력 조건 전반에 걸친 GQA 회로의 안정성은 신뢰할 수 있는 감독을 위한 전제 조건입니다. GQA 회로에 구축된 모니터링 도구는 일관되게 작동할 가능성이 높지만, MHA 회로에 구축된 도구는 이동하는 회로 기하학으로 인해 실패할 수 있습니다.
• 우연적 이점: GQA 모델의 증가된 해석 가능성은 추론 효율성을 위해 설계된 구조적 제약의 우연적 결과이며, 의도된 기능은 아닙니다.

저자들은 이 분야가 규모 법칙에만 초점을 맞추기보다 다양한 아키텍처 계열에 걸친 모델을 연구하는 것을 우선시해야 하며, 해석 가능성의 아키텍처적 동인을 이해하는 것이 더 안전한 AI 시스템을 설계하는 데 중요하다고 결론지었습니다. 본 논문은 한계를 인정하며, 연구 결과가 다중 홉 추론 작업으로 일반화되지 않을 수 있고 모델 계열 간 훈련 데이터 차이를 완전히 통제할 수 없었다고 명시합니다.