기술적 요약: 모든 회로는 로마로 통한다

문제 제기

이 논문은 기계적 해석 가능성 분야에서 중심적이면서도 대부분 암묵적으로 가정되어 온 기능적 이방성 가설이라는 가설에 도전합니다. 이 가설은 대규모 언어 모델 (LLM) 내의 특정 능력이나 작업이 단일하고 고유하거나 거의 고유한 내부 메커니즘 (특정 회로나 시어) 에 의해 지원된다고 주장합니다. 이러한 관점 하에서 모델 기능은 이방성적으로 분포되어 있다고 가정되며, 즉 각 능력은 하나의 특권적인 서브그래프에 대응한다고 봅니다.

저자들은 이러한 가설이 회로 및 시어 발견 (CSD) 분야의 지배적인 평가 패러다임을 뒷받침한다고 주장합니다. 여기서 성공은 '진실 (ground truth)' 회로를 복원하거나 작업 성능을 유지하는 가장 작은 가능한 메커니즘을 찾는 것으로 측정됩니다. 이 논문은 이러한 방법들이 실제로 고유한 근본 메커니즘을 식별하고 있는지, 아니면 단순히 여러 가능한 실현 중 하나를 발견하고 있는지에 대해 의문을 제기합니다.

방법론

경쟁하는 메커니즘의 존재를 체계적으로 조사하기 위해 저자들은 **중첩 인식 시어 반발 (OASR)**을 도입했습니다.

1. 시어 발견 프레임워크: 이 연구는 시어 발견을 미분 가능한 엣지 선택 문제로 공식화하는 DiscoGP 프레임워크를 기반으로 합니다. 시어는 계산에 인과적으로 기여하고 패치된 활성화에 의존하지 않고도 독립적으로 작업 성능을 유지할 수 있는 서브그래프로 정의됩니다 (일반적인 회로와 대비됨).
2. OASR 메커니즘: 표준 발견 방법은 무작위 초기화나 최적화 지형으로 인해 종종 유사한 해법에 수렴합니다. OASR 은 명시적인 **중첩 손실 ($L_{overlap}$)**을 추가하여 목적 함수를 수정합니다.
   • 초기 시어 $R$을 발견한 후, 이 방법은 $R$에서 이미 선택된 엣지의 기대 활성화에 페널티를 부과합니다.
   • 결합된 목적 함수는 다음과 같습니다: $L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$.
   • 이러한 "반발"은 최적화기가 이전에 발견된 것들과 구조적으로 구별되지만 (교집합 대 합집합 비율, 즉 IoU 최소화) 작업에 충실한 대체 시어를 찾도록 강제합니다.
3. 실험 범위: 저자들은 OASR 을 여러 벤치마크 작업 (간접 객체 식별 [IOI], BLiMP, AGA, ANA, DNA 변이, Docstring) 과 모델 (GPT-2 Small 및 Pythia-160M) 에 적용했습니다. 또한 ACDC(휴리스틱), EAP(기반 귀속), **엣지 가지치기 (EP)**를 포함한 다른 CSD 방법들에서도 발견을 검증했습니다.

주요 결과

1. 기능적으로 동등하고 저중첩인 시어의 존재

주요 실증적 발견은 단일 LLM 작업을 여러 개의 구조적으로 구별되는 시어가 충실히 수행할 수 있다는 것입니다.

• IOI 사례 연구: OASR 을 사용하여 IOI 작업에 대한 두 개의 시어를 발견했는데, 둘 다 100% 정확도를 달성했습니다. 그러나 구조적 중첩 (IoU) 은 **4.1%**에 불과하여 무작위 확률과 비슷했습니다.
• 일반화: 이 현상은 모든 테스트된 벤치마크에서 유효합니다. 모든 작업에 대해 높은 성능을 보이지만 매우 낮은 IoU(일반적으로 4~11%) 를 가진 시어 쌍이 발견되었습니다.
• 확장 효과: 발견된 시어의 수가 증가함에 따라 (최대 20 회 실행), 엣지의 상호 교집합은 급격히 축소됩니다 (종종 1% 미만의 IoU 로), 반면 엣지의 합집합은 증가합니다. 이는 유효 메커니즘의 공간이 광대하며 단일 핵심으로 수렴하지 않음을 나타냅니다.

2. 방법론 전반에 걸친 지속성

기능적 이방성의 붕괴는 OASR 방법이나 DiscoGP만의 인공물이 아닙니다:

• ACDC: 어텐션 헤드의 순회 순서를 변경하는 것 (비시맨틱적 순서 선택) 은 동일한 임계값을 사용함에도 불구하고 IoU 가 낮은 상당히 다른 회로로 이어졌습니다.
• EAP: 작업과 무관한 정보 (예: IOI 프롬프트에서 이름 바꾸기) 를 변경하면 체계적으로 다른 회로가 발생하여 귀속 기반 방법의 안정성에 의문을 제기했습니다.
• 엣지 가지치기: 작업별 손실 함수를 사용할 때, EP 도 DiscoGP 와 유사하게 발견된 회로에서 높은 다양성을 나타냈습니다.

3. 불가결한 구성 요소의 부재

저자들은 "약화된" 이방성 가설을 테스트했습니다. 즉, 여러 시어가 존재할지라도 소수의 필수적인 '핵심' 불가결 엣지를 공유할 수 있다는 것입니다.

• 초희소 시어: 그들은 IOI 에 대해 86.7% 정확도를 단독으로 달성한 초희소 3-엣지 시어를 확인했습니다.
• 비불가결성: 그러나 작업을 분해하거나 (예: ABBA 및 BABA 템플릿 분리) 이 세 개의 엣지를 명시적으로 금지했을 때, 발견 과정은 여전히 다른 희소하고 고성능을 가진 시어를 찾았습니다.
• 결론: 단일 엣지 (심지어 3-엣지 핵심조차) 는 모든 기능적으로 유효한 메커니즘에 대해 엄격히 불가결하지 않습니다. 핵심의 apparent '필수성'은 작업이 집계된 전체로 취급될 때만 발생합니다.

4. 이론적 분석

이 논문은 이러한 발견을 설명하기 위해 분산 밀집 회로 가설을 제안합니다.

• 이론적 증명: 약한 가정 (잔차 가법성과 국소 선형성) 하에서 저자들은 동일한 작업에 대해 $\epsilon$-충실한 여러 구조적으로 구별되고 저중첩인 회로의 존재를 증명합니다.
• 메커니즘: 고차원 공간에서 가능한 엣지 부분집합의 수는 조합적으로 증가합니다. 선형 중첩으로 인해 서로 다른 엣지 부분집합이 거의 동일한 읽기 벡터를 생성할 수 있습니다 (부분집합 합 충돌). 작업 결정이 유한한 마진으로 보호된다면, 이러한 구조적 차이는 최종 예측에 영향을 미치지 않으므로 여러 유효한 설명이 가능해집니다.

중요성과 주장

이 논문은 회로 및 시어 발견 (CSD) 분야 자체를 무효화한다고 주장하는 것이 아니라, CSD 결과를 어떻게 해석하고 평가해야 하는지에 대한 근본적인 재고를 요구합니다.

• 고유성 거부: 결과는 LLM 의 기계적 설명이 본질적으로 **비정형적 (non-canonical)**임을 시사합니다. 발견된 회로나 시어는 기능적으로 동등한 메커니즘의 공간에서 여러 유효한 실현 중 하나를 나타낼 뿐, 작업을 뒷받침하는 유일한 메커니즘이 아닙니다.
• 평가에 대한 비판: '진실'이나 '최소한의' 고유 회로를 추구하는 현재의 평가 패러다임은 결함이 있는 가설에 기반합니다. 이 논문은 단일 희소 불가결 서브그래프에 대한 탐색이 관찰된 실증적 비고유성을 설명하기에 충분하지 않다고 주장합니다.
• 분산적 관점: 저자들은 경쟁적이고 부분적으로 중복되는 메커니즘의 밀집된 영역에서 작업 행동이 나타나는 계산에 대한 분산적 관점을 옹호합니다.
• 함의: 이는 '필수적인' 구성 요소라는 개념에 도전하며, LLM 의 중복성이 제거 시에만 활성화되는 잠재적 백업 시스템이 아니라 정상 모델 작동의 근본적인 특징임을 시사합니다.

요약하자면, 이 논문은 "모든 회로는 로마로 통한다"는 사실에 대한 실증적 증거와 이론적 근거를 제공합니다. 즉, 여러 개의 구별된 구조적 경로가 LLM 에서 동일한 기능적 행동을 지원할 수 있으며 실제로 그렇게 한다는 것이며, 이는 기능적 이방성에 대한 가설을 훼손합니다.