기술 요약: 숨은 영웅과 그라디언트 비대화

문제 제기

그라디언트 기반 귀속 (attribution) 은 기계적 해석 가능성의 기초 도구로서, 프루닝, 회로 발견, 그리고 트랜스포머 모델 감사에 널리 사용됩니다. 지배적인 가정은 구성 요소의 그라디언트 크기가 모델 행동을 주도하는 인과적 중요성, 특히 분포 외 (OOD) 일반화에 대해 신뢰할 수 있는 지표라는 것입니다. 그러나 본 논문은 이러한 가정이 인과적 개입에 대해 거의 검증되지 않았다고 주장합니다. 그라디언트 크기가 실제 계산을 주도하는 아키텍처 구성 요소를 체계적으로 식별하지 못한다면, 이를 의존하는 파이프라인은 중요한 구성 요소를 잘라내거나 진정한 계산 구조가 아닌 귀속 방법의 부산물인 '회로'를 식별할 위험이 있습니다.

방법론

저자들은 인과적 구조를 분리하도록 설계된 통제된 실험 설정을 사용하여 그라디언트 귀속의 신뢰성을 평가합니다:

• 작업 및 모델: 연구는 정수 $x \in \{1, \dots, 99\}$를 사용하는 두 가지 알고리즘 벤치마크인 시퀀스 반전 (Sequence Reversal) 과 시퀀스 정렬 (Sequence Sorting) 을 활용합니다. 모델은 $L=4$개의 레이어와 $H=4$개의 헤드를 가진 디코더 전용 트랜스포머로, 총 20 개의 구성 요소 (16 개의 어텐션 헤드와 4 개의 MLP) 를 가집니다. 이러한 작업은 인과적 구조가 완전히 측정 가능하고 회로가 상대적으로 단순하여 그라디언트 귀속에 대한 '최상위 시나리오'를 대표하기 때문에 선택되었습니다.
• 그라디언트 크기 ($G$): 각 구성 요소에 대해 저자들은 50 개의 OOD 배치에 걸쳐 정규화된 평균 프로베니우스 노름 (Frobenius norm) 을 계산합니다. 이질적인 하위 레이어 (예: 어텐션 행렬 대 MLP 행렬) 간 공정한 비교를 보장하기 위해 그라디언트는 파라미터 수의 제곱근으로 정규화됩니다. 이 측정은 잔여 스트림에 대한 기여도를 한정하기 위해 $W_V$와 $W_{out}$을 분리합니다.
• 인과적 중요성 ($C$): 기능적 필요성은 OOD 시퀀스 길이 ($N \in \{8, 9, 10, 11\}$) 에 대한 제거 (ablation) 실험을 통해 측정됩니다. 두 가지 기준선이 사용됩니다:
  • 평균 제거 (Mean Ablation): 구성 요소의 출력을 평균 활성화로 대체합니다.
  • 영 (Zero) 제거: 출력을 영 벡터로 대체합니다.
  • 정확도는 정확한 시퀀스 일치로 측정됩니다.
• 격차 정량화: 그라디언트 크기와 인과적 중요성 간의 불일치는 스피어만 상관관계 ($\rho$) 를 사용하여 정량화됩니다. 구성 요소는 순위 차이 ($\Delta_i$) 를 기반으로 분류됩니다:
  • 숨은 영웅 (Hidden Heroes): 낮은 그라디언트이지만 인과적으로 필수적인 경우 ($\Delta_i \le -6$).
  • 그라디언트 비대화 (Gradient Bloats): 높은 그라디언트이지만 인과적 영향이 미미한 경우 ($\Delta_i \ge 6$).
  • 정렬됨 (Aligned): 측정치 간의 일치 ($|\Delta_i| < 6$).
• 검증: 연구는 최대 10 개의 무작위 시드를 포함하며, 중복성을 테스트하기 위한 공동 제거 실험을 포함합니다.

주요 결과

1. 그라디언트 귀속의 체계적 실패

그라디언트 크기와 인과적 중요성 간의 상관관계는 작업에 크게 의존하며 종종 붕괴됩니다:

• 시퀀스 반전: 중간 정도의 상관관계 ($\rho = 0.72$) 를 보입니다.
• 시퀀스 정렬: 심각한 붕괴 ($\rho = 0.27$) 를 보입니다.
• 개별 시드: 특정 시드에서는 상관관계가 거의 0 으로 떨어지거나 ($\rho \approx 0.00$), 부정적으로 예측력이 있어 ($\rho = -0.18$) 높은 그라디언트가 기능적 필요성에 대해 오도할 수 있음을 나타냅니다.

2. 레이어별 구조적 역전

이 실패는 무작위 노이즈가 아니라 안정적인 레이어별 구조를 보입니다:

• 그라디언트 비대화: 초기 레이어 (특히 레이어 1) 에 집중됩니다. 이러한 구성 요소는 높은 그라디언트 신호를 받지만 개별적으로는 대체 가능합니다.
• 숨은 영웅: 후기 레이어 (특히 레이어 3) 에 집중됩니다. 이러한 구성 요소는 낮은 그라디언트 신호를 가지지만 인과적으로 필수불가결합니다.
• 안정성: 특정 헤드는 시드 간에 일관된 역할을 수행합니다 (예: L3 H3 은 10 개의 정렬 시드 중 7 개에서 숨은 영웅; L1 H1 과 L1 H3 은 10 개의 시드 중 6 개에서 비대화).

3. 중복 역설과 초가법성

실패를 주도하는 메커니즘은 집단적 중복성으로 확인됩니다:

• 개별 대 공동 제거: 그라디언트 비대화를 개별적으로 제거할 때 정확도 하락은 미미합니다 (구성 요소당 3.1%). 그러나 공동으로 제거할 때 정확도는 43.8% 붕괴됩니다.
• 초가법성: 공동 손상은 개별 예측의 합보다 14 배 더 큽니다. 이는 비대화가 구성 요소가 서로를 보상하는 분산된 중복 회로를 형성함을 보여줍니다.
• 1 차 방법의 한계: 그라디언트 귀속은 로컬 손실 민감성만 측정하여 중복 회로 내의 모든 활성 구성 요소에 높은 신호를 할당하며, 개별적으로 중복된 단위와 개별적으로 중요한 단위를 구별하지 못합니다.

4. 일반화에 미치는 영향

• 숨은 영웅: 이러한 구성 요소를 제거하면 낮은 그라디언트 순위에도 불구하고 OOD 정확도가 치명적으로 하락합니다 (반전 작업에서 평균 변화 $-36.4\% \pm 22.8\%$).
• 그라디언트 비대화: 개별적으로는 덜 중요하지만, 이들의 집단적 제거는 숨겨진 중복성을 드러내어 특정 시드의 회로 토폴로지에 따라 프루닝 결과에 상당한 변이를 초래합니다.

중요성 및 주장

본 논문은 알고리즘 작업에서 그라디언트 크기가 인과적 중요성에 대한 체계적으로 역전된 대리 변수라고 주장하며, 이는 초기 레이어가 광범위한 고그라디언트 특징 추출기를 학습하고 후기 레이어가 희소하고 인과적으로 필수불가결한 논리를 구현하는 노동 분업에 의해 주도됩니다.

• 기계적 통찰: 이 발견은 그라디언트 기반 방법으로 식별된 '회로'가 귀속 방법의 부산물일 수 있으며, 일반화의 진정한 주도 요인 (숨은 영웅) 을 간과하고 중복된 초기 레이어 특징 (그라디언트 비대화) 을 과대평가할 수 있음을 시사합니다.
• 주장의 전제 조건: 저자들은 그라디언트 기반 휴리스틱만으로는 OOD 일반화에 불충분하고 잠재적으로 파괴적이므로, 회로 수준의 주장이나 프루닝 전략에 앞서 인과적 검증 (제거 또는 패칭을 통해) 이 필수적이라고 주장합니다.
• 범위: 연구는 이러한 발견을 귀속 실패의 하한선으로 위치시키며, 저자들은 더 큰 중복성과 복잡성을 가진 자연주의적 설정에서는 격차가 악화될 수 있다고 제안합니다.

본 논문은 중복된 회로 토폴로지를 고려하여 귀속 방법을 재평가할 것을 촉구하며, 이러한 레이어별 구조가 훈련 중에 어떻게 나타나는지 이해하기 위해 '그로킹 (grokking)'의 시간적 역학을 추적할 필요성을 강조하며 결론을 맺습니다.