기술적 요약: 기계적 해석을 위한 텐서 유사성

문제 제기

기계적 해석은 신경망을 의미 있는 구성 요소로 분해하여 내부 연산을 이해하려는 시도입니다. 이 분야의 핵심 전제 조건은 두 개의 분해된 구성 요소 (또는 두 개의 서로 다른 모델) 가 동일한 근본적인 함수를 구현하는지 엄격하게 검증할 수 있는 능력입니다. 현재 평가 방법들은 두 가지 주요 한계를 겪고 있습니다:

1. 경험적/행동적 유사성: 특정 데이터셋에서 모델 출력이나 활성화를 비교하는 방법은 분포 외 (OOD) 메커니즘에 대해 무감각합니다. 이들은 특정 입력에서만 발동하는 백도어와 같은 문제를 탐지하지 못하거나, 분해가 진정한 함수가 아닌 근사적 휴리스틱에 의존할 경우 일반화에 실패할 수 있음을 감지하지 못합니다.
2. 매개변수 기반 유사성: 가중치 행렬을 비교하는 방법 (예: 행렬 코사인 유사성) 은 가중치 공간의 대칭성 (예: 치환 및 스케일링) 에 매우 민감합니다. 모델이 다르게 훈련되었거나 메커니즘이 단일 뉴런에 집중되지 않고 레이어 전체에 분산되어 있을 때, 기능적 동등성을 인식하지 못합니다.

이러한 대칭성에 불변이며 글로벌 기능적 동등성을 포착할 수 있는 엄격하고 데이터셋에 독립적인 측정 기준이 부족합니다.

방법론

저자들은 텐서 기반 신경망 (특히 이선형 트랜스포머와 같은 다선형 모델) 을 위해 설계된 가중치 기반 측정 기준인 텐서 유사성을 제안합니다. 이 접근법은 표준 비선형 활성화 함수 대신 다항식 (다선형) 아키텍처를 사용하여 가중치의 대수적 분석을 가능하게 합니다.

핵심 아키텍처 전환

이 방법은 활성화 함수가 곱셈 게이팅 (예: 이선형 레이어 및 이선형 어텐션) 으로 대체된 다선형 모델에 의존합니다.

• 이선형 레이어: 리프트된 입력 $\tilde{x} = (1, x)$를 2 차 다항식을 통해 출력으로 매핑합니다: $A(x) = D((L\tilde{x}) \odot (R\tilde{x}))$.
• 다선형 표현: 이러한 레이어는 $n$개의 입력 복사본과 가중치 텐서 $A$의 수축으로 표현될 수 있습니다: $A(x) = A \cdot \text{in}^{\otimes n} \tilde{x}$.
• 심층 모델: 심층 다선형 네트워크는 전역 텐서의 효율적인 계산을 위해 지수적으로 큰 전역 텐서를 물리적으로 생성하지 않고, 전역 텐서의 트리 구조 분해로 구성됩니다.

텐서 유사성 측정 기준

이 측정 기준은 두 가중치 텐서 $A$와 $B$ 간의 일반화된 내적으로 정의되며, 유도된 노름으로 정규화됩니다:
$$\text{sim}_M(A, B) = \frac{\langle A | M | B \rangle}{\|A\|_M \|B\|_M}$$
여기서 $M$은 측정 텐서입니다.

측정 기준이 대칭성 불변 및 데이터셋 독립성의 기준을 만족하도록 보장하기 위해, 저자들은 $M$에 대한 특정 형태를 유도합니다:

1. 대칭화: 극화 동형사상에 기반하여, 저자들은 두 다선형 모델이 기능적으로 동등할 필요충분조건이 그들의 가중치 텐서가 대칭 부분공간에서 동일한 대표자를 갖는 것임을 확립합니다. 이 측정 기준은 입력 치환 대칭성과 관련된 자유도를 제거하기 위해 텐서를 이 대칭 부분공간으로 투영합니다.
2. 가우시안 측정 기준: 측정 기준을 더 정교하게 하고 행동적 유사성과 연관시키기 위해, 저자들은 표준 가우시안 분포 ($x \sim \mathcal{N}(0, I)$) 하에서 입력 텐서의 기대값을 사용하여 $M$을 정의합니다. 이슬리스 정리를 사용하면, 이는 샘플링된 데이터셋이 아닌 전체 가우시안 입력 공간에 걸친 활성화의 내적을 계산하는 폐쇄형 측정 기준을 도출합니다.
3. 효율적 계산: 그람 기반 재귀 알고리즘은 전체 전역 텐서를 인스턴스화할 필요 없이 레이어별로 로컬 텐서를 처리함으로써 심층 네트워크에 대한 이 유사성을 계산할 수 있게 합니다.

주요 기여

1. 원칙적인 가중치 기반 측정 기준: 이 논문은 가중치 공간의 대칭성 (치환, 스케일링) 에 불변이고 입력 데이터셋에 독립적인 측정 기준을 소개합니다. 두 모델이 동일한 다항식 논리를 구현하는지 확인함으로써 기능적 동등성을 공식적으로 검증합니다.
2. 폐쇄형, 데이터 없는 분석: 행동적 측정 기준과 달리, 텐서 유사성은 데이터 샘플링을 필요로 하지 않습니다. 전체 가우시안 입력 공간에 대해 적분하므로, 표준 성능 측정 기준으로는 보이지 않는 OOD 메커니즘 (예: 백도어) 을 탐지할 수 있습니다.
3. 국소화 능력: 이 측정 기준은 특정 출력 차원에 초점을 맞추기 위해 "슬라이스"되거나 체크포인트 간의 기능적 변화를 격리하기 위해 "차분" 텐서로 사용될 수 있어, 특정 메커니즘을 특정 출력에 귀속시킬 수 있습니다.
4. 확장성: 재귀 알고리즘은 몬테카를로 샘플링과 관련된 지수적 또는 2 차 수렴 한계를 피하면서 심층 네트워크에 대해 측정 기준을 계산적으로 실행 가능하게 보장합니다.

결과

저자들은 기존 측정 기준 (CKA, 행렬 코사인, 행동적 유사성) 보다 우월함을 입증하기 위해 네 가지 서로 다른 도메인에서 텐서 유사성을 검증했습니다:

1. 파괴적 망각 (비전): SVHN 에 대한 점진적 훈련 설정에서, 텐서 유사성은 데이터셋이 축소되었을 때 특정 숫자 (예: 숫자 '9') 에 대한 지식 손실을 정확하게 국소화합니다. 이는 영향을 받은 클래스에 대해서는 유사성이 급격히 떨어지는 반면 다른 클래스에서는 안정적으로 유지되는 것을 보여주며, 반면 행동적 측정 기준은 모호한 신호를 보입니다.
2. 그로킹 (모듈러 산술): 모듈러 덧셈 작업에서 텐서 유사성은 모델을 특정 푸리에 주파수로 지속적으로 재구성하는 과정을 추적합니다. 정확도가 완벽하게 점프한 후에도 구조적 재구성이 계속됨을 드러내며, 정확도 곡선만으로는 제공되지 않는 더 명확한 훈련 역학의 시각을 제공합니다.
3. 백도어 탐지 (OOD): SVHN 에 블랙 다이아몬드 패치에서 발동하는 백도어가 주입되었을 때, 깨끗한 데이터에 대한 표준 행동적 측정 기준은 변화를 탐지하지 못합니다. 그러나 텐서 유사성은 깨끗한 데이터만으로도 백도어를 경고하며, 변화를 특정 공격받은 클래스 ('9') 로 국소화하여 OOD 메커니즘을 탐지할 수 있는 능력을 입증합니다.
4. 언어 모델링: The Pile 에서 훈련된 2 층 이선형 어텐션 트랜스포머에 적용된 텐서 유사성은 기존 측정 기준이 흐리게 만드는 훈련 영역에서의 명확한 블록 구조와 급격한 전환을 드러냅니다. 이는 행동적 대리 지표보다 복잡한 n-gram 통계의 형성을 더 효과적으로 추적합니다.

중요성 및 주장

이 논문은 텐서 유사성을 기계적 해석을 위한 기초 도구로 위치시킵니다. 그 주요 중요성은 유사성 측정 및 충실도 검증을 경험적 근사 문제에서 해결된 대수적 문제로 축소하는 데 있습니다.

• 충실도: 다선형 모델의 대수적 속성에 의존함으로써, 이 측정 기준은 분해가 근사적 휴리스틱이 아닌 진정한 근본 함수를 포착하도록 보장합니다.
• 강건성: 전체 분포에 적용함으로써 특정 입력 (예: 백도어) 에서만 발동하는 메커니즘을 효과적으로 배제하여 더 강력한 강건성 주장을 제공합니다.
• 한계: 저자들은 겸손하게 이 방법이 현재 비다항식 비선형성을 사용하는 대부분의 최신 아키텍처를 배제하는 다선형 모델에 의존한다고 인정합니다. 그러나 그들은 다선형 모델이 해석 가능성을 위한 중요한 테스트베드 역할을 하며, 증거에 따르면 표준 아키텍처와 성능을 맞출 수 있다고 주장합니다.
• 미래 전망: 이 연구는 다선형 모델로 제한하는 것이 실행 가능한 대수적 분석을 위한 필수적인 절충임을 시사하지만, 향후 귀속 방법 (예: 심층 트랜스포머 내 경로 간 유사성 계산) 을 위한 길을 열고 다선형 아키텍처가 일반 심층 네트워크보다 더 투명하다는 견해를 뒷받침합니다.