Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

기술적 요약: 훈련된 네트워크에서의 파라미터 수준 대칭성 귀속 (Parameter-Level Attribution)

문제 정의
본 논문은 매개변수화된 함수 클래스(parameterized function classes) 연구의 근본적인 질문을 다룬다: 신경망이 알려진 대칭성을 가진 함수를 학습했을 때, 그 대칭성이 네트워크의 매개변수화를 통해 "리프팅(lifting)"될 수 있는가? 구체적으로, 저자들은 파라미터 공간에서의 움직임이 함수 공간에서의 군 작용(group action)을 실현할 수 있는지 조사한다. 전역적 리프팅(전체 매개변수 다양체에 대한 매끄러운 작용)은 항상 존재하지 않을 수 있으므로, 본 논문은 **미분적 리프팅 문제(infinitesimal lifting problem)**에 집중한다. 즉, 함수의 대칭 궤도(symmetry orbit)에 대한 접공간(tangent space)이 네트워크의 실현 맵 미분(realization map differential)의 이미지 내에 존재하는지 결정하는 것이다. 이 조건이 성립한다면, 네트워크는 파라미터 업데이트를 통해 대칭 방향을 따라 국소적으로 이동할 수 있다.

방법론
저자들은 **함수적 민감도(functional sensitivity)**를 기반으로 한 프레임워크를 도입하며, 이는 개별 파라미터에 대한 네트워크 출력의 국소적 반응으로 정의된다.

• 함수적 민감도: 파라미터 $\theta$로 매개변수화된 네트워크 $f_\theta$에 대해, $i$번째 파라미터의 점별 함수적 민감도는 $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$이다. 집계된 민감도 $S_i(\theta)$는 프로브 분포(probe distribution)에 대한 이러한 민감도들의 제곱평균제곱근(root-mean-square)이다.
• 미분 리프팅 기준: 저자들은 실현 맵 $\Phi: \Theta \to \mathcal{B}$를 사용하여 리프팅 문제를 정식화한다 (여기서 $\mathcal{B}$는 함수의 공간이다). 미분 $J_\theta = d\Phi_\theta$는 파라미터 속도를 함수 공간의 변화로 매핑한다. $J_\theta$의 열(columns)은 함수적 민감도에 대응한다. 대칭 생성자 $\xi$를 리프팅하기 위한 필요 조건은 유도된 함수 공간 방향 $\eta_\xi$가 $J_\theta$의 이미지(즉, $\text{Im}(J_\theta)$) 내에 존재하는 것이다.
• 최소제곱 완화(Least-Squares Relaxation): 과매개변수화되었거나 불완전하게 훈련된 네트워크에서는 정확한 리프팅이 불가능한 경우가 많으므로, 저자들은 최적의 국소 파라미터 방향을 찾기 위한 최소제곱 접근법을 제안한다. 이는 두 가지 뚜렷한 방향을 생성한다:
  1. 대칭 궤도 방향 ($c^\star$): 대칭 궤도($\eta_\xi$)를 따라 이동하는 것을 근사하는 최소 노름(minimum-norm) 파라미터 방향. 잔차(residual)는 현재의 매개변수화로 접근할 수 없는 대칭 방향의 성분을 측정한다.
  2. 등변성 결함 방향 ($b^\star$): 함수를 등변 부분 공간(equivariant subspace) 쪽으로 이동시키는(즉, "등변성 결함" $\delta_\theta = f_\theta - P_E f_\theta$를 줄이는) 최소 노름 파라미터 방향.
• 귀속(Attribution): 이 최소제곱 해의 계수들은 대칭 생성자에 대한 파라미터별 귀속을 제공하여, 어떤 특정 가중치와 편향이 대칭성에 기여하거나 혹은 대칭성의 부재에 기여하는지를 식별한다.

주요 기여

1. 함수적 민감도 프레임워크: 저자들은 개별 파라미터를 학습된 맵의 국소적 변화와 연결하는 파라미터 수준의 미분 프레임워크를 정의함으로써, 초점을 (Maiti 등의 선행 연구에서와 같은) 파라미터 공간에서의 통계적 상관관계에서 학습된 맵의 국소적 미분 기하학으로 전환한다.
2. 대칭 생성자의 투영: 대칭 생성자를 파라미터 접공간 위로 투영하여, 파라미터별 귀속과 등변성 진단 도구를 생성하는 방법을 개발한다.
3. 실험적 검증: 저자들은 계산된 국소 파라미터 방향이 함수 공간에서의 예측된 유한한 변화를 유도하는지 두 가지 설정에서 실험적으로 비교한다.

• 회전 불변 분류기(Rotationally Invariant Classifier)
• 해밀토니안 신경망(Hamiltonian Neural Networks): 회전 대칭 포텐셜에서 훈련된 HNN.

실험 결과
저자들은 계산된 국소 파라미터 방향이 예측된 함수 공간의 유한한 변화를 유도하는지 평가한다.

• 애뉴러스 분류기(Annulus Classifier): 내부 원판과 외부 환형(annulus)을 구분하도록 훈련된 MLP를 테스트하였다. 연구는 "해결된(Resolved)" 궤적(매 단계마다 자코비안과 방향을 재계산)과 "고정된(Fixed)" 궤적(초기값에서 계산된 방향을 사용)을 비교하였다.
  • 해결된 궤적: 대칭 방향 흐름($c^\star$)은 등변 부분 공간으로부터의 거리를 유지하면서 함수를 회전 대칭 궤도를 따라 성공적으로 이동시켰다. 등변성 지향 흐름($b^\star$)은 비불변 성분(등변성 결함)을 성공적으로 감소시켰다.
  • 고정된 궤적: 방향이 고정된 경우 훈련 후 예측된 궤적에서 크게 벗어났으며, 이는 유한한 궤적을 위해 방향을 재계산해야 할 필요성을 강조한다.
• 해밀토니안 신경망: 멕시칸 햇(Mexican hat) 포텐셜에서 훈련된 적응형 심플렉틱 순환 신경망(ASRNN)을 사용하여, 저자들은 유사한 결과를 관찰했다. 방향을 재계산함으로써 네트워크가 효과적으로 포텐셜을 회전시키거나(대칭 흐름), 학습된 포텐셜을 "더" 등변하게(등변성 흐름) 만들 수 있었다. 고정된 방향은 초기에는 성공적이었으나 시간이 지남에 따라 드리프트(drift)가 누적되었다.
• 아키텍처 독립성: 주목할 점은, 이러한 결과가 아키텍처가 명시적으로 대칭을 강제하지 않는 해밀토니안 네트워크에서도 유지되었다는 것이며, 이는 본 방법론이 표준 아키텍처 내의 대칭 인코딩을 식별할 수 있음을 입증한다.

의의 및 주장
본 논문은 함수적 민감도가 학습된 맵에서 대칭성을 인코딩하는 특정 파라미터를 식별하는 엄격한 도구를 제공한다고 주장한다. 문제를 리프팅 과제로 공식화함으로써, 저자들은 점별 1차 리프팅(pointwise first-order lifting)에 대한 필요충분조건을 확립한다. 본 연구의 의의는 다음과 같다:

• 훈련된 네트워크의 "등변성 결함(equivariance defect)"을 진단할 수 있다.
• 대칭 궤도를 따라 이동하는 것과 등변 부분 공간을 향해 이동하는 것에 대응하는 파라미터 공간 내의 직교 방향을 식별할 수 있다.
• 국소적 리프팅은 신뢰할 수 있지만, 전역적 리프팅을 위해서는 고정된 방향이 유한한 궤적을 추적하는 데 실패하므로 지속적인 방향 재계산이 필요함을 입증한다.

이 연구는 훈련 중에 대칭을 강제하는 것을 주장하는 것이 아니라, 훈련된 네트워크의 파라미터 공간에서 대칭이 어떻게 표현되는지 이해하기 위한 사후 진단 및 귀속 방법을 제공하는 것이다.