Identifiable Equivariant Networks are Layerwise Equivariant

기술 요약: 식별 가능한 등변 네트워크는 계층별로 등변적이다

문제 정의
기하학적 딥러닝(geometric deep learning)에서 지배적인 패러다임은 전체 네트워크가 데이터의 대칭성을 준수하도록 보장하기 위해 명시적인 계층별 등변성(layerwise equivariance)을 가진 신경망을 설계하는 것입니다. 그러나 근본적인 이론적 질문이 남아 있습니다: 계층별 등변성은 네트워크가 엔드 투 엔드(end-to-end)로 등변적이기 위한 필수 조건인가? 경험적으로, 대칭 데이터를 학습하는 네트워크는 중간 계층에서 근사적으로 등변적인 구조를 발달시키는 경-우가 많지만, 왜 엔드 투 엔드 등변성이 계층별 등변성을 함의하는지에 대한 이론적 정당성은 그동안 불분명했습니다. 본 연구는 전역적(end-to-end) 대칭과 국소적(layerwise) 대칭 사이의 간극을 다루며, 특히 엔드 투 엔드 등변 함수가 반드시 등변적인 계층들로부터 구성되어야 하는지를 조사합니다.

방법론 및 형식화
저자들은 신경망을 분석하기 위해 범주론(category theory)과 대수 기하학(algebraic geometry)에 기반한 고도로 추상적이고 아키텍처에 구애받지 않는 형식론을 개발했습니다.

1. 추상 모델 정의: 딥 모델은 잠재 공간 $V_i$에서 작용하는 층들을 나타내는 순차적 합성 맵 $f_i: V_{i-1} \times \Theta_i \to V_i$의 연속으로 정의됩니다.
2. 대칭 및 군 작용(Group Actions): 대칭성은 군 작용을 통해 형식화됩니다. 입력과 출력 공간은 군 $G$에 의해 작용을 받습니다. 결정적으로, 잠재 공간 $V_i$는 그 자체의 대칭 그룹 $K_i$를 갖습니다.
3. 식별 가능성 가정: 핵심적인 이론적 가정은 **파라미터 식별 가능성(parameter identifiability)**입니다. 저자들은 파라미터 $\theta$가 "서브모델(submodel)" 내의 식별 가능한 파라미터의 이미지라면 "약하게 식별 가능하다(weakly identifiable)"고 정의합니다. 서브모델은 뉴런이 비활성화되거나 중복(클론)된 퇴화된 경우를 나타냅니다.
   • 식별 가능성은 두 파라미터 집합이 동일한 함수를 생성한다면, 이들이 반드시 잠재 공간의 대칭(구체적으로는 서로 상쇄되는 계층 간 변환)에 의해 관계되어야 함을 의미합니다.
   • 이 성질은 다양한 아키텍처(예: Sigmoid, Tanh 또는 고차 다항식 활성화 함수를 사용하는 MLP)에서 성립하는 것으로 알려져 있으나, 일부 아키텍처(예: ReLU 네트워크)에 대해서는 여전히 추측 단계에 있습니다.
4. 서브모델 및 퇴화: 프레임워크는 "비활성" 뉴런(순방향 패스에 참여하지 않는 뉴런)을 서브모델로 취급함으로써 이를 명시적으로 처리합니다. 이론은 모든 비식별 파라미터가 이러한 퇴화된 구조로부터 발생한다고 상정합니다.

주요 이론적 결과
중심 정리(정리 4.1)는 전역적 등변성과 계층별 등변성 사이의 직접적인 연결 고리를 확립합니다:

• 전제: 입력과 출력에 작용하는 군 $G$에 대해 엔드 투 엔드로 등변적인 딥 네트워크를 고려합니다. 이 네트워크의 파라미터가 약하게 식별 가능하다고 가정합니다.
• 결론: 중간 잠재 공간 $V_1, \dots, V_{L-1}$에 대한 $G$의 군 작용이 존재하며, 이에 따라 모든 층 $f_i$는 해당 작용에 대해 등변적입니다.
• 함의: 등변 층을 설계하는 것은 단순한 휴리스틱이 아닙니다. 이는 (비활성 뉴런을 제외하고) 엔드 투 엔드 등변 네트워크를 구축하는 유일한 방법입니다. 만약 네트워크가 훈련 중에 등변 해(solution)로 수렴한다면, 등변성은 반드시 그 층들의 활성 부분에서 자동으로 나타나야 합니다.

주요 기여

1. 추상적 형식화: 저자들은 식별 가능성, 등변성, 서브모델을 다양한 신경망 아키텍처와 대칭 그룹에 적용 가능한 통일되고 추상적인 언어로 공식화했습니다.
2. 필요성의 증명: 약한 식별성 가정 하에, 엔드 투 엔드 등변성이 계층별 등변성을 필요로 한다는 것을 증명했습니다. 이는 비계층적 등변 네트워크가 전역적 등변성을 달성할 수 있는지에 대한 열린 질문을 해결합니다.
3. 특정 아키텍처에 대한 적용:
   • MLP: 이론을 다층 퍼셉트론(MLP)에 적용하여, 잠재 대칭이 뉴런의 치환(permutation) 및 스케일링(rescaling)에 대응함을 보여줍니다. 또한 다양한 활성화 함수(Sigmoid, Tanh, Polynomials, ReLU)에 대한 식별 가능성의 상태를 논의합니다.
   • 어텐션 네트워크: 프레임워크를 멀티 헤드 어텐션(Multi-Head Attention) 네트워크로 확장하여, 잠재 대칭에 헤드 치환 및 토큰 공간의 선형 변환이 포함됨을 보여줍니다.
4. 경험적 예시: 저자들은 등변성 손실(equivariance loss)을 사용하여 학습된 작은 MLP(오토인코더 및 분류기)를 대상으로 CIFAR10에서 실험을 수행했습니다. 이론은 정확한 등변성을 가정하지만, 실험은 실제의 근사적 등변 환경에서도 예측된 계층적 구조(예: 대칭 또는 반대칭 필터)가 나타남을 입증합니다.

의의 및 주장
본 논문은 신경망이 대칭 데이터를 학습할 때 잠재 공간에서 이러한 대칭을 선형적으로 인코딩한다는, 실제 현장에서 일관되게 관찰되는 현상에 대한 수학적 설명을 제공한다고 주장합니다.

• 이 연구는 **대칭 기반 데이터 증강(data augmentation)**과 계층별 등변 설계 사이의 관계를 명확히 하며, 네트워크가 등변 함수를 학습한다면 이를 지원하기 위해 필요한 계층적 등변 구조를 효과적으로 "발견"하게 된다는 점을 시사합니다.
• 결과는 식별 가능성 가정에 근거합니다. 저자들은 이 가정이 많은 아키텍처에서 확립되었으나, 일부(특히 ReLU 네트워크)에서는 여전히 추측임을 인정하며, 그들의 결과는 전자에 대해서는 즉각 적용되고 후자에 대해서는 조건부로 적용됩니다.
• 이론은 특정 가중치 구성보다는 파라미터 맵의 구조적 특성에 의존하는 아키텍처 불가지론적(architecture-agnostic) 방식으로 제시되어, 기하학적 딥러닝을 위한 일반적인 원칙을 제공합니다.

한계 및 범위
저자들은 자신의 증명이 군 작용과 층 파라미터 사이의 특정 부가(adjunction) 성질에 의존한다고 언급합니다. 어텐션 및 컨볼루션 네트워크에 대한 일반화에 대해 논의하긴 하지만, 선형 층이 특정 군 작용을 흡수하지만 임의의 변환은 아닌 Deep Sets나 특정 등변 그래프 신경망(GNN)과 같은 아키텍처는 현재 증명의 직접적인 범위 밖에 있습니다. 또한, 약한 식별성에 의존한다는 점은 결과가 서브모델로부터 발생하지 않는 퇴화된 파라미터 구성에 갇히지 않아야 함을 의미합니다.