기술 요약: 등변 신경망(Equivariant Neural Networks)의 분리 능력(Separation Power)

문제 정의

머신러닝 모델의 표현력은 흔히 보편성(universality)—특정 클래스 내의 임의의 함수를 근사할 수 있는 능력—에 의해 정량화됩니다. 그러나 대칭성(치환 또는 회전 등)을 준수하는 등변 신경망(equivariant neural networks)의 경우, 그 보편성은 대칭군(symmetry group) 하에서 동등한 입력들을 구별하지 못하는 네트워크 고유의 한계에 의해 제약을 받습니다. 이러한 제한점은 서로 다른 입력을 식별하는 네트워크의 능력과, 네트워크가 보존해야 하는 불변/등변 구조 사이의 복잡한 상호작용을 만들어냅니다.

그래프 학습 커뮤니티는 Weisfeiler-Leman(WL) 테스트와 호모모르피즘 카운팅(homomorphism counting)을 사용하여 그래프 신경망(GNN)의 분리 능력을 광범위하게 연구해 왔으나, 이러한 조합론적 도구들은 기하학적 데이터를 처리하거나 정규 컨볼루션(regular convolutions)을 사용하는 더 넓은 범위의 등변 모델에 적용할 때 심각한 한계를 가집나다. 비다항 활성화 함수, 유한 차원 표현(finite-dimensional representations), 그리고 치환 등변성을 갖는 일반적인 등변 신경망의 식별 관계(identification relation, 즉 구별 불가능한 입력의 집합)를 특징짓기 위한 미세한 분석 도구가 부족한 실정입니다.

방법론

본 논문은 등변 신경망 패밀리 $\mathcal{N}$의 분리 능력 $\rho(\mathcal{N})$을 특징짓는 이론적 프레임워크를 소개합니다. 분리 능력은 모든 $f \in \mathcal{N}$에 대해 $f(\alpha) = f(\beta)$를 만족하는 입력 쌍 $(\alpha, \beta)$를 식별하는 동치 관계(equivalence relation)로 정의됩니다.

핵심적인 방법론적 기여는 **"트윈 네트워크 트릭(Twin Network Trick)"**으로, 구별 불가능한 입자를 식별하는 문제를 **영점 위치 문제(zero locus problem)**로 변환하는 것입니다. 트윈 네트워크 $\hat{\eta}(\alpha, \beta) = \eta(\alpha) - \eta(\beta)$를 구성함으로써, 저자들은 식별 관계를 트윈 네트워크 공간에 의해 영(zero)으로 매핑되는 점들의 집합을 찾는 문제로 재구성합니다.

이러한 환원은 저자들이 함수 방정식 이론에서 유도된 재귀적 기법을 적용할 수 있게 합니다. 구체적으로, 비다항 연속 함수(예: ReLU, sigmoid)를 포함하는 선형 함수 방정식에 관한 결과들을 활용하여, 영점 위치에 대한 명시적인 재귀 공식(explicit, recursive formula)을 도출합니다. 이 공식은 깊이 $d$인 네트워크의 영점 위치를 네트워크의 아키텍처 및 바이어스 항에 의해 정의된 특정 부분 공간들의 합집합 및 교집합을 통해 깊이 $d-1$인 네트워크의 영점 위치와 연결합니다.

이 분석은 다음을 가정합니다:

1. 치환 표현(Permutation Representations): 네트워크는 유한 집합 위의 실수 값 함수들의 공간에서 작동하며, 유한 군(finite groups)이 치환으로서 작용하는 데 등변합니다.
2. 비다항 활성화 함수(Non-Polynomial Activations): 활성화 함수는 연속적이며 비다항 함수입니다.
3. 완전한 바이어스(Complete Bias): 아핀 층(affine layers)은 표현 공간의 궤도 분할(orbit partition)에 종속되는 바이어스 항을 포함합니다.

주요 기여 및 결과

1. 구별 불가능한 입력의 완전한 특징 규명

본 논문은 고정된 아키텍처를 가진 네트워크에 의해 식별되는 입력 쌍의 집합을 완전히 규명합니다.

• 정리 1 (특징 규명 정리): 신경망 공간의 영점 위치에 대한 재귀 공식을 확립합니다. 이 공식은 네트워크의 깊이, 활성화 특성, 그리고 바이어스 항에 의해 유도된 표현 공간의 분할을 기반으로 식별 관계를 분해합니다.

2. 비다항 활성화 함수의 동등성

• 정리 2: 고정된 아키텍처에 대해, 어떠한 연속적이고 실수 값을 가지며 요소별(element-wise)로 적용되는 비다항 활성화 함수라도 동일한 분리 능력을 갖는다는 것을 증명합니다. 결과적으로 ReLU, sigmoid, tanh와 같은 일반적인 활성화 함수들은 입력을 구별하는 능력에 있어 동등하며, 해당 아키텍처가 가질 수 있는 최대 분리 능력을 모두 달s성합니다. 다항식 활성화 함수는 이 동등성에서 제외됩니다.

3. 깊이(Depth)의 역할

• 정리 3: 네트워크의 깊이를 증가시키는 것은 특정 **반복 임계값(repetition threshold)**까지는 분리 능력을 향상시키지만, 이 임계값을 넘어서면 동일한 유형의 층을 추가하더라도 입자를 구별하는 능력이 개선되지 않고 안정화됨을 보여줍니다.
  • $k$-불변 그래프 네트워크(k-IGNs)의 경우, 이 임계값은 $k$-WL 테스트의 임계값에 비례합니다.
  • 정규 은닉 표현(regular hidden representations)을 가진 네트워크의 경우, 단 한 번의 층 반복 후에 안정화됩니다.

4. 은닉 특징 폭(Hidden Feature Width) 및 불변 특징과의 독립성

• 정리 4 및 주석 1: 분리 능력이 은닉 표현의 블록 다중도(multiplicity of blocks)에 독립적임을 보여줍니다. 즉, 불변 은닉 특징(예: IGN에서의 특징 공간 차원)의 폭을 늘리는 것은 네트워크의 입력 구별 능력을 향상시키지 않습니다. 은닉 표현 $V \otimes \mathbb{R}^f$를 가진 네트워크의 분리 능력은 은닉 표현 $V$를 가진 네트워크의 분리 능력과 동일합니다.

5. 표현 유형의 계층 구조

• 정리 5: 사용된 층의 표현 유형에 따른 분리 능력의 계층 구조를 확립합니다. 분리 능력은 대칭군의 부분군(subgroups)의 부분 순서(partial ordering)에 대응합니다.
  • 더 작은 부분군에 의해 유도된 표현(예: 정규 표현에 해당하는 자명 부분군 $\{e\}$)은 최대의 분리 능력을 제공합니다.
  • 더 큰 부분군에 의해 유도된 표현(예: 불변 벡터에 해당하는 군 $G$ 자체)은 최소의 분리 능력을 제공합니다.
  • 이는 은닉 층에서 정규 표현($\mathbb{R}^G$)을 사용하는 것이 아키텍처가 허용하는 최대 분리 능력을 달성하기에 충분함을 의미합니다.

실제 모델에 대한 시사점

저자들은 이러한 일반적인 결과들을 구체적인 실제 모델들에 적용합니다:

• 불변 그래프 네트워크(IGNs): 본 결과는 $k$-IGN이 은닉 특징 차원과 관계없이 $k$-WL 테스트의 분리 능력과 일치함을 보여줌으로써 기존의 발견을 강화합니다. 이는 보편성을 달성하기 위해 "거대한" 은닉 특징 폭이 필요하다는 이전의 요구사항을 해결합니다.
• 순환 CNN(Circular CNNs): 순환 컨볼루션 신경망의 분리 능력은 필터 크기에 의존함을 보여줍니다. 필터 서포트(filter support)가 더 큰(전체 군의 크기에 가까운) 네트워크는 더 작은 서포트를 가진 네트워크보다 엄격하게 더 미세한(finer) 분리 능력을 가지며, 엄격한 계층 구조를 형성합니다.

의의 및 주장

본 논문은 등변 신경망의 보편성을 이해하기 위한 필요 조건을 제공한다고 주장합니다. 식별 관계 $\rho(\mathcal{N})$를 정밀하게 특징짓함으로써, 저자들은 하이퍼파라미터와 아키텍처 선택을 두 가지 범주로 분류할 수 있게 합니다:

1. 분리 결정 요소(Separation-Determining): 구별 가능한 입력의 집합에 직접적인 영향을 미치는 선택들(예: 활성화 유형, 임계값까지의 깊이, 표현 유형). 이들은 근사 능력과 계산 비용 모두에 상당한 영향을 미칩니다.
2. 분리 독립 요소(Separation-Independent): 구별 가능한 입력의 집합에 영향을 주지 않는 선택들(예: 은닉 특징 폭, 블록의 다중도). 이들은 분리 능력의 제약 내에서 근사 능력에는 영향을 줄 수 있으나, 구별 가능한 입력의 클래스를 확장하지는 못합니다.

저자들은 본 프레임워크가 치환 표현과 비다항 활성화 함수로 제한된다는 점을 강조합니다. 또한, 본 접근 방식이 현재 클레브슈-고르단 계수(Clebsch-Gordan coefficients)를 사용하는 모델이나 다항식 접근 방식을 사용하는 모델에는 확장되지 않으며, 바이어스 항이 없는 경우를 완전히 다루지는 못한다는 점을 인정합니다. 이 연구는 그래프 특유의 조합론적 테스트를 넘어 등변 모델의 표현력을 분석하기 위한 기초적인 이론적 도구 역할을 합니다.