Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

기술적 요약: 등변성 강제화의 단점과 표현력 관점에서의 보상

문제 제기
등변 신경망 (Equivariant Neural Networks, ENNs) 은 내재적 데이터 대칭성을 활용하는 주된 접근법으로, 점구름 처리부터 그래프 신경망에 이르기까지 다양한 분야에서 강력한 성능을 달성해 왔습니다. 이러한 네트워크는 일반적으로 계층별 등변 네트워크 (Layer-wise Equivariant Networks, LENs) 와 같은 아키텍처 설계를 통해 또는 일반 등변 네트워크 (General Equivariant Networks, GENs) 와 같은 최적화 제약을 통해 등변성을 강제합니다. 일반화와 샘플 효율성에 관한 등변성의 이점은 잘 문서화되어 있지만, **표현력 (expressive power)**에 관한 트레이드오프는 이론적으로 충분히 탐구되지 않았습니다. 구체적으로, 가설 공간을 등변 모델로 제한하는 것이 동일한 크기의 일반 신경망 (GNs) 에 비해 네트워크의 목표 함수 근사 능력을 본질적으로 저하시키는지, 그리고 모든 계층에서 등변성을 강제하는 것 (LENs) 이 전역 등변성 (GENs) 보다 더 엄격한 제한을 부과하는지는 명확하지 않습니다.

방법론
본 논문은 2 층 ReLU 네트워크에 초점을 맞춰 이 트레이드오프를 조사합니다. 저자들은 네트워크의 내부 구조에 대한 기하학적 분석을 활용하여, 특히 **경계 초평면 (piece-wise 선형 함수의 기울기가 변하는 곳)**과 **채널 벡터 (활성화 경계를 정의하는 가중치 벡터)**를 검토합니다.

1. 기하학적 특성화: 저자들은 경계 초평면을 정의하고, GEN 의 경우 이러한 초평면의 집합이 군 표현에 대해 대칭적이어야 함을 증명합니다. LEN 의 경우 더 엄격한 조건을 유도합니다: 채널 벡터 자체가 군 작용 하에서 대칭 집합을 형성해야 합니다.
2. 구체적 반례 구성: 한계를 입증하기 위해 저자들은 $\mathbb{R}^2$ 위의 특정 불변 목표 함수를 구성하고, 고정된 뉴런 수 (특히 1-뉴런 및 3-뉴런 설정) 하에서 GN, GEN, LEN 의 근사 능력을 분석합니다.
3. 보상 분석: 논문은 모델 크기 (뉴런 수) 를 증가시키는 것이 표현력 손실을 보상할 수 있는지 조사합니다. 이는 더 작은 GN 또는 GEN 의 함수를 재현하는 특정 LEN 아키텍처를 구성하고 결과적인 가설 공간의 차원을 분석하는 과정을 포함합니다.

주요 기여 및 결과

• 표현력 결핍: 논문은 고정된 모델 크기에서 등변성을 강제하면 표현력이 엄격히 감소함을 증명합니다.

  • GN 대 GEN: 특정 불변 목표 함수의 경우, 1-뉴런 GN 은 0 이 아닌 오차로 함수를 근사할 수 있는 반면, 유일한 1-뉴런 GEN 은 영함수 (zero function) 이므로 기대 손실이 엄격히 더 높습니다.
  • GEN 대 LEN: GN 또는 GEN 이 3 개의 뉴런으로 완벽하게 표현해야 하는 목표 함수의 경우, LEN 은 적어도 6 개의 뉴런이 필요합니다. 이는 LEN 의 채널 벡터에 대한 대칭 제약이 계층별 등변성을 만족시키기 위해 $\alpha$와 $-\alpha$와 같은 평행 벡터를 별도의 채널로 포함하도록 강제하기 때문이며, 이는 특정 대칭성에 대해 필요한 용량을 실질적으로 두 배로 만듭니다.

• 모델 확장을 통한 보상: 저자들은 표현력 손실이 모델 크기를 늘림으로써 완전히 보상될 수 있음을 증명합니다.

  • 상한선: 그들은 GEN 을 LEN 으로 $|G|$ (대칭 군의 크기) 배만큼 확장하면 LEN 이 GEN 이 표현할 수 있는 모든 불변 함수를 표현할 수 있음을 보여줍니다.
  • 더 엄격한 상한선: 추가 분석은 불변 함수의 경우, LEN 이 동일한 함수 집합을 표현하기 위해 GEN 의 모델 크기를 최대 2 배만 늘리면 됨을 보여줍니다. 이는 궤도 (orbits) 로 그룹화된 채널 벡터를 가진 LEN 을 구성하고 가능한 경우 병합함으로써 달성됩니다.

• 감소된 가설 복잡성: 놀라운 발견은 확장된 LEN 이 더 많은 뉴런 (더 큰 모델 크기) 을 가지지만, 동등한 표현력을 가진 GN 에 비해 차원이 낮은 가설 공간을 갖는다는 것입니다.

  • 구성된 예시에서 특정 함수를 표현하는 6-뉴런 LEN 의 매개변수 공간은 $\mathbb{R}^5$인 반면, 동일한 함수를 표현하는 3-뉴런 GN 의 매개변수 공간은 $\mathbb{R}^9$입니다.
  • 이러한 차원 감소는 등변성의 구조적 제약이 매개변수를 특정 부분 공간에 위치하게 하여, 뉴런 수 증가에도 불구하고 독립적으로 학습 가능한 매개변수의 수를 줄이기 때문에 발생합니다.

의의 및 주장
이 논문은 계층별 등변 신경망의 표현력에 대한 최초의 심층적 이론적 검사를 제공한다고 주장합니다. 그 주요 의의는 다음과 같습니다:

1. 단점 식별: 모델 크기가 조정되지 않을 경우, 특히 계층 수준에서의 등변성 제약이 모델의 함수 근사 능력을 본질적으로 제한할 수 있음을 명시적으로 입증합니다.
2. 보상 정량화: 손실된 표현력을 회복하기 위해 필요한 모델 크기 확장에 대한 공식적 상한선 (구체적으로 $|G|$ 배 또는 2 배) 을 제공합니다.
3. 일반화 조화: 모델 크기 증가의 "비용"이 가설 공간 차원 감소로 상쇄된다고 주장합니다. 이는 적절히 크기가 조정된 LEN 이 유추 편향 (inductive bias) 때문뿐만 아니라, 동등한 근사 능력을 유지하면서 더 낮은 차원의 매개변수 공간에서 작동하기 때문에 표준 GN 보다 우수한 일반화 능력을 제공할 수 있음을 시사합니다.

저자들은 고정된 크기에서 등변성을 강제하는 것은 원시 표현력 측면에서 단점이 있지만, 이는 관리 가능한 트레이드오프라고 결론지었습니다. 모델을 적절히 확장함으로써 LEN 은 감소된 가설 복잡성을 통해 향상된 일반화 잠재력과 근사 능력을 균형 있게 유지하는 경쟁력 있는 해결책이 됩니다.