The Symmetries of Three-Layer ReLU Networks

기술적 요약: 3 층 ReLU 네트워크의 대칭성

문제 제기
신경망 매개변수화의 근본적인 속성은 중복성입니다: 서로 다른 매개변수 구성이 정확히 동일한 함수를 구현할 수 있습니다. 이러한 중복성은 주어진 함수를 구현하는 모든 매개변수의 집합으로 정의되는 섬 (fibers) 으로 형식화됩니다. 단일 은닉층 ReLU 네트워크의 경우 매개변수 대칭성 (함수를 변경하지 않는 변환) 은 잘 이해되어 있으며, 여기서 일반적인 섬유는 순열과 스케일링을 제외하고는 자명합니다. 그러나 심층 아키텍처에서 섬유의 구조는 여전히 대부분 규명되지 않았습니다. 심층 네트워크에서는 특정 비퇴화 구성으로부터 추가적인 국소 대칭성이 발생할 수 있으며, 식별 가능성은 종종 매개변수 공간 전체에 걸쳐 균일하지 않습니다. 다루어진 핵심 문제는 심층 ReLU 네트워크에서 주어진 함수를 구현하는 모든 매개변수를 체계적으로 기술하는 것이며, 특히 레이어 구성이 개별 레이어 내에서 작용하는 대칭성으로 환원될 수 없는 중복성을 어떻게 도입하는지 조사하는 것입니다.

방법론
저자들은 매개변수 섬유를 분석하기 위해 다면체 기하학과 열대 기하학에 기반한 프레임워크를 개발했습니다. 주요 방법론적 구성 요소는 다음과 같습니다:

1. 초평면 표현: 음이 아닌 사분면 (nonnegative orthant) 상의 단일 은닉층 네트워크의 경우, 구현된 함수는 가중치 초평면 배치로 특징지어집니다. 함수는 "구부러진 초평면"(뉴런이 비활성 상태에서 활성 상태로 전환되는 곳) 의 배치와 이에 수반되는 가중치 벡터 (기울기 점프) 에 의해 전역 아핀 변환을 제외하고 결정됩니다.
2. 일반성 가정: 분석은 두 가지 조건으로 정의된 일반 매개변수에 초점을 맞춥니다: (1) *초횡단성 (Supertransversality)*으로, 구부러진 초평면이 기대되는 코차원 (codimensions) 에서 교차하도록 보장하며, (2) 마스크된 곱의 최대 랭크로, 가중치 행렬 구성에서 대수적 퇴화를 방지합니다. 이는 표준 다면체 복합체의 조합론적 구조가 안정적임을 보장합니다.
3. 레이어별 대 구성 분석: 이 논문은 먼저 단일 레이어에 대한 섬유를 특징짓고 (레이어별 대칭성), 그 다음 레이어가 구성될 때 이러한 대칭성이 어떻게 상호작용하는지 분석합니다. 식별된 중요한 메커니즘은 기하학적 특징의 "은폐"입니다: 이전 레이어의 초평면이 후속 레이어의 활성 영역에 의해 "고정"되거나 덮여 최종 출력에서 기능적으로 보이지 않을 수 있습니다.
4. 반대수적 기술: 섬유는 다항식 방정식과 부등식으로 정의된 반대수적 집합들의 합집합으로 명시적으로 기술되어, 차원 계산과 알고리즘적 결정 절차를 가능하게 합니다.

주요 기여 및 결과

1. 레이어별 섬유 (단일 은닉층):
   이 논문은 음이 아닌 사분면 상의 단일 은닉층 네트워크에 대한 섬유의 완전한 기술을 제공합니다. 섬유는 비선형 뉴런의 서로 다른 방향 선택에 해당하는 반대수적 집합들의 불연속 합집합임이 입증되었습니다. 방향이 고정되면, 나머지 자유도는 선형 뉴런에 의한 아핀 사상의 인수분해에 해당합니다. 이러한 구성 요소의 차원은 필요한 선형 부분의 음이 아닌 열 랭크를 기반으로 계산됩니다.

2. 레이어 구성에서 비롯된 대칭성 (3 층 네트워크):
   저자들은 단일 레이어 분석에서는 존재하지 않는 ReLU 레이어의 구성에서 비롯된 새로운 대칭성을 식별했습니다.

   • 연속 대칭성: 두 번째 레이어 뉴런이 첫 번째 레이어 초평면을 "은폐"하는 경우 (첫 번째 레이어 뉴런이 선형일 때만 활성이고 그 외에는 비활성), 첫 번째 레이어 편향을 연속적으로 이동시킬 수 있습니다. 이 이동은 정확히 두 번째 레이어 편향의 해당 이동으로 상쇄되어 구현된 함수를 불변으로 만듭니다.
   • 이산 대칭성: 두 번째 은닉층이 단일 뉴런 ($n_2=1$) 으로 구성된 특정 경우, 이산적인 "부호 반전" 대칭성이 나타납니다. 이는 표준 순열 및 스케일링과 구별되는 첫 번째 레이어 가중치에 대한 유한한 변환 군을 허용합니다.

3. 3 층 병목 구조에 대한 완전한 특징화:
   3 층 병목 아키텍처 ($n_1 \leq d$) 의 경우, 논문은 위에서 설명된 대칭성들 (순열, 스케일링, 레이어별 인수분해, 은폐로 인한 이동, 이산 부호 반전) 이 일반 매개변수에 대해 완전함을 증명합니다.

   • 식별 가능성 조건: 일반 매개변수는 첫 번째 레이어 초평면이 은폐되지 않을 때만 식별 가능합니다. 이 조건은 완전히 두 번째 레이어 가중치와 편향의 부호 패턴에 의해 결정됩니다. 구체적으로, 비식별 가능성은 두 번째 레이어 가중치 - 편향 행렬의 한 행이 모두 음수 (죽은 뉴런), 모두 양수 (선형 뉴런), 또는 특정 "은폐" 패턴 (한 열은 양수, 나머지는 음수) 을 가질 때 발생합니다.
   • 다항 시간 알고리즘: 이러한 특징화에 기반하여 저자들은 병목 아키텍처의 두 일반 매개변수가 동일한 함수를 구현하는지 결정하는 다항 시간 알고리즘을 제공합니다.

4. 섬유의 비국소화:
   이 논문은 심층 ReLU 네트워크에서의 식별 가능성이 국소화될 수 없음을 보여줍니다. 레이어들의 쌍별 구성 ($f_2 \circ f_1$ 및 $f_3 \circ f_2$) 은 식별 가능하지만, 전체 구성 ($f_3 \circ f_2 \circ f_1$) 은 식별 불가능한 네트워크를 구성합니다. 이는 매개변수 중복성이 이전 레이어의 범위와 후속 레이어의 비선형성 간의 상호작용에 의존하는 네트워크 구성의 전역 속성으로 발생할 수 있음을 보여줍니다.

5. 경사 하강 흐름의 보존 법칙:
   저자들은 경사 하강 흐름을 따라 보존량을 유도하는 대칭성과 그렇지 않은 대칭성을 구분합니다.

   • 선형 뉴런에서 비롯된 대칭성 (레이어별 스케일링) 은 국소적으로 보존되는 양 (행렬 곱 대칭성과 관련) 을 유도합니다.
   • 반면, 5 절에서 식별된 연속적인 "은폐" 대칭성은 보존량을 유도하지 않습니다. 왜냐하면 대칭성 곡선이 잠재 함수를 생성하는 방식으로 경사 하강 흐름에 직교하지 않기 때문입니다.

의의 및 주장
이 논문은 단일 은닉층 사례를 넘어, 특히 병목 영역에 대한 심층 ReLU 네트워크의 매개변수 섬유에 대한 첫 번째 체계적이고 완전한 기술을 제공합니다. 섬유 구조가 더 깊은 레이어가 이전 레이어의 기하학적 구조를 은폐하는지 보존하는지에 따라 의존한다는 점을 확립함으로써, 이 연구는 심층 학습에서 매개변수 중복성의 본질을 명확히 합니다.

저자들은 그들의 결과를 처리 가능성의 경계 근처에 위치시킵니다. 그들은 섬유의 명시적이고 효율적으로 검사 가능한 기술이 일반성과 병목 가정 때문에 특히 가능하다고 주장합니다. 그들은 이러한 가정들을 제거하는 것 (예: 더 넓거나 더 깊은 네트워크) 은 조합론적 폭발로 이어지며, 일반적인 ReLU 네트워크에서 함수적 동등성을 결정하는 데 알려진 복잡성 이론적 장벽 (coNP-완전성) 과 일치한다고 지적합니다. 따라서 이 논문은 진정으로 심층적인 구성 대칭성이 발생하지만 분석적으로 처리 가능한 영역을 격리합니다.