Expressivity of congruence-based architectures for DNNs on positive-definite matrices

기술 요약: 양의 정부호 행렬에 대한 합동 기반 아키텍처의 표현력

문제 정의
대칭 양의 정부호(SPD) 행렬은 신호 상관관계 및 공분산과 같은 2차 정보를 인코딩하며, 과학 및 공학 응용 분야에서 매우 보편적으로 사용된다. SPD 행렬 집합은 자연스럽게 리만 다양체를 형성하므로 리만 머신러닝 기법의 사용을 가능하게 하지만, 이러한 데이터를 위해 설계된 심층 신경망(DNN)의 표현력은 여전히 제대로 이해되지 않고 있다. 구체적으로, 본 논문은 입력 행렬 $X$를 $X \mapsto WXW^\top$로 변환하는 "합동 유사(congruence-like)" 층(BiMap 층)에 의존하는 SPDNet 아키텍처를 조사한다. SPDNet의 핵심적인 제약 조건은 최적화 안정성을 보장하기 위해 가중치 행렬 $W$에 대해 반직교성(semi-orthogonality)(즉, $WW^\top = I_p$)을 강제하는 것이다. 핵심 문제는 이 제약이 특정 활성화 함수(예: ReEig)와 결와되었을 때, 표현력(representational power)을 제한하여 심층 아키텍처를 얕은 네트워크와 동일하게 만들 수 있는지 여부이다.

방법론
저자들은 다음과 같은 신호 전파 방정식으로 정의되는 일반적인 클래스의 아키텍처를 분석한다:
$$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$$
여기서 $g$는 고윳값에 작용하는 행렬 활성화 함수(예: ReEig)이며, $W_\ell$은 가중치 행사를 의미한다. 연구는 크게 두 가지 이론적 단계로 진행된다:

1. 직교 가중치 ($W \in O(n)$): 저자들은 모든 가중치 행렬이 정방 직교 행렬인 경우, 네트워크의 깊이가 표현력을 증가시키지 못함을 증명한다. 이들은 행렬 함수가 직교 행렬과의 합동 변환에 대해 불변이라는 성질을 활용한다.
2. 반직교 가중치 ($W \in St(n, p)$): 저자들은 직사각형 반직교 행렬로 분석을 확장한다. 이들은 $W^\top A W$의 고윳값이 $A$의 고윳값에 의해 제한된다는 **푸앵카레 분리 정리(Poincaré's Separation Theorem)**를 활용한다. 이러한 스펙트럼 포함 관계는 고윳값의 범위가 입력의 초기 스펙트럼 범위를 벗어나 확장될 수 없음을 의미한다.

본 논문은 더 나아가 이러한 특징 추출기와 최종 분류기 간의 상호작용을 조사한다. 저자들은 다양한 리만 거리(Affine-Invariant, Log-Euclidean, Stein, Bures-Wasserstein, Euclidean)와 합동 기반 특징 추출의 호환성을 테스트하기 위해, 합동 변환에 대한 불변성 특성을 평가한다.

주요 기여 및 결과

• 심층 아키텍처의 붕괴: 본 논문은 특정 활성화 함수에 대해 가중치 행렬에 (반)직교 제약을 부과하는 것이 심층 네트워크를 하나의 은닉층 모델로 붕괴시킬 수 있음을 보여준다.
  • 직교 케이스: $W$가 직교 행열인 경우, 네트워크는 활성화 함수가 $L$번 합성된 단일 층과 동일하다. 만약 스칼라 활성화 함수 $\sigma$가 멱등적(idempotent)(예: ReLU, hard tanh)이라면, 합성 함수 $g^{(L)}$은 $g$로 단순화되어, 심층 네트워크는 엄격하게 단일 은닉층과 동일해진다.
  • 반직교 케이스: $W$가 반직교 행렬이고 활성화 함수 $\sigma$가 입력 스펙트럼을 포함하는 구간에서 항등 함수로 작용하거나(또는 스펙트럼을 해당 구간으로 매핑하면), 네트워크는 다시 단일 합동 변환으로 붕괴된다. 이는 푸앵카레 분리 정리의 직접적인 결과로, 이 특정 설정에서는 계층적 특징 학습에 필요한 스펙트럼 확장을 방지하기 때문이다.
• 스펙트럼 다양성의 상실: 표현력의 부족은 "스펙트럼 다양성의 상실"에 기인한다. 반직교 합동 변환은 출력의 고윳값이 입력의 고윳값 구간 내에 있도록 제한한다. 따라서 스펙트럼 확장이나 수정에 의존하는 활성화 함수의 경우, 깊이를 더하는 것은 추가적인 판별력을 제공하지 못한다.
• 분류기 불호환성: 본 연구는 SPD 행렬 사이의 여러 유명한 거리(Affine-Invariant, Stein, Euclidean)가 직교 또는 가역 행렬과의 합동에 대해 **불변(invariant)**임을 밝혀낸다.
  • 만약 분류기가 이러한 불변 거리에 의존한다면(예: 평균에 대한 최소 리만 거리), 그리고 특징 추출기가 직교 가중치를 가진 합동 층을 사용한다면, 데이터 포인트 간의 거리는 네트워크 전체에서 변하지 않는다.
  • 이는 특징 추출이 오직 이러한 불변 변환에만 의존할 경우, 분류기가 서로 다른 클래스의 데이터를 분리할 수 없음을 의미한다. 즉, 데이터의 상대적 기하 구조가 강화되는 대신 그대로 유지되기 때문이다.

의의 및 주장
본 논문은 SPDNet의 표준 설계 선택 사항, 특히 BiMap 층에 대한 반직교 제약이 특정 활성화 함수에 대해 아키텍처의 표현력을 근본적으로 제한한다고 주장한다. 저자들은 이 제약이 푸앵카레 분리 정리에 의한 스펙트럼 제약으로 인해, 심층 네트워크가 얕은 네트워크보다 이점을 갖지 못하는 퇴화 현상을 초래한다고 주장한다.

나아가, 본 연구는 합동 기반 특징 추출과 불변 메트릭에 의존하는 분류기 사이의 결정적인 불일치를 강조한다. 특징 추출이 데이터의 스펙트럼 및 기하학적 구조를 보존한다면(직교 제약으로 인해), 불변 거리에 기반한 분류기는 특징 추출 과정으로부터 어떠한 이점도 얻을 수 없다. 결론적으로, 본 논문은 향후 SPD DNN 설계가 이러한 제약을 재고해야 하며, 표현력을 회복하기 위해 새로운 활성화 함수를 탐색하거나 직교성 요구 사항을 완화하는 방향을 모색해야 한다고 제언한다.