Lattice theory and algebraic models for deep convolutional learning based on mathematical morphology

기술 요약: 수학적 형태론에 기반한 심층 합성곱 학습을 위한 격자 이론 및 대수적 모델

문제 제기
본 논문은 심층 합성곱 신경망 (CNN), ResNet, UNet 과 같은 인코더 - 디코더 아키텍처의 내부 구조를 이해하기 위한 엄밀한 대수적 프레임워크의 부재를 다룹니다. 기존 접근법들은 ReLU 네트워크를 위한 열대 기하학 (tropical geometry), 스펙트럴 편향을 위한 조화 분석, 또는 구성적 구조를 위한 범주 이론을 활용하지만, 종종 사용된 연산의 특정 대수적 속성에 기반한 통합된 연산자 이론적 기초를欠如하고 있습니다. 핵심 문제는 표준 CNN 파이프라인 (선형 합성곱 + ReLU + 최대 풀링) 이 형태론적 연산자 (특히 쌍대성 (adjunctions) 과 멱등성 (idempotency)) 의 대수적 속성을 갖는지 여부를 결정하고, 그렇지 않다면 그 행동에 대한 정확한 대수적 원인을 규명하며 이론적으로 일관된 대안을 제안하는 것입니다.

방법론
저자는 주요 분석 도구로 수학적 형태론과 격자 이론을 활용합니다. 핵심 이론적 엔진은 완전 격자 위의 병진 불변 (TI) 연산자를 특징짓는 Matheron–Maragos–Banon–Barrera (MMBB) 보편 표현 이론입니다.

방법론은 다음과 같은 단계를 거쳐 진행됩니다:

1. 격자 식별: 논문은 표준 심층 학습 연산을 특정 완전 격자에 매핑합니다. 여기에는 점별 격자 $(\text{Fun}(E, \mathbb{R}), \leq)$, 푸리에 inf-반격자 $(L_n, \leq_F)$, 그리고 중앙값 inf-반격자 $(\text{Fun}(E, \mathbb{R}), \preceq)$가 포함됩니다.
2. 연산자 분류: 표준 연산들 (합성곱, ReLU, 최대 풀링) 은 이러한 격자 내에서 형태론적 연산자 (부식, 팽창, 오프닝, 클로징) 로서 분석됩니다.
3. 쌍대성 분석: 논문은 연산자 쌍이 쌍대성 (갈루아 연결) 을 형성하는지 여부를 조사합니다. 특히 표준 CNN 의 "교차 격자 (cross-lattice)" 성격을 검토하는데, 여기서 합성곱은 푸리에 격자에서 부식으로 작용하는 반면 풀링은 점별 격자에서 팽창으로 작용합니다.
4. 고정점 및 멱등성 이론: 논문은 계층적 아키텍처의 수렴 특성을 분석합니다. 멱등성 ($\Phi \circ \Phi = \Phi$) 을 형태론적 오프닝의 정의적 특성으로 정의하고 표준 및 제안된 레이어가 이를 만족하는지 테스트합니다.
5. 대수적 구성: 분석을 바탕으로 논문은 멱등성과 잘 정의된 쌍대 연산자를 보장하며 격자 이론 원칙을 엄격히 준수하는 새로운 레이어 설계 (유형 I, II, III) 를 구성합니다.

주요 기여

• C1. 최대 - 곱 (Max-Times) 대수 동치: 논문은 양의 특징 맵 (예: 소프트맥스 이후) 을 위한 표준 형태론적 쌍대성으로 최대 - 곱 쌍대성 (곱셈 구조 함수) 을 확립합니다. 이는 로그/지수 동형 사상을 통해 고전적인 최대 - 더하기 (max-plus) 쌍대성과의 대수적 동치를 증명합니다.
• C2. 부호화된 연산자를 위한 Banon–Barrera 표현: 저자는 부호화된 CNN 커널에 필수적인 비감소 연산자에 대해 MMBB 프레임워크를 확장합니다. 이를 위해 Banon–Barrera (1993) 의 sup-생성 분해를 사용하여 임의의 TI 연산자를 부식과 반 - 팽창의 inf-조합의 supremum 으로 분해합니다.
• C3. 합성곱의 형태론적 기초: 논문은 합성곱 커널 $k$의 형태론적 기초를 $\mathbb{R}^N$에서 $k$에 수직인 초평면과 동형인 것으로 특징짓습니다. 이는 특성 행렬 $A_k$와 양자화된 신호를 위한 가상 기저 개념을 도입하여 이진 및 저비트 네트워크에 대한 정확한 대수적 표현을 제공합니다.
• C4. 표준 CNN 의 교차 격자 구조: 주요 발견 중 하나는 표준 CNN 파이프라인 (합성곱 + ReLU + 최대 풀링) 이 교차 격자 연산자라는 것입니다. 합성곱은 푸리에 격자에서 부식인 반면, 최대 풀링은 점별 격자에서 팽창입니다. 결과적으로 이들의 합성은 어느 격자에서도 형태론적 오프닝이 아니며 멱등성이 없습니다. 이 비멱등성은 표준 CNN 에서 깊이의 표현력을 제공하는 대수적 원천으로 식별됩니다.
• C5. ReLU 쌍대 연산자의 비국소성: 논문은 점별 격자에서 ReLU 의 상부 쌍대 연산자가 전역 (비국소) 연산자(전체적으로 음이 아닌 함수에 대해서는 항등, 그 외는 $-\infty$) 임을 증명합니다. 이는 어떤 국소적 형태론적 부식도 ReLU 와 쌍대성 쌍을 형성할 수 없음을 의미하며, ReLU 가 표준 형태론적 오프닝의 일부가 될 수 없는 이유를 설명합니다.
• C6. 활성화 - 풀링 팽창 (APD) 분해: 논문은 ReLU 와 간격이 있는 최대 풀링을 단일 팽창 연산자 $\Psi^{\text{APD}}_{R;\alpha}$로 통합합니다. 이 연산자에 대한 올바른 전역 쌍대 연산자를 유도하는데, 이는 구간별 상수 업샘플링 followed by 편향 이동입니다.
• C7. 자기 쌍대 연산자와 부호화된 활성화: 저자는 중앙값 inf-반격자와 자기 쌍대 연산자(부호와 교환하는 부식 및 오프닝) 를 도입합니다. 이는 표준 ReLU 가 격자 쌍대성을 보존하지 못하는 부호화된 특징 맵 (예: ResNet 잔차) 을 위한 수학적으로 일관된 프레임워크를 제공합니다.
• C8. 세 가지 멱등성 레이어 설계: 논문은 진정한 형태론적 오프닝인 세 가지 CNN 유사 레이어 계열을 식별하고 특징짓습니다:
  • 유형 I: 순수 최대 - 더하기 (max-plus) 형태론 레이어 (점별 격자).
  • 유형 II: 스펙트럴 Wiener 레이어 (푸리에 격자, $\epsilon \to 0$ 극한에서 멱등성).
  • 유형 III: 자기 쌍대 오프닝 (중앙값 격자).

결과 및 아키텍처 제안

• 형태론적 ResNet 의 수렴: 유형 I 레이어의 경우, 멱등성으로 인해 레이어를 반복하는 것이 한 단계에서 고정점으로 수렴함을 논문은 증명합니다. 반면, 특정 근사 $F \approx \gamma - \text{id}$ 없이 $\Phi(f) + f$로 정의된 단순 잔차 반복은 발산합니다.
• UResNet 아키텍처: 논문은 UNet 을 수정한 UResNet을 제안합니다. 여기서 스킵 연결은 연결된 특징이 아닌 탑햇 잔차 ($f - \gamma(f)$) 를 전달합니다. 이 설계는 디코더가 형태론적 오프닝 동안 손실된 정보를 대수적으로 보상함으로써 인코더 입력을 정확히 스케일별 재구성할 수 있게 합니다.
• 고정점 집합: 논문은 이러한 레이어의 고정점 집합을 특징짓습니다. 유형 I 의 경우 집합은 오프닝의 이미지입니다. 유형 III (자기 쌍대) 의 경우 고정점 집합은 부호에 대해 닫혀 있어 대칭적 데이터 분포에 적합합니다.
• 풀링 및 피라미드: 최대 풀링, 스트라이드 합성곱, 그리고 라플라시안 피라미드는 Goutsias–Heijmans 쌍대 피라미드 이론 아래 통합되어, 모두 적절한 격자에서의 쌍대 부식 - 팽창 쌍의 사례임을 보여줍니다.

의의 및 주장

본 논문은 범주론적 및 계산적 접근법 모두에서 현재 결여되어 있는 격자 특화 연산자 이론적 내용을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 깊이에 대한 대수적 설명: 표준 CNN 이 강력한 이유에 대한 정확한 대수적 이유를 제공합니다. 즉, 레이어가 교차 격자 합성이기 때문에 멱등성이 없습니다. 합성이 단순한 투영이 아니기 때문에 깊이는 진정한 표현력을 도입합니다.
2. 통합된 언어: 형태론적 레이어를 명시적으로 사용하는지 여부와 관계없이 격자 연산자, 쌍대성, 그리고 형태론적 기저의 관점에서 CNN, ResNet, UNet 을 분석할 수 있는 통합된 언어를 제공합니다.
3. 새로운 아키텍처를 위한 이론적 기초: 멱등성과 정확한 재구성 속성을 보장하는 표준 설계에 대한 대안으로, 이론적으로 잘 정립된 새로운 아키텍처 (APMO, UResNet) 를 제안합니다.
4. ReLU 에 대한 명확화: ReLU 가 (최대 - 더하기 의미의 팽창이 아닌) 클로징이며 비국소적 쌍대 연산을 가진다는 것을 엄밀하게 증명하여, 이를 표준 형태론적 팽창과 구별하고 쌍대성 형성의 한계를 설명합니다.

본 논문은 명시적으로 새로운 레이어를 설계, 훈련, 또는 계산적으로 벤치마킹하지 않는다고 명시합니다. 대신, 형태론적 신경망과 형태론적 렌즈를 통해 바라본 표준 심층 아키텍처 모두를 뒷받침하는 대수적 프레임워크를 제공합니다. 이는 표준 훈련에서 경사 하강법이 구조 함수 공간의 끌개 (basin of attraction) 를 선택하는 과정에서 형태론적 기저의 학습이 암시적으로 이루어진다는 입장을 취합니다.