기술 요약: 이미지 인식을 위한 활성화 함수 없는 백본

문제 제기

메타포머 스타일의 백본을 포함한 현대적 비전 아키텍처는 비선형성을 도입하기 위해 점별 활성화 함수 (예: ReLU, GELU, SiLU) 와 소프트맥스 어텐션 내의 지수 연산에 크게 의존합니다. 이러한 구성 요소가 신경망이 복잡한 함수를 근사할 수 있게 하지만, 비선형성의 유일한 원천은 아닙니다. 본 논문은 이러한 활성화 함수가 경쟁력 있는 성능을 위해 반드시 필요한 것은 아니라고 주장합니다. 또한, 지수 함수와 점별 활성화 함수와 같은 비다항식 연산에 대한 의존성은 표준 네트워크가 비다항식 특성으로 인해 막대한 비용을 치르게 하는 프라이버시 보호 계산 패러다임인 완전 동형 암호화 (FHE) 에 상당한 오버헤드를 초래합니다. 기존 다항식 네트워크 (예: MONet, DTTN) 는 잠재력을 보여주었으나, 종종 실용성을 제한하고 동등한 계산 비용에서 활성화 함수 기반 대응 모델의 성능을 따라가지 못하는 커스텀되고 밀접하게 결합된 아키텍처를 필요로 합니다.

방법론

저자들은 기존 모듈식 비전 백본의 입력 - 출력 인터페이스를 유지하면서 표준 비선형성을 다항식 대안으로 대체하는 프레임워크를 제안합니다. 이 접근 방식은 전체 아키텍처를 재설계하지 않고도 메타포머와 같은 확립된 프레임워크에 다항식 모듈을 통합할 수 있게 합니다.

핵심 원시 연산

본 논문은 학습된 선형 투영의 하마르드 곱 (원소별 곱셈) 으로 표준 비선형성을 대체하는 세 가지 활성화 함수 없는 모듈을 소개합니다:

1. PolyMLP (채널 믹싱): 피드포워드 네트워크의 점별 활성화 함수를 두 개의 병렬 선형 투영의 하마르드 곱으로 대체합니다: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$. 이는 입력 특징에 대한 2 차 다항식을 생성합니다.
2. PolyConv (공간 믹싱): 분리 가능 합성곱의 활성화 함수를 서로 다른 수용 영역을 가진 병렬 합성곱 분기를 원소별 곱셈으로 융합하여 대체합니다. 구체적으로, "거친" 분기 (확장 심층 합성곱) 와 "정밀한" 분기 (표준 심층 합성곱) 를 결합하며, 특징을 비상관화하기 위해 융합 전 한 분기에 채널 뒤집기를 적용합니다.
3. PolyAttn (전역 공간 믹싱): 소프트맥스 어텐션의 지수 함수를 다항식 커널로 대체합니다: $A = (s \cdot QK^\top + 1)^p$, 그 다음 $\ell_1$ 정규화를 수행합니다. 이는 윈도우 어텐션과 같은 구조적 변형과도 호환되는 활성화 함수 없는 어텐션 메커니즘을 생성합니다.

안정화 기법

저자들은 하마르드 곱이 큰 값을 증폭시켜 심층 네트워크에서 학습 불안정성을 초래할 수 있음을 확인했습니다. 최대 약 200 층까지의 네트워크를 안정적으로 학습시키기 위해 다음을 도입했습니다:

• 시그모이드 스케일: 시그모이드 함수 ($\sigma(\lambda)$) 로 제한된 학습 가능한 스칼라가 잔차 기여를 스케일링 ($y = x + \sigma(\lambda)f(x)$) 하여 무제한 성장을 방지합니다.
• 다중 입력 스킵 연결: NASNet 에서 영감을 받아, 각 셀은 두 개의 이전 셀 ($x_{t-1}$ 및 $x_{t-2}$) 로부터 입력을 받아 그래디언트 흐름을 개선합니다.
• 깊이 우선 설계: 저자들은 더 넓고 얕은 구성 대신 더 좁은 레이어를 더 깊게 쌓는 것을 옹호합니다. 이 설계는 다항식 차수가 깊이에 따라 기하급수적으로 증가한다는 사실 ($L$ 깊이에 대해 $2^L$) 을 활용하여 파라미터의 선형적 증가 없이 표현 능력을 극대화합니다.

아키텍처: PolyNeXt

이러한 모듈은 메타포머 스타일의 4 단계 계층적 아키텍처 내에서 인스턴스화됩니다. 두 가지 변형이 제안됩니다:

• CPolyNeXt: 모든 단계에서 공간 믹싱을 위해 PolyConv 를 사용합니다.
• APolyNeXt: 고해상도 단계에서는 PolyConv 를, 저해상도 단계에서는 PolyAttn 을 사용하는 하이브리드 설계입니다.

주요 결과

모델은 ImageNet-1K 분류, 분포 외 (OOD) 강건성, 그리고 ADE20K 시맨틱 세그멘테이션에서 평가되었습니다.

• ImageNet-1K 분류: PolyNeXt 모델은 모든 모델 규모 (Tiny 에서 Large 까지) 에서 활성화 함수 기반 메타포머 인스턴스 (ConvFormer, CAFormer) 와 일치하거나 능가합니다. 예를 들어, CPolyNeXt-S(26M 파라미터) 는 83.9% 의 Top-1 정확도를 달성하여 ConvFormer-S18(83.0%) 과 이전의 다항식 네트워크인 DTTN-S(79.4%) 를 2~3 퍼센트 포인트라는 상당한 차이로 능가하며 더 낮은 계산 비용을 보입니다.
• 강건성: 다항식 백본은 ImageNet-C(손상), ImageNet-A(적대적), ImageNet-R(재현), 그리고 ImageNet-Sketch 에서 우수한 강건성을 보여줍니다. CPolyNeXt-B(40M 파라미터) 는 여러 OOD 벤치마크에서 ConvFormer-B36(100M 파라미터) 를 능가합니다.
• 밀집 예측: ADE20K 시맨틱 세그멘테이션에서 CPolyNeXt-S 는 매칭된 파라미터 수로 ConvFormer-S18 보다 +2.0 mIoU, CAFormer-S18 보다 +1.7 mIoU 더 높은 성능을 보입니다.
• 완전 다항식 변형: LayerNorm 을 나눗셈을 피하기 위해 실행 통계를 사용하는 다항식 호환 BatchNorm 으로 대체함으로써, 저자들은 완전 다항식 모델을 만들었습니다. CPolyNeXt-S(BN) 는 ImageNet 에서 82.7% 를 달성하여 이전 최고의 완전 다항식 모델 (MONet-T BN) 보다 5.0 포인트 개선되었으며, 활성화 함수 기반 ConvNeXt-T(82.1%) 를 능가합니다.

제거 실험 통찰

• 활성화 함수는 해롭다: 다항식 모듈에 활성화 함수 (예: GELU) 를 다시 도입하면 성능이 일관되게 저하됩니다. 저자들은 이를 하마르드 곱에 내재된 "상호 그래디언트 커플링"을 방해하기 때문이라고 설명합니다. 여기서 각 분기의 그래디언트는 다른 분기의 출력에 의해 스케일링됩니다.
• 안정화는 중요하다: 시그모이드 스케일이나 다중 입력 스킵 연결을 제거하면 성능이 크게 떨어지거나 학습이 붕괴됩니다.
• 레시피 민감성: 성능 향상은 모듈 설계와 안정화 기법에 기인하며 고유한 학습 레시피 때문이 아닙니다. 모듈은 다른 아키텍처로 교체될 때도 잘 전이됩니다.

중요성과 주장

본 논문은 활성화 함수가 현대적 비전 백본을 위한 표현적 필요성이 아니라 최적화 문제에 대한 해결책이라고 주장합니다. 특정 메커니즘 (시그모이드 스케일, 깊이 우선 설계) 을 통해 학습 안정성을 해결함으로써, 다항식 상호작용이 비선형성의 효과적인 원천이 될 수 있습니다.

주요 기여는 다음과 같습니다:

1. 다항식 대안: 표준 비선형성을 하마르드 곱으로 대체하면서도 아키텍처 개선과의 호환성을 유지하는 PolyMLP, PolyConv, PolyAttn 의 도입.
2. 실증적 증거: 활성화 함수 없는 백본 (PolyNeXt) 이 다양한 규모에서 정확도와 강건성 측면에서 활성화 함수 기반 대응 모델을 일치하거나 능가할 수 있음을 입증.
3. 안정화 레시피: 심층 (최대 200 층) 다항식 네트워크의 학습을 가능하게 하는 경량 기술 세트.
4. FHE 진전: 비다항식 연산을 제거하여 완전 동형 암호화 호환 추론을 향한 한 걸음이며, 이전의 완전 다항식 네트워크를 능가하고 활성화 함수 기반 베이스라인에 근접하는 완전 다항식 변형을 포함합니다.

저자들은 그들의 작업이 즉각적인 안전성이나 공정성 향상을 의미하지는 않지만, 프라이버시 보호 추론을 향한 길을 열고 심층 비전 모델에서 전통적 활성화 함수의 필요성을 재평가해야 함을 시사한다고 결론지었습니다.