기술 요약: 슬리머블 ConvNeXt

문제 제기

이질적인 자원 제약이 있는 다양한 장치에 비전 모델을 배포하거나, 배터리 상태, 열적 스로틀링, 지연 시간 마감 등으로 인해 연산 가용성이 변동하는 단일 장치에 배포하는 경우, 일반적으로 각 대상 플랫폼별로 별도의 모델을 훈련하고 유지 관리해야 합니다. 이러한 접근 방식은 비용이 많이 들고 동적 환경에서는 비실용적입니다. 폭 적응 추론은 공유 가중치 세트를 훈련하여 여러 중첩 서브네트워크를 포함함으로써 해결책을 제시하지만, 기존 접근 방식은 특정 아키텍처적 한계에 직면해 있습니다:

• 전통적인 CNN: Slimmable Networks 및 US-Nets 와 같은 방법은 서로 다른 채널 폭에 대한 별도의 실행 통계를 유지하기 위해 스위치 가능한 배치 정규화가 필요하여 복잡성과 파라미터 수를 증가시킵니다.
• 비전 트랜스포머 (ViT): 최근의 확장 가능한 방법들 (예: HydraViT, MatFormer) 은 서브네트워크 추출 방식에 구조적 제약을 부과하는 어텐션 메커니즘에 의존합니다 (예: 헤드 차원의 배수로 어텐션 헤드 제거 또는 전체 임베딩 차원 유지). 이는 확장성의 세분성과 범위를 제한합니다.

방법론

본 논문은 ConvNeXt 아키텍처 계열에 채널 폭 슬리밍을 적용한 최초의 사례인 슬리머블 ConvNeXt를 제안합니다. 이 방법은 ConvNeXt 고유의 특정 설계 선택을 활용하여 훈련 파이프라인을 단순화하고 효율성을 향상시킵니다.

아키텍처 설계

각 ConvNeXt 블록은 활성 채널의 비율을 결정하는 슬리밍 비율 $p \in (0, 1]$을 할당받습니다.

• 채널 슬라이싱: 블록 내의 모든 가중치 텐서 (깊이별 합성곱, 포인트별 합성곱, LayerNorm 파라미터) 는 처음 $\lfloor p \cdot C \rfloor$개의 채널만 유지되도록 슬라이싱됩니다.
• 역방향 병목 구조: 중간 확장 레이어 (4 배 확장) 또한 $4 \cdot \lfloor p \cdot C \rfloor$로 슬라이싱되어 확장 비율을 유지합니다.
• 잔차 처리: 슬리밍된 블록이 입력보다 적은 채널을 생성할 경우, 잔차 연결을 추가하기 전에 출력을 제로 패딩하여 원래 차원과 일치시킵니다. 이는 추가적인 프로젝션 파라미터를 도입하지 않도록 합니다.
• 정규화: 전통적인 슬리머블 CNN 과 달리, ConvNeXt 는 배치 정규화 대신 LayerNorm을 사용합니다. LayerNorm 은 샘플 및 채널 슬라이스별로 통계를 계산하므로, 스위치 가능한 정규화 레이어나 별도의 실행 통계 없이도 임의의 채널 수에 자연스럽게 적응할 수 있습니다.

훈련 절차

모델은 교차 폭을 사용하는 공동 훈련 절차를 통해 훈련됩니다:

1. 확률적 선택: 모든 블록에 대한 슬리밍 비율을 정의하는 $p$-리스트 집합이 정의됩니다. 훈련 중에는 배치마다 하나의 $p$-리스트가 무작위로 선택됩니다.
2. 공유 가중치: 모든 서브네트워크는 동일한 가중치를 공유합니다. 비율 $p < 1$인 서브네트워크는 $p=1$일 때 사용되는 파라미터의 엄격한 부분집합을 사용합니다.
3. 최적화: 모델은 선택된 서브네트워크를 통해 표준 순전파 및 역전파를 수행합니다. 이 확률적 교차는 HydraViT 의 테일-드롭 훈련과 유사하지만 채널 차원에 적용됩니다.
4. AutoSlim (선택 사항): 비균일한 블록별 폭을 최적화하기 위해 논문은 AutoSlim을 조사합니다. 이 탐욕적 검색은 균일한 폭으로 시작하여 검증 정확도 하락에 기반하여 가장 중요도가 낮은 블록의 비율을 반복적으로 줄여 목표 평균 비율에 도달할 때까지 진행합니다. 이는 일반적으로 초기 및 후기 단계를 더 넓게 유지하면서 중간 단계를 공격적으로 슬리밍합니다.

주요 기여

1. 아키텍처 적합성: 저자들은 ConvNeXt 의 설계, 특히 LayerNorm 과 역방향 병목 구조의 사용이 폭 적응형 슬리밍에 이상적인 후보임을 입증합니다. 이는 기존 CNN 접근 방식에서 필요했던 스위치 가능한 배치 정규화의 오버헤드를 제거하고, 어텐션 기반 ViT 방법의 구조적 제약을 피합니다.
2. 단순화된 파이프라인: 이 접근 방식은 기존 CNN 및 ViT 슬리머블 방법보다 더 단순한 훈련 파이프라인을 제공하며, 스위치 가능한 정규화, 지식 증류, 샌드위치 훈련 규칙이 필요하지 않습니다.
3. 성능: 이 방법은 ImageNet-1k 에서 광범위한 연산 예산에 걸쳐 최첨단 정확도를 달성하여 ViT 기반 및 전통적인 CNN 베이스라인 모두를 능가합니다.

실험 결과

저자들은 세 가지 모델 크기 (ConvNeXt-Tiny (T), Small (S), Base (B)) 에 대해 ImageNet-1k 에서 슬리머블 ConvNeXt 를 평가했습니다. 모든 모델은 처음부터 600 에포크 동안 훈련되었습니다.

ConvNeXt-Tiny (3 개 서브네트워크)

• 전체 용량 (4.5 GMACs): 80.8% top-1 정확도.
• 절반 용량 (1.2 GMACs): 77.4% top-1 정확도.
• 비교: HydraViT 의 6-헤드 서브네트워크 (4.6 GMACs 에서 78.4%) 보다 2.4 퍼센트 포인트, 3-헤드 구성 (1.3 GMACs 에서 73.0%) 보다 4.4 퍼센트 포인트 더 높은 성능을 보입니다. 또한 동등한 GMACs 에서 MatFormer-S 및 SortedNet-S 를 능가합니다.

ConvNeXt-Base (4 개 서브네트워크)

• 전체 용량 (15.4 GMACs): 82.8% top-1 정확도.
• 절반 용량 (4.0 GMACs): 81.6% top-1 정확도.
• 비교: 절반 용량에서 4.0 GMACs 로 81.6% 를 달성하여, 4.6 GMACs 에서 80.2% 를 기록한 HydraViT 를 13% 적은 연산으로 능가합니다. 단일 가중치 세트로 1.1 에서 15.4 GMACs 까지의 연산 범위를 커버하는 반면, MatFormer 는 약 절반에서 전체 연산으로 제한됩니다.

확장성 및 견고성

• 우아한 저하: 더 큰 모델 (ConvNeXt-B) 은 더 작은 모델 (ConvNeXt-T) 에 비해 슬리밍 하에서 더 우아하게 성능이 저하되어, 절반 용량에서 전체 용량 정확도의 98.7% 를 유지합니다.
• 서브네트워크 수: 서브네트워크 수를 늘리는 것 (예: 3 개에서 5 개로) 은 일반적으로 더 작은 모델에서 체감 효과나 약간의 정확도 하락으로 이어지지만, ConvNeXt-B 는 견고하게 유지되며 4 개 서브네트워크가 실제로 최고 정확도를 향상시킵니다.
• AutoSlim: AutoSlim 은 낮은 용량에서 modest 한 개선을 제공하지만 (예: ConvNeXt-T 의 1/4 용량에서 +1.0%), 잔차 연결의 제로 패딩 전략으로 인해 전체 용량에서는 미미하거나 약간 부정적인 효과를 보입니다.

중요성 및 주장

본 논문은 슬리머블 ConvNeXt 가 추론 시 다양한 자원 예산에 맞춰 계산 비용을 동적으로 조정할 수 있는 단일 탄성 모델을 제공한다고 주장합니다. 이는 단일 모델이 이질적인 장치 군집을 서비스하거나 가중치를 다시 로드하지 않고 런타임 제약 (배터리, 열, 지연 시간) 에 적응할 수 있는 배포 시나리오를 가능하게 합니다.

저자들은 LayerNorm(스위치 가능한 정규화 제거) 과 역방향 병목 구조(간단한 파라미터 슬라이싱 용이) 의 결합이 ConvNeXt 가 거의 모든 작동 지점에서 최첨단 베이스라인보다 높은 정확도를 달성하면서도 합성곱 아키텍처의 단순성과 하드웨어 호환성을 유지할 수 있게 한다고 강조합니다. 이 연구는 용량 감축이 필요한 배포 시나리오에서는 더 작은 모델을 전체 폭으로 훈련하는 것보다 더 큰 베이스 모델에서 시작하여 공격적으로 슬리밍하는 것이 더 나은 결과를 낼 수 있음을 시사합니다.