기술 요약: Hyperflux - 프루닝을 통한 중요도 규명

문제 정의

현대 딥러닝은 최첨단 성능을 달야하기 위해 과매개변수화된(overparameterized) 모델에 의존하고 있으나, 이러한 관행은 높은 계산 및 메모리 비용을 초래하여 자원이 제한된 장치로의 배포를 저해한다. 네트워크 프루닝(network pruning)이 최소한의 고성능 서브네트워크를 식별하기 위한 전략으로 부상했지만, 현재의 최첨단 방법론들은 프루닝 과정 자체에 대한 이해보다는 휴리스틱을 통한 경험적 결과에 우선순위를 두는 경우가 많다. 가중치 간의 강력한 상호 의존성은 개별 가중치의 중요도와 프루닝 과정의 동작을 결정하는 것을 복잡하게 만드는 중요한 과제로 남아 있다. 기존 방법들은 왜 가중치가 프루닝되거나 다시 생성(regrow)되는지, 그리고 네트워크가 어떻게 희소성(sparsity)을 향해 진화하는지에 대한 이론적 프레임워크가 부족한 경우가 빈번하다.

방법론: Hyperflux 프레임워크

저자들은 **플럭스(flux)**와 **압력(pressure)**이라는 두 가지 주요 동력에 의해 구동되는 연속적으로 진화하는 시스템으로 프루닝을 모델링하는 새로운 $L_0$ 정규화 방법인 Hyperflux를 소개한다.

핵심 개념

1. 플럭스 ($G_i^-$): 이 방법은 가중치 $\omega_i$의 중요성을 가중치가 활성화되어 있을 때가 아니라, 제거(마스킹)된 후에 평가한다. 각 가중치는 학습 가능한 존재 파라미터(presence parameter) $t_i$와 결합된다. $t_i \leq 0$일 때 가중치는 프루닝된다 ($\theta_i = 0$). 플럭스는 프러닝된 상태에서 $t_i$에 대한 손실 함수의 기울기(gradient)로 정의된다. 이는 가중치 제거로 인해 발생하는 손실의 증가량을 측정한다. 만약 플럭스가 강하다면(가중치가 중요했음을 나타냄), 시스템은 **재생(reggrowth)**을 트리거한다.
2. 압력 ($L_{-\infty}$): 모든 존재 파라미터 $t_i$를 $-\infty$를 향해 밀어내어, 네트워크를 프루닝 상태로 유도하는 전역 정규화 항이다. 이 압력은 모든 가중치를 제거하려고 시도하는 지속적인 힘으로 작용한다.
3. 프루닝 역학 (The Pruning Dynamic): 플럭스와 압력 사이의 상호작용이 네트워크의 토폴로지(topology)를 결정한다.
   • 프러닝된 가중치의 집계된 플럭스가 전역 압력을 초과하면, 해당 가중치는 재생된다.
   • 플럭스가 압력을 극복하기에 불충분하면, 가중치는 프러닝된 상태를 유지한다.
   • 이 과정은 프루닝과 재생의 연속적인 순환을 생성하여, 네트워크가 단일 정적 상태가 아닌 다양한 토폴로지 패밀리를 탐색하고 가중치 중요도를 평가할 수 있게 한다.

주요 기술 구성 요소

• 집계된 플럭스 (Aggregated Flux): Hyperflux는 단일 토폴로지에서 중요도를 평가하는 대신, 훈련 중에 방문한 토폴로지 패밀리 전반에 걸쳐 기울기 신호를 누적한다. 이는 보다 견고한 중요도 지표를 제공하며, 한 구성에서 중요하지 않다고 판단된 가중치라도 다른 구성에서 필요하다는 증거가 있다면 재생될 수 있도록 한다.
• 직통 추정기 (Straight-Through Estimator, STE): 가중치를 마스킹하는 데 사용되는 미분 불가능한 계단 함수(step function)를 처리하기 위해, 기울기를 1로 설정하는 STE를 채택한다. 이를 통해 프러닝된 가중치를 통해서도 일정한 기울기 신호가 흐르게 하여, 손실 지형(loss landscape)이 요구한다면 어느 시점에서든 재생이 가능하도록 보장한다.
• 압력 스케줄러 (Pressure Scheduler): $L_0$ 정규화에서 특정 희소도 수준을 목표로 하는 것의 어려움을 해결하기 위해, 저자들은 새로운 스케줄러를 도입한다. 압력($\gamma$)과 최종 네트워크 밀도 사이의 멱법칙(power-law) 관계에 대한 관찰을 바탕으로, 스케줄러는 현재 밀도와 훈련 에포크에 따라 압력 파라미터를 동적으로 조정한다. 이를 통해 원하는 희소도 목표에 도달하기 위해 프루닝 동작을 명시적으로 외부 제어할 수 있다.
• 안정화 단계 (Stabilization Stage): 프루닝 단계 이후, 압력을 0으로 설정하고 학습률을 감쇠시키는 안정화 단계가 도입된다. 이는 필요한 재생을 촉진하고 남은 가중치와 토폴로지가 수렴하도록 하여 최종 정확도를 높인다.

주요 기여

1. Hyperflux 방법: 프루닝 과정을 플럭스와 압력의 상호작용을 통해 설명함으로써, 경험적 휴리스틱에서 벗어나 프루닝 과정을 모델링하는 새로운 $L_0$ 프루닝 정식화(formulation)를 제시한다.
2. 미시적 및 거시적 이해: 논문은 가중치 수준에서의 프루닝 동작(플럭스 대 압력에 따른 재생/프루닝 결정)과 네트워크 수준에서의 밀도 수렴 및 멱법칙 관계에 대한 이론적 모델을 제공한다.
3. 새로운 스케줄러: 압력과 밀도 사이의 멱법칙 관계로부터 도출된 압력 스케줄러를 통해, 비용이 많이 드는 그리드 탐색 없이도 특정 희소도를 신뢰성 있게 목표로 할 수 있게 한다.
4. 경험적 성능: 다양한 아키텍처(ResNet-50, VGG-19, DeiT-T/S)와 데이터셋(CIFAR-10, CIFAR-100, ImageNet-1K)에서 경쟁력 있는 결과를 보여주며, GraNet, AC/DC, CAP과 같은 최첨단 방법론들과 대등하거나 이를 능가하는 성능을 보인다.

실험 결과

저자들은 CIFAR-10, CIFAR-100, ImageNet-1K에서 Hyperflux를 평가했다.

• CIFAR-10/100: Hyperflux는 다양한 프루닝 비율(90%, 95%, 98%)에서 SNIP, GraSP, Synflow, RigL, GraNet와 같은 방법들과 비교하여 경쟁력 있거나 우수한 정확도를 달성했다. 예를 들어, CIFAR-10의 ResNet-50 (98% 희소도)에서 Hyperflux는 95.26%의 정확도를 기록하여 GraNet(94.34%)과 GMP(94.52%)를 앞질렀다.
• ImageNet-1K: ResNet-50에서 Hyperflux는 96.42% 희소도에서 72.21%의 top-1 정확도에 도달하여 AC/DC(72.50%)와 매우 경쟁적인 성능을 보였으며, GraNet와 Spartan을 능가했다. 비전 트랜스포머(DeiT-Tiny 및 DeiT-Small)의 경우, Hyperflux는 CAP 방법의 절반에 불-과한 훈련 예산(300 에포크 대비 150 에포크)만 사용하여 CAP의 결과치와 0.7% 이내의 차이를 보였다.
• 효율성: 이 방법은 추론 계산 비용(FLOPs)을 크게 줄인다 (예: 높은 희소도에서 덴스 베이스라인의 0.06배). 존재 파라미터를 업데이트하기 위한 덴스 백워드 패스(dense backward pass)가 필요하기 때문에 훈련 비용은 희소 베이스라인보다 높지만, 저자들은 이것이 덴스 네트워크 비용의 약 33%라는 이론적 최소치라고 언급했다.

의의 및 주장

본 논문은 Hyperflux가 프루닝 과정을 이해하는 데 있어 중요한 진전임을 주장한다. 제거된 후의 손실(플럭스)을 통해서만 중요성이 드러나는 시스템으로 프루닝을 모델링함으로써, 많은 휴리스틱 프루닝 방법들의 "블랙박스" 특성을 해결한다. 저자들은 자신들의 접근 방식이 왜 가중치가 프루닝되거나 재생되는지, 그리고 희소성이 어떻게 수렴하는지를 설명하는 직관적인 수학적 기초를 제공한다는 점을 강조한다.

이 연구의 의의는 다음과 같다:

• 해석 가능성: "무엇이 작동하는가"를 넘어 "왜 작동하는가"를 다루며, 가중치 선택의 역학을 설명하는 연속적이고 미분 가능한 프레임워크를 제공한다.
• 제어 가능성: 압력 스케줄러를 통해 도출된 멱법칙 관계를 바탕으로 특정 희소도 수준을 예측 가능한 결과로 타겟팅할 수 있어, 시행착오적인 하이퍼파라미터 튜닝의 필요성을 줄여준다.
• 성능: 이론적 이해에 기반한 방법론이 일부 베이스라인에 비해 연장된 훈련 일정 없이도 컨볼루션 및 트랜스포머 아키텍처 모두에서 최첨단 성능을 달성할 수 있음을 입증한다.

저자들은 방법론이 훈련 중 덴스 네트워크의 계산 비용 중 최소 33%를 차지하고, 추가적인 하이퍼파라미터(스케줄러 정책, 스텝 사이즈)를 도입하며, 재생 단계가 사용될 경우 최종 희소도가 목표에서 약간 벗어날 수 있다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지한다. 그들은 향후 연구가 강화 학습이나 대규모 언어 모델(LLM)과 같은 더 넓은 영역을 탐구할 수 있기를 제안한다.