Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation

기술 요약: 상대적 복구 가능성 (Relative Repairability): 고희소성 가지치기 후 할당을 위한 보정 기반 진단

1. 문제 제기

매우 높은 희소성 수준 (일반적으로 90% 이상) 에서 신경망 가지치기는 단순한 매개변수 선택 문제가 아니라 **손상 할당 (damage allocation)**의 문제입니다. 전역 희소성은 제거되는 가중치의 수를 결정하지만, 가지치기로 인한 손상이 레이어 간에 어떻게 분포하느냐에 따라 경량화된 가지치기 후 복구 절차가 모델 성능을 회복할 수 있는지 여부가 결정됩니다.

기존 할당 전략인 전역 크기 기반 가지치기 (global magnitude pruning), 균일 레이어별 가지치기, ERK(구조적 사전 지식), LAMP(레이어 적응형 크기) 등은 **복구 가능성 (repairability)**을 명시적으로 고려하지 못합니다. 이들은 경량 보정으로 손상 수정이 가능한 레이어와 손상이 회복 불가능한 레이어를 구분하지 못합니다. 그 결과, 고희소성 환경에서 표준 할당 규칙은 "복구에 저항적인" 레이어에 과도한 손상을 배치하여, 더 많은 "복구 가능한" 구성으로 동일한 수의 매개변수를 유지하더라도 모델이 붕괴되게 만듭니다.

2. 방법론: 상대적 복구 가능성 (RR)

저자들은 고정된 가지치기 후 복구 연산자 하에서 희소성 할당을 안내하도록 설계된 보정 기반 진단인 **상대적 복구 가능성 (Relative Repairability, RR)**을 제안합니다. 이 방법은 레이블, 기울기, 또는 재학습 없이 오직 소량의 레이블이 없는 보정 데이터셋에만 의존하여 작동합니다.

핵심 메커니즘:
각 레이어 $\ell$와 후보 희소성 $s$에 대해 RR 은 가지치기로 인한 원시 활성화 왜곡과 복구 후 남은 잔류 왜곡을 비교하는 비율을 계산합니다:

1. 원시 왜곡 ($D^{raw}$): 다른 레이어를 밀집 상태로 유지한 채 레이어 $\ell$를 희소성 $s$로 가지치기할 때 발생하는 활성화 이동을 측정합니다.
2. 복구 후 잔류 ($D^{repair}$): 가지치기된 레이어에 경량 복구 연산자 (채널별 분산 매칭 후 배치 정규화 재보정, CR+BN으로 표기) 를 적용한 후의 활성화 이동을 측정합니다.
3. 상대적 복구 가능성 ($R_\ell(s)$): 정규화된 비율로 정의됩니다:
   $$R_\ell(s) = \frac{D^{repair}_\ell(s) + \epsilon}{D^{raw}_\ell(s) + \epsilon}$$

해석:

• 낮은 RR 값은 레이어의 가지치기 유발 손상이 복구 연산자에 의해 대부분 수정 가능함 (높은 복구 가능성) 을 나타냅니다.
• 높은 RR 값은 복구 후에도 손상이 지속됨 (낮은 복구 가능성) 을 나타냅니다.

할당 전략:
RR 은 탐욕적 최적화 프레임워크에서 레이어별 할당 점수로 사용됩니다. 알고리즘은 낮은 RR(높은 복구 가능성) 을 가진 레이어에는 더 높은 희소성 (더 많은 가지치기) 을 할당하고, 높은 RR(낮은 복구 가능성) 을 가진 레이어는 보호하며, 이는 전역 희소성 예산에 따릅니다.

3. 주요 기여

• 복구 가능성 인식 할당의 정립: 이 논문은 고희소성 가지치기를 단순히 유지될 가중치를 선택하는 문제가 아니라, 복구 가능한 손상을 할당하는 문제로 재정의합니다. 고정된 경량 연산자가 복구할 수 있는 가지치기 손상을 견딜 수 있는 레이어가 무엇인지 질문합니다.
• 상대적 복구 가능성 (RR) 의 도입: 원시 가지치기 이동으로 정규화된 복구 후 잔류를 측정하는 진단 지표입니다. 원시 활성화 이동이나 절대적 복구 잔류와 달리 RR 은 수정되지 않은 손상의 비율을 분리하여, 선택된 복구 절차에 특화된 신호를 제공합니다.
• 회복성 전이 (Recoverability Transition) 의 규명: 저자들은 RR 이 보편적으로 우세한 규칙이 아니라 특정 아키텍처 의존적 회복성 전이 밴드 내에서 가장 효과적임을 입증합니다. 이는 표준 할당 규칙 (ERK 또는 LAMP 등) 이 신뢰성을 잃기 시작하지만 네트워크가 완전히 붕괴되지는 않은 영역입니다.
• 프로젝션 레이어에 대한 기계적 통찰: ResNet18 에 대한 제거 실험을 통해, 캡이 있는 ERK 할당은 밀도 캡으로 인해 프로젝션 (다운샘플링) 레이어를 과도하게 보호하여, 손상이 덜 회복 가능한 일반 컨볼루션에 과도한 희소성을 부주의하게 전가함을 밝힙니다. RR 은 프로젝션 레이어의 실제 복구 가능성에 기반하여 적절한 희소성을 할당함으로써 이를 교정합니다.

4. 실험 결과

평가에는 CIFAR10 과 CIFAR100 에서 CR+BN 복구 파이프라인을 사용한 ResNet18, ResNet34, VGG16-BN 이 포함되었습니다.

• 전이 영역 성능: CIFAR100 을 사용한 ResNet18 에서 RR 은 연속적인 전이 밴드 (94.0%–95.5% 희소성) 전반에 걸쳐 ERK 를 능가하며, 이 밴드의 상부 (95.0%–95.5%) 에서는 LAMP 를 능가합니다. 95% 희소성에서 RR 은 ERK 대비 약 2.5 점, LAMP 대비 약 1.1 점의 복구 정확도를 개선합니다.
• 아키텍처 의존성: RR 의 "유용한" 영역은 아키텍처에 따라 이동합니다:
  • VGG16-BN: RR 은 붕괴 경계 (약 95%) 근처에서 가장 유익한 정보를 제공합니다.
  • ResNet34: 특징 전파를 안정화시키는 잔차 연결로 인해 전이는 더 극단적인 희소성 (97.5%) 에서 발생하며, 여기서 RR 이 ERK 와 LAMP 를 능가합니다.
  • ResNet18: 중앙 전이 밴드 (94.0%–95.5%) 를 보입니다.
• 보정 전용 감지: 저자들은 최종 테스트 정확도를 평가하지 않고 RR 진단 곡선만 사용하여 전이 코어를 예측하는 "보정 전이 점수 (Calibration Transition Score, CTS)"를 도입합니다. 이 점수는 RR 이 가장 큰 이점을 제공하는 희소성 영역 (예: CIFAR100 의 ResNet18 의 경우 95.0–95.5%) 을 성공적으로 식별합니다.
• 견고성: RR 은 다양한 보정 데이터셋 크기 (16 개에서 128 개 이미지) 에서 안정적으로 유지되며, 전이 밴드에서 ERK 대비 일관된 우위를 보입니다.

5. 중요성과 주장

이 논문은 RR 이 모든 희소성 수준에서 구조적 또는 크기 기반 할당 규칙을 보편적으로 대체하지는 않는다고 겸손하게 주장합니다. 대신, 그 중요성은 회복성 전이를 위한 복구 인식 진단으로서의 역할에 있습니다.

저자들은 효과적인 고희소성 가지치기는 유지될 가중치뿐만 아니라 복구 가능한 손상까지 할당해야 한다고 주장합니다. RR 은 고정된 경량 복구 파이프라인 하에서 이러한 구조를 드러내는 메커니즘을 제공합니다. 이 발견들은 모델이 붕괴 경계에 접근함에 따라 "복구에 저항적인" 레이어를 식별하고 보호하는 능력이 회복을 위한 결정적 요소가 된다는 것을 시사하며, 이는 표준 사전 지식 (ERK 의 구조적 밀도나 LAMP 의 크기 등) 이 결여된 능력입니다.

이 연구는 "최고의" 할당 규칙이 동적이며 아키텍처에 의존적임을 강조하며, 모델이 회복 가능한 상태에서 붕괴된 상태로 이동함에 따라 변화한다고 말합니다. RR 은 가지치기 손상이 사후 보정에 의해 가장 효과적으로 수정될 수 있는 곳에 배치되도록 보장하여, 이 전이를 탐색하는 도구 역할을 합니다.