기술 요약: 작업 관련성은 지역 대체 가능성이 아님

문제 제기

비전 네트워크에서 채널의 중요성은 일반적으로 단일 스칼라 점수로 요약됩니다. 이러한 관행은 두 가지 명확히 구분된 질문을 혼동합니다:

1. 작업 관련성 (Task Relevance): 채널이 목표 작업에 대해 얼마나 많은 정보를 전달하는가?
2. 지역 대체 가능성 (Local Replaceability): 채널이 제거될 때, 동일한 레이어의 나머지 채널들이 네트워크 기능을 유지하는 데 필요한 정보를 제공할 수 있는가?

저자들은 이러한 속성들이 반드시 일치할 필요는 없다고 주장합니다. 동료 채널들이 중첩된 정보를 전달한다면 높은 예측력을 가진 채널도 쉽게 제거될 수 있으며, 반대로 예측력이 낮은 채널이라도 동료가 그 특정 역할을 커버하지 못한다면 결정적으로 중요할 수 있습니다. 기존 지표 (크기, 기울기 민감도, 재구성 오차 등) 는 종종 이러한 효과를 단일 값으로 압축하여, 작업 기여도와 동일 레이어 동료에 의한 회복 가능성 사이의 차이를 명시적으로 구분하지 못합니다.

방법론

본 논문은 작업 관련성과 지역 대체 가능성을 분리하는 채널 정보의 이축적 관점 (two-axis view) 을 제시합니다. 분석은 CIFAR-100 에서 훈련된 고정된 네트워크 (ResNet-18, VGG-16, MobileNetV2) 에 대해 고정된 보정 세트를 사용하여 사후 (post-hoc) 로 수행됩니다.

두 개의 축

1. 지역 축 (Replaceability):

   • 입력 포착 ($I_X$): 가중치 벡터와 입력 공분산 ($w_i^\top \Sigma_X w_i$) 의 레일리 몫 (Rayleigh quotient) 을 통해 계산된, 채널이 입력 변동을 얼마나 강하게 포착하는지에 대한 대리 지표.
   • 동료 중첩 ($\bar{R}_X$): 채널 활성화의 쌍별 상관관계 행렬에서 유도된, 채널 신호가 동일 레이어 동료들과 얼마나 중첩되는지에 대한 측정치.
   • 정의: 높은 $I_X$ 와 낮은 $\bar{R}_X$ 를 가진 채널은 독특한 지역 구조를 전달하며 대체하기 어렵습니다.

2. 목표 축 (Relevance):

   • 작업 상호 정보 ($I(T; Y)$): 채널이 작업 마진 (ground-truth 로짓 마진) 에 대해 보유하고 있는 정보를 측정합니다.
   • 목표 중복성/초과: 가우스 부분 정보 분해 (PID) 대리 지표를 사용합니다. 논문은 확장 가능한 가우스-MMI(최대 상호 정보) 정의 하에서 목표 중복성이 단일 작업 관련성으로 수렴하여 지역 동료 중첩과 구별된다고 명시합니다.

실험 프로토콜

• 구조적 분석: 레이어와 시드 간 두 축 간의 상관관계 및 클러스터링 (조정 랜덤 지수) 측정.
• 훈련 궤적: 무작위 초기화에서 수렴까지 축의 정렬을 추적하여 분리가 학습되는지 확인.
• 기울기 분석: 잔차화된 기울기 방향을 통해 두 축의 기하학적 분리를 설명하는 가우스 선형 모델 유도.
• 개입 테스트:
  • 손상 (Lesions): 미세 조정 없이 개별 채널을 제거하여 즉각적인 손실 증가 측정.
  • 가지치기 (Pruning): FLOPs 매칭 회복 (미세 조정) 을 통한 구조적 가지치기로 정확도 유지 평가.
  • 동료 대체: 제거된 채널의 활성화를 상위 동료들로부터의 선형 재구성과 대체하여 회복 가능성 테스트.

주요 기여

1. 축의 구조적 분리

본 연구는 훈련된 네트워크에서 지역 축과 목표 축이 약하게 정렬되어 있음 (Spearman $\rho \approx 0.01$) 을 보여주며, 서로 다른 채널 그룹화를 정의합니다 (낮은 조정 랜덤 지수). 이는 무작위 초기화 시 축이 강하게 결합된 상태 ($\rho \approx 0.7$) 와 대조됩니다. 이 분리는 초기화의 인공물이 아니라 학습된 현상입니다.

2. 분리의 메커니즘

저자들은 가우스 잔차화 메커니즘을 제안합니다. 선형 - 가우스 모델에서 입력 포착에 대한 기울기는 투사된 신호 - 전력 방향을 따르는 반면, 작업 관련성에 대한 기울기는 잔차화된 작업 - 공분산 방향을 따릅니다. 작업 - 공분산 방향이 지배적인 입력 - 전력 방향과 약하게 정렬될 때, 두 기울기는 거의 직교하게 되어 훈련 중 관찰된 분리를 설명합니다.

3. 가지치기 예측 가능성

고정된 FLOPs 매칭 가지치기 프로토콜 하에서, 지역 축 지표가 목표 축 지표보다 제거 가능성의 더 신뢰할 수 있는 예측자입니다.

• 손상 증거: 일치된 작업 관련성 범위 내에서, 동료 재구성 $R^2$(지역 지원) 은 손상으로부터의 회복을 예측하지만, 작업 관련성과 입력 포착은 그렇지 않습니다.
• 가지치기 결과: ResNet-18, VGG-16, MobileNetV2 전반에 걸쳐 최상의 지역 축 방법이 최상의 목표 축 방법보다 유의미한 차이 (예: +8.0% 에서 +10.1% AUC) 로 우세합니다.
• 아키텍처 의존성: 지역 대체 가능성이 일반적으로 우수하지만, 논문은 VGG-16 에서 가중치 크기가 여전히 강력한 기준선임을 지적하며, 아키텍처별 할당 세부 사항이 여전히 중요함을 시사합니다.

4. 고차 구조

분석은 지역 대체 가능성이 초기 레이어에서는 '단일 중복 (singleton duplicates)'에서 깊은 레이어로 갈수록 '분산된 껍질 (distributed hulls)'로 전환됨을 보여줍니다. 반면, 목표 측 정보는 깊은 레이어에서 점점 더 3 중체 수준의 시너지를 필요로 하므로, 분산된 시너지 정보로 인해 중간 레이어는 목표 측에서 압축하기 더 어렵습니다.

결과

• 약한 정렬: 입력 포착 ($I_X$) 과 작업 관련성 ($I(T; Y)$) 간의 상관관계는 훈련 중 급격히 감소하여 최종 모델에서 0 근처로 수렴합니다.
• 클러스터 발산: 지역 특성 (중복성) 과 목표 특성 (관련성) 으로 그룹화된 채널들은 거의 무작위적인 중첩 (ARI $\approx 0.02$) 을 보여, 서로 다른 채널 하위 집합을 식별함을 확인합니다.
• 가지치기 성능:
  • ResNet-18: 최상의 지역 방법 (+8.0 pp) > 최상의 목표 방법.
  • VGG-16: 최상의 지역 방법 (+6.6 pp) > 최상의 목표 방법. 그러나 크기 (노름 기반 기준선) 는 여전히 경쟁력 있습니다.
  • MobileNetV2: 최상의 지역 방법 (+10.1 pp) > 최상의 목표 방법.
  • 스트레스 테스트: CIFAR-10, Tiny-ImageNet, ImageNet-100 및 ConvNeXt-T 파일럿에서 지역 - 대 - 목표 위계는 유지되나, 축 분리 정도는 다양합니다.
• 기울기 직교성: 실증적 측정은 SGD 업데이트 방향이 초기 훈련 후 두 정보 기울기와 거의 직교하게 됨을 확인하여 잔차화 가설을 지지합니다.

중요성과 주장

본 논문은 가지치기 점수의 보편적 순위가 아닌 축 수준의 구분을 주장합니다.

• 핵심 통찰: 가지치기는 근본적으로 대체 가능성 개입입니다. 레이어의 나머지가 사용 가능한 상태에서 채널이 여전히 필요한지 여부를 묻습니다. 작업 관련성은 채널이 무엇을 나타내는지 설명하지만, 지역 대체 가능성은 네트워크가 그것을 필요로 하는지를 설명합니다.
• 한계: 가장 강력한 증거는 CIFAR-100 의 CNN 에서 도출되었습니다. ImageNet 과 ConvNeXt 에 대한 스트레스 테스트가 추세를 지지하지만, 저자들은 추가 검증 없이 모든 아키텍처 (예: Transformer) 에 대한 보편적 적용성을 주장하지는 않습니다.
• 실용적 함의: 발견 사항은 가지치기 휴리스틱이 명시적으로 지역 동료 지원을 고려해야 함을 시사합니다. 노름 기반 점수 (크기 등) 는 지역 입력 포착의 대리 지표로 작용하는 특정 아키텍처 (VGG-16 등) 에서는 경쟁력 있을 수 있지만, 제거 가능성의 결정적 요소인 동료 중첩을 포착하지는 못합니다.

이 연구는 채널 중요성을 단일 스칼라가 아닌 2 차원 속성으로 재정의하여, 네트워크 중복성을 이해하고 가지치기 전략을 안내하는 더 세밀한 진단을 제공합니다.