Investigating the Effect of Network Pruning on Performance and Interpretability

기술적 요약: 네트워크 가지치기가 성능과 해석 가능성에 미치는 영향 조사

문제 제기
GoogLeNet 과 같은 심층 신경망 (DNN) 은 종종 과도하게 매개변수화되어 자원 제약 환경에서의 배포에 도전을 제기합니다. 신경망 가지치기는 모델 크기를 줄이기 위한 확립된 기술이지만, 기존 문헌은 주로 정확도 및 공간 복잡도와 같은 성능 지표에 초점을 맞추었습니다. 다양한 가지치기 전략이 모델의 해석 가능성에 어떻게 영향을 미치는지에 대한 이해에는 상당한 공백이 존재합니다. 또한, 메커니즘 해석 가능성 점수 (MIS) 와 같이 해석 가능성을 정량화하는 방법들이 존재하지만, 가지치기된 네트워크의 맥락에서 이러한 방법들의 신뢰성과 직관적인 해석 가능성 개념 (예: 올바른 결정의 근거를 이해하는 것) 과의 정렬 여부는 아직 충분히 탐구되지 않았습니다.

방법론
저자들은 GoogLeNet 에 대한 가지치기의 영향을 세 가지 서로 다른 전략을 사용하여 체계적으로 조사했습니다:

1. 비구조적 가지치기 (Unstructured Pruning): 네트워크 전체의 개별 가중치를 크기 기반으로 제거하여 불규칙한 희소성을 생성합니다.
2. 구조적 가지치기 (Structured Pruning): 전체 필터 또는 채널을 제거하여 하드웨어 가속화에 적합한 규칙적인 희소성 패턴을 만듭니다.
3. 연결 희소성 (Connection Sparsity): 이 연구에서 새로운 접근법으로, 출력 채널이 아닌 입력 채널을 가지치기에 집중합니다. 이는 연결을 줄이면서도 구조적 무결성을 유지하는 것을 목표로 합니다.

이 연구는 두 가지 재학습 regimes 하에서 이러한 전략들을 평가했습니다:

• 원샷 가지치기 (One-Shot Pruning): 네트워크의 상당 부분을 단일 단계에서 가지치기한 후 재학습합니다.
• 반복적 가지치기 (Iterative Pruning): 네트워크를 작은 증분으로 가지치기하고 각 단계 후 재학습하여 점진적인 적응을 가능하게 합니다.

실험은 ImageNet 검증 세트를 기반으로 수행되었습니다. 저자들은 다양한 하이퍼파라미터를 테스트하여 SGD 와 ExponentialLR 스케줄러를 사용하고 50 개의 학습 에포크를 갖는 것이 재학습에 최적임을 확인했습니다. 해석 가능성을 평가하기 위해 저자들은 Zimmermann 등이 개발한 **메커니즘 해석 가능성 점수 (MIS)**를 사용했는데, 이는 설명 (필터 활성화를 최대화하는 이미지) 과 쿼리 간의 지각적 유사성을 측정합니다.

주요 결과

• 성능:

  • 연결 희소성은 비구조적 및 구조적 가지치기 모두보다 우수한 성과를 보였습니다. 특히, 연결 희소성을 통해 모델 매개변수의 80% 를 가지치기하고 재학습한 결과 검증 정확도가 **70.5%**에 달하여 기본 GoogLeNet 의 성능을 능가했습니다.
  • 반복적 가지치기는 일관되게 원샷 가지치기보다 높은 정확도를 보였으나, 더 높은 계산 비용 (가지치기 단계당 약 50 개의 에포크 필요) 을 수반했습니다.
  • 가지치기가 성능을 저하시킨다는 가정과 달리, 저자들은 충분한 재학습을 통해 가지치기된 네트워크가 가지치기되지 않은 기준선보다 정확도를 근사하거나 심지어 초과할 수 있음을 관찰했습니다. 예를 들어, 60% 의 매개변수가 가지치기된 모델은 72.286% 의 정확도를 달성한 반면, 동일한 추가 에포크로 학습된 표준 GoogLeNet 은 72.1% 의 정확도를 보였습니다.
  • 미세 조정 없이 수행된 비구조적 가지치기는 정확도가 급격히 하락하는 결과를 초래하여 재학습의 필요성을 강조했습니다.

• 해석 가능성:

  • MIS 지표를 사용하여 이 연구는 가지치기율과 해석 가능성 사이에 유의미한 관계가 없음을 발견했습니다 (상관계수 0.092).
  • 중요한 발견은 극도로 낮은 정확도 (예: 0.1%) 를 가진 네트워크도 여전히 높은 MIS 점수를 달성할 수 있다는 것이었습니다. 이는 MIS 가 결정 과정의 정확성이 아니라 단위 활성화의 일관성을 측정함을 시사합니다. 네트워크는 MIS 기준에 따라 "해석 가능"할 수 있습니다 (특정 입력에 대해 어떤 단위가 활성화되는지 알 수 있음) 하지만 무작위이거나 잘못된 예측을 할 수 있습니다.
  • 소프트맥스 (softmax) 계층의 MIS 점수는 모든 모델에서 일관되게 낮았으며, 클래스 단위가 매우 해석 가능해야 한다는 기대와 모순되었습니다. furthermore, 테스트된 가지치기 모델의 소프트맥스 계층에서 클래스별 정확도와 MIS 점수 사이에 유의미한 상관관계는 존재하지 않았습니다.

주요 기여

1. 연결 희소성 평가: 이 논문은 GoogLeNet 에 대한 매우 효과적인 가지치기 전략으로서 "연결 희소성"(입력 채널 가지치기) 을 도입하고 검증하여, 모델 크기를 최대 80% 까지 줄이면서도 정확도를 유지하거나 향상시킬 수 있음을 입증했습니다.
2. 재학습 전략 비교 분석: 이 연구는 반복적 가지치기와 원샷 가지치기를 비교하는 경험적 증거를 제공하여 반복적 접근법의 성능 이점을 확인하면서도 그 계산적 비효율성을 강조했습니다.
3. MIS 에 대한 비판적 평가: 저자들은 가지치기된 네트워크에서 해석 가능성을 위한 독립적 지표로서 MIS 의 유용성에 도전했습니다. 높은 MIS 점수가 반드시 높은 정확도나 의미 있는 의사결정과 상관관계가 없음을 입증하여, 지표와 직관적 해석 가능성 사이의 불일치를 지적했습니다.

의의 및 주장
저자들은 자신의 작업이 연결 희소성을 GoogLeNet 에 대한 우월한 가지치기 방법으로 식별함으로써 더 효율적인 심층 학습 모델 개발에 기여한다고 주장합니다. 그러나 해석 가능성 발견에 대해서는 겸손한 입장을 취합니다. 이 논문은 해석 가능성 문제를 해결했다고 주장하기보다는 MIS 와 같은 기존 지표의 한계를 부각시킵니다. 이 연구는 현재의 측정 기준이 가지치기 후 모델 해석 가능성의 뉘앙스, 특히 네트워크의 예측 품질이 낮은 경우를 포착하는 데 실패할 수 있음을 시사합니다. 따라서 저자들은 신경망을 중요한 현실 세계 애플리케이션에 배포하기 위해 네트워크가 내리는 결정의 품질과 해석 가능성 점수를 정렬하는 더 강력한 지표 개발을 주장합니다.