[기술 요약] 의료 영상 분석을 위한 효율적 모델 압축을 위한 계층적 시공간-채널 클러스터링

1. 문제 정의 (Problem Statement)

최근 합성곱 신경망(CNN)은 모델의 크기가 거대해짐에 따라 메모리 사용량과 연산 비용(FLOPs)이 급격히 증가하고 있습니다. 이는 자원이 제한된 환경(Edge device 등)에 모델을 배포하는 데 큰 걸림돌이 됩니다.

기존의 저계수 압축(Low-rank compression) 방식(예: Global SVD, Tucker decomposition)은 다음과 같은 한계가 있습니다:

• 독립적 압축: 공간적(Spatial) 중복성과 채널(Channel) 중복성을 독립적으로 처리하거나, 레이어 전체에 균일한 분해를 적용합니다.
• 국소적 구조 무시: 특징 맵(Feature map) 내에 존재하는 국소적인 활성화 패턴(Localised activation patterns)과 채널 간의 공동 활성화(Co-activation) 구조를 충분히 활용하지 못합니다.

2. 제안 방법론 (Methodology)

본 논문은 공간적 영역과 채널 활성화를 동시에 고려하여 중복성을 적응적으로 추출하는 계층적 시공간-채널 저계수 압축(Hierarchical Spatio-Channel Low-Rank Compression) 프레임워크를 제안합니다. 방법론은 크게 세 단계로 구성됩니다.

Step 1: 적응형 공간 클러스터링 (Adaptive Spatial Clustering)

• SLIC 알고리즘을 사용하여 특징 맵을 공간적으로 인접하고 유사한 활성화 패턴을 가진 '슈퍼픽셀(Superpixels)' 단위의 영역($R_s$)으로 분할합니다.
• 분할된 각 영역의 채널별 평균 활성화 벡터를 추출하여 K-means 클러스터링을 수행함으로써, 유사한 활성화 양상을 보이는 공간 클러스터($G_k$)를 식별합니다.

Step 2: 계층적 채널 클러스터링 (Hierarchical Channel Clustering)

• 식별된 각 공간 클러스터 내에서, 해당 영역에 반응하는 채널들의 활성화 패턴을 분석합니다.
• 각 채널의 활성화 벡터를 행으로 하는 행렬을 구성하고, 다시 K-means를 적용하여 특정 공간 영역에서 유사하게 반응하는 채널 그룹($C_{\ell}^{(k)}$)을 묶습니다. 이를 통해 "어디서(Spatial)" "어떤 필터들이(Channel)" 함께 작동하는지 계층적으로 파악합니다.

Step 3: 적응형 저계수 분해 (Adaptive Low-Rank Decomposition)

• 클러스터링된 각 채널 그룹에 대해 **절단된 특이값 분해(Truncated SVD)**를 독립적으로 적용합니다.
• 에너지 임계값(Energy Threshold, $\tau$) 방식을 도입하여, 각 클러스터의 복잡도에 따라 최적의 Rank($r$)를 적응적으로 결정합니다. 구조가 단순한 클러스터는 낮은 Rank로, 중요한 정보가 많은 클러스터는 높은 Rank를 유지하여 압축 효율과 정확도 사이의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 통합적 모델링: 공간적 영역과 채널 그룹 간의 의존성을 계층적으로 모델링하여, 기존 방식보다 정교하게 중복성을 제거하는 프레임워크를 제안했습니다.
2. 적응형 압축 전략: 고정된 Rank를 사용하는 대신, 활성화 패턴과 에너지 보존 법칙에 기반하여 클러스터별로 최적의 Rank를 할당하는 메커니즘을 구축했습니다.
3. 의료 영상 특화: 정밀한 구조 보존이 필수적인 의료 영상(뇌종양 MRI) 분야에서 모델의 성능 저하를 최소화하면서 압축할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

AlexNet 기반의 뇌종양 MRI 분류 모델을 대상으로 Global SVD 및 Tucker decomposition과 비교 실험을 진행했습니다.

• 압축 효율 및 성능 (6× 압축 예산 기준):
  • 정확도(Accuracy): 기존 Baseline(87.76%)보다 높은 89.80% 달성 (기존 모델보다 오히려 성능 향상).
  • 연산량(FLOPs): 8.21 G에서 1.55 G로 81.1% 감소.
  • 추론 속도(Latency): 1.38배 가속화.
• 레이어별 압축 특성: 제안 방법은 모든 레이어를 균일하게 압축하는 기존 방식과 달리, 하위 레이어(Conv2 등)는 중요한 특징 보존을 위해 적게 압축하고, 상위 레이어(Conv4 등)는 중복성이 높으므로 더 강하게 압축하는 비균일적(Non-uniform) 압축 전략을 보여주었습니다.
• 클래스별 성능: 특히 분류가 까다로운 meningioma 및 pituitary 클래스에서 F1-score가 향상되는 결과를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 단순한 가중치 압축을 넘어, 데이터의 활성화 패턴(Activation patterns)을 가이드로 삼아 모델의 구조적 중복성을 찾아내는 방식이 매우 효과적임을 보여주었습니다.

특히, 압축 과정이 일종의 구조적 규제(Structured Regularization) 역할을 하여, 모델의 과잉 매개변수화(Over-parameterization)를 줄이고 일반화 성능을 높여 결과적으로 정확도가 향상되는 현상을 확인했습니다. 이는 자원이 제한된 의료 기기나 모바일 환경에서 고성능 딥러닝 모델을 구동하기 위한 매우 실용적이고 강력한 방법론을 제시한 것입니다.