기술 요약: 멀티 암드 밴딧을 이용한 합성곱 신경망의 손실 인지형 피처 맵 프러닝

문제 정의

합성곱 신경망(ConvNets)은 예측 성능의 비례적인 이득 없이 저장 공간과 추론 비용을 증가시키는 중복된 피처 맵을 포함하는 경우가 많습니다. 개별 가중치를 제거하는 방식(비구조적 프러닝)은 파라미터 수를 줄이지만, 표준 하드웨어에서 가속화하기 어려운 불규칙한 희소성을 초래합니다. 구조적 프러닝은 전체 피처 맵과 그에 관련된 필터를 제거함으로써 밀집 텐서 차원과 부동 소수점 연산량(FLOPs)을 줄이는 보다 실질적인 해결책을 제공합니다.

구조적 피처 맵 프러닝의 주요 과제는 어떤 맵을 안전하게 제거할 수 있는지 결정하는 것입니다. "오라클 방식" 또는 직접 평가 방식은 각 후보 맵을 일시적으로 제거하고 그로 인한 손실 변화를 측정하며, 이는 정확한 중요도 추정치를 제공하지만 대규모 데이터셋과 폭이 넓은 레이어에서는 계산 비용이 매우 높습니다. 반대로, 활성화 통계나 필터 크기에 기반한 휴리스틱 방법은 계산 비용은 저렴하지만, 네트워크의 손실에 미치는 맵의 실제 기능적 영향을 포착하지 못할 수 있습니다. 본 논문은 정확한 중요도 추정과 계산 비용 사이의 절충안을 다룹니다.

방법론

저자들은 피처 맵 프러닝을 고정 예산, 단일 암(single-arm) 멀티 암드 밴딧(MAB) 문제로 정식화하는 프레임워크를 제안합니다. 과정은 탐색 단계와 최종 프러닝 단계의 두 가지 뚜렷한 단계로 나뉩니다.

1. 탐색 단계 (MAB 탐색)

이 단계에서는 네트워크에 구조적 변경을 가하지 않습니다. 대신, 알고리즘은 후보 피처 맵을 반복적으로 평가하여 그들의 "안전한 제거" 점수를 학습합니다.

• 암(Arm) 정의: 대상 합성곱 레이어의 각 후보 피처 맵은 하나의 "암"이 됩니다.
• 플레이 메커니즘: 각 플레이 단계 $t$에서, 밴딧 정책은 하나의 암(특정 피처 맵)을 선택합니다.
• 일시적 마스킹: 선택된 피처 맵은 샘플링된 미니 배치에 대해 일시적으로 마스킹(0으로 설정)됩니다. 손실이 계산된 후, 해당 맵은 즉시 복구됩니다.
• 보상 계산: 일시적 제거로 인해 발생한 손실 변화($\Delta$)는 보상으로 변환됩니다.
  • 만약 손실이 감소하거나 안정적으로 유지된다면, 해당 제거는 "안전한" 것으로 간주되어 양(+)의 보상을 얻습니다.
  • 만약 손실이 크게 증가한다면, 제거가 해로운 것으로 간주됩니다.
• 정책: 할당된 평가 예산을 배분하기 위해 두 가지 적응형 정책을 평가합니다:
  • UCB1 (Upper Confidence Bound 1): 알려진 안전한 맵의 활용(exploitation)과 불확실한 맵의 탐색(exploration) 사이의 균형을 맞추기 위해 경험적 평균 보상과 탐색 보너스를 결합합니다.
  • Thompson Sampling: 베타 사후 분포를 사용하는 베이지안 접근법을 사용하여 성공 확률을 샘플링하며, 탐색과 활용을 자연스럽게 조절합니다.

2. 최종 프러닝 단계 (구조적 삭제)

고정된 플레이 예산($T$)이 모두 소진되면 탐색이 종료됩니다.

• 랭킹: 모든 후보 피처 맵은 학습된 안전 제거 점수(UCB1의 경우 경험적 평균, Thompson Sampling의 경우 사후 평균)를 기준으로 순위가 매겨집니다.
• Top-k 선택: 가장 높은 점수를 가진 상위-$k$개의 피처 맵이 영구적으로 제거할 대상으로 선택됩니다.
• 구조적 삭제: 선택된 맵은 생성 필터, 편향(bias), 그리고 다음 레이어(합성곱 또는 완전 연결 레이어)의 해당 입력 채널 커널과 함께 제거됩니다. 이를 통해 결과 모델은 구조적으로 더 작고 계산 효율적이 됩니다.

주요 기여

본 논문은 여섯 가지 구체적인 기여를 명시합니다:

1. 공식화: 합성곱 피처 맵 프러닝을 각 플레이가 하나의 후보 맵을 평가하는 고정 예산 top-k 선택 문제로서의 MAB를 사용하여 공식화했습니다.
2. 손실 인지 마스킹: 탐색 단계 동안 네트워크를 영구적으로 변경하지 않고 일시적 마스킹을 통해 제거 가능성을 추정하는 절차를 개발했습니다.
3. 알고리즘 구현: 손실 변화 보상을 사용하여 선택을 유도하도록 특별히 조정된 UCB1 및 Thompson Sampling 알고리즘을 개발했습니다.
4. 구조적 삭제 규칙: 생성 필터, 편향, 그리고 다음 레이어의 입력 커널을 삭제하는 정밀한 규칙을 정의하였으며, 이는 합성곱 및 완전 연결 전이를 모두 포괄합니다.
5. FLOPs 분석: 현재 레이어와 후속 레이어의 입력 채널 모두에서의 감소를 고려한 종합적인 계산 감소 분석을 수행했습니다.
6. 경험적 검증: 여섯 가지 데이터셋(MNIST, CIFAR-10/100, SVHN, CUB-200-2011, Oxford Flowers 102)에 대한 광범위한 평가와 Friedman 및 Nemenyi 테스트를 통한 통계적 비교를 수행했습니다.

실험 결과

방법론은 LeNet (MNIST), ConvNet 아키텍처 (CIFAR, SVHN), 그리고 AlexNet (Birds-200, Flowers 102)에 대해 평가되었습니다.

• 오라클과의 일치도: LeNet/MNIST에서 UCB1과 Thompson Sampling의 학습된 보상은 직접적인 오라클 방식 평가와 강한 상관관계(Pearson 계수 각각 0.83 및 0.80)를 보였으며, 이는 MAB 접근 방식이 전수 조사를 효율적으로 근사함을 입증합니다.
• 정확도 보존: 모든 데이터셋에서 UCB1과 Thompson Sampling은 일반적으로 원래의 프러닝되지 않은 모델의 정확도를 유지하거나 약간 향상시켰습니다.
  • 예를 들어, CIFAR-10의 경우 원래 정확도는 0.81이었으나, 약 27%의 피처 맵을 제거한 후 UCB1과 TS는 0.82를 달ocation했습니다.
  • 반면, 크기 기반(magnitude-based) 프러닝은 지속적으로 낮은 정확도를 보였습니다 (예: CIFAR-10에서 0.74). 그리디(greedy) 프러닝은 안정성이 떨어졌습니다.
• 통계적 유의성: Friedman 및 Nemenyi 테스트는 방법론 간의 통계적으로 유의미한 차이를 확인했습니다.
  • UCB1이 가장 높은 평균 순위(4.28)를 기록했으며, 그 뒤를 Thompson Sampling(4.10)이 이었습니다.
  • 두 제안 방법 모두 그리디 및 크기 기반 베이스라인보다 유의미하게 우수한 성능을 보였습니다.
  • 결정적으로, 프러닝된 모델의 성능은 원래의 프러닝되지 않은 모델과 통계적으로 유사했으며, 이는 상당한 구조적 감소에도 불구하고 정확도가 보존되었음을 나타냅니다.

의의 및 주장

저자들은 본 연구가 손실 인지형 프러닝의 정확성과 휴리스틱 방법의 효율성 사이에서 실질적인 타협점을 제공한다고 주장합니다. MAB 정책을 활용함으로써, 이 방법은 모든 후보 피처 맵을 전체 데이터셋에 대해 평가하는 계산 비용을 피하면서도 실제 손실에 미치는 영향을 바탕으로 중복된 구성 요소를 식별할 수 있습니다.

연구는 탐색 단계(일시적 마스킹)와 프러닝 단계(구조적 삭제)의 분리가 멀티 플레이 MAB 접근 방식과의 혼동을 피하는 핵심적인 방법론적 차이임을 강조합니다. 결과는 UCB1과 Thompson Sampling이 구조적 압축을 위한 적절한 정책이 될 수 있음을 시사하며, 다양한 이미지 분류 작업에서 예측 성능을 유지하면서 FLOPs와 모델 크기를 줄일 수 있게 합니다. 저자들은 향후 연구가 현대적인 아키텍처(예: ResNets, Transformers)에 이러한 방법을 적용하고 실제 하드웨어 지연 시간 및 에너지 소비를 측정하는 데 집중해야 한다고 언급했습니다.