Evolutionary fine tuning of quantized convolution-based deep learning models

기술 요약: 양자화된 합성곱 기반 딥러닝 모델의 진화적 미세 조정

문제 제기
딥러닝 모델은 기계 학습 작업에서 높은 효율성을 제공하지만, 계산 복잡성과 메모리 사용량으로 인해 사물인터넷 (IoT), 모바일, 자율주행, 실시간 시스템에 배포될 때 상당한 장벽에 직면합니다. 이를 해결하기 위한 압축 기법으로 양자화가 널리 사용되지만, 표준 접근법은 일반적으로 부동소수점 가중치를 저비트 고정소수점 표현으로 매핑하기 위해 최근접 이웃 반올림에 의존합니다. 저자들은 이 최근접 이웃 반올림이 최적의 정확도를 보장하지 않으며, 특히 낮은 비트 너비 (예: 4 비트 또는 6 비트) 에서 성능 저하가 심각하게 발생할 수 있다고 주장합니다. 이러한 정확도를 회복하기 위한 기존 최적화 방법들은 계산 비용이 많이 들거나 병렬화가 어렵거나, 모든 시나리오에 적합하지 않을 수 있는 복잡한 기울기 기반 미세 조정에 의존하는 경우가 많습니다.

방법론
본 논문은 사전 학습된 양자화 모델을 최적화하기 위해 뉴로진화 (neuroevolution) 기반의 새로운 비기울기 미세 조정 접근법을 제안합니다. 이 방법론은 두 가지 명확한 단계로 운영됩니다:

1. 민감도 분석:
   미세 조정 전에 알고리즘은 모델 계층을 가장 덜 민감한 것부터 가장 민감한 것까지 순위 매기기를 수행하는 민감도 분석을 실행합니다. 이는 모델의 나머지 부분을 원래 상태로 유지하면서 개별 계층을 반복적으로 저비트 너비 (실험에서는 구체적으로 4 비트) 로 양자화한 후, 그 결과로 발생하는 정확도 하락을 평가하는 과정을 포함합니다. 이 순위 매기기를 통해 미세 조정 과정은 덜 중요한 계층을 먼저 처리하도록 우선순위를 지정할 수 있으며, 사용자가 정의한 정확도 임계값이 위반될 경우 시스템이 조기에 중단되도록 합니다.

2. 뉴로진화적 미세 조정:
   핵심 최적화 전략은 유전 알고리즘 접근법을 적응시켜 양자화된 가중치를 변이시킵니다.

   • 과정: 알고리즘은 민감도 순위 기반으로 계층을 반복합니다. 각 계층에 대해 양자화된 가중치 텐서의 복사본으로 구성된 초기 개체군을 생성합니다.
   • 변이: 각 반복에서 이항 분포를 통해 생성된 이진 마스크가 변이할 가중치의 작은 비율 (예: 2%) 을 선택합니다. 변이는 선택된 가중치에 벡터 $\vec{q}$를 더하는 것을 포함합니다. 이 벡터는 확률적으로 $\{-2, -1, 1, 2\}$에서 샘플링된 무작위 벡터 $\vec{r}$과 계층의 최하위 비트 (LSB) 값 ($\sigma_l$) 의 곱으로 계산됩니다. 이는 최근접 이웃으로 반올림하는 대신 가중치를 인접한 양자화 상태로 이동시키는 효과를 가집니다.
   • 선택: 변이된 계층이 평가되고, 성능이 가장 우수한 후보들 (정확도 기반) 이 다음 반복을 위한 개체군을 형성하도록 선택됩니다. 이 과정은 설정된 반복 횟수만큼 반복됩니다.

주요 기여

• 양자화를 위한 뉴로진화: 본 연구는 표준 기울기 기반 방법에서 벗어나 훈련 후 양자화 미세 조정을 위해 맞춤화된 특정 뉴로진화 전략을 도입합니다.
• 민감도 기반 최적화: 민감도 분석 단계의 통합은 정확도 제약 조건에 따라 동적으로 중단될 수 있는 우선순위가 부여된 계층별 최적화를 가능하게 합니다.
• LSB 기반 변이: 변이 메커니즘은 최하위 비트를 사용하여 양자화 상태 간의 이동을 구체적으로 타겟팅하여, 최근접 이웃 반올림으로 인해 생성된 비최적 상태로부터 탈출할 수 있는 표적화된 방법을 제공합니다.
• 확장성: 제안된 방법은 완전히 병렬화되도록 설계되어 다른 최적화 알고리즘의 시간 소모 문제를 해결합니다.

결과
저자들은 CIFAR100, ImageNet, VOC Pascal, SWAT 등 다양한 데이터셋에서 ResNet18, VGG16, FasterRCNN, CNN 오토인코더 등 다양한 아키텍처에 대해 이 방법을 평가했습니다.

• 기준 성능: 표준 8 비트 양자화는 최소한의 정확도 하락 (<1%) 을 보였습니다. 그러나 낮은 비트 너비 (4 비트에서 6 비트) 는 심각한 저하를 초래하여, ImageNet 의 VGG16 에서 6 비트 시 16.86% 까지, ResNet18 에서 7.71% 까지 하락했습니다.
• 미세 조정 개선: 뉴로진화적 접근법은 정확도를 크게 회복시켰습니다:
  • ImageNet: 6 비트 ResNet18 과 5 비트 VGG16 의 경우, 이 방법은 기준 양자화 결과를 각각 6% 이상과 14.5% 이상 개선했습니다. 최종 정확도는 부동소수점 기준과 약 1.5% 에서 2% 이내로 유지되었습니다.
  • CIFAR100: 미세 조정된 4 비트 모델은 부동소수점 기준과 0.2% 이내의 성능을 보였습니다. 주목할 점은 미세 조정된 8 비트 ResNet18 과 VGG16 이 부동소수점 대응 모델보다 약간 더 높은 성능 (+0.2%) 을 보였다는 것입니다.
  • 오토인코더 및 탐지: CNN 오토인코더 (5 비트) 는 기준 양자화 대비 1% 이상 개선되었습니다. FasterRCNN (6 비트) 은 1% 미만의 정확도 하락을 유지했습니다.
• 비교: 이 방법은 비양자화 모델과 매우 유사한 결과를 달성했지만, 저자들은 ImageNet 데이터셋의 경우 참고문헌 [12] 에 제시된 방법이 때때로 4 비트 형식에서 이 접근법보다 더 나은 정확도를 회복할 수 있다고 지적합니다. 그러나 제안된 방법은 [12] 에 비해 확장성과 시간 효율성이 우수하다고 주장합니다.

의의 및 주장
본 논문은 제안된 뉴로진화적 미세 조정이 양자화 모델을 개선하기 위한 기울기 기반 미세 조정의 확장 가능하고 효율적인 대안이라고 주장합니다. 주요 의의는 복잡한 최적화 알고리즘의 계산 오버헤드 없이 최근접 이웃 양자화 중 손실된 정확도를 신속하게 회복할 수 있는 능력에 있습니다. 저자들은 이 방법이 표준 양자화가 실패하는 낮은 비트 너비에서 모델을 개선하는 데 특히 효과적이라고 강조합니다. 결론적으로 이 방법은 매우 효과적이지만, 향후 연구는 기울기 및 비기울기 접근법의 결합, 비선형 양자화에 대한 방법 적응, MobileNet 및 Transformer 와 같은 추가 아키텍처 탐색에 초점을 맞출 것이라고 결론지었습니다.