Neural network relief: a pruning algorithm based on neural activity

거대한, 복잡한 퍼즐을 풀려고 한다고 상상해 보세요. 수천 개의 조각이 들어 있는 거대한 상자를 가지고 있지만, 실제로 그림을 맞추기 위해 앉았을 때 당신에게 필요한 것은 단 몇 줌의 조각뿐입니다. 나머지는 그저 잡동사니일 뿐이며, 공간만 차지하고 알맞은 조각을 찾는 것을 더 어렵게 만듭니다. 이것이 바로 현대의 "심층 신경망(Deep Neural Networks, DNN)"이 처한 상황과 정확히 일치합니다. 이미지 인식이나 음성 비서 같은 것들의 뒤에 있는 이 똑똑한 디지털 두뇌들은 수백만 개의 작은 연결들로 구축되어 있지만, 연구자들은 어떤 단일 작업을 수행할 때 이러한 연결들 중 대부분이 아무것도 하지 않은 채 그냥 놓여 있다는 사실을 발견했습니다. 이들은 과도하게 일하고 있으며, 과잉 장비가 갖춰져 있습니다.

과학자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 근육을 자르지 않고 지방만 뺄 수 있을까? 우리는 이 퍼즐을 푸는 법을 잊어버리지 않으면서도, 네트워크를 더 작게 만들어 더 빠르게 실행되고 메모리를 덜 사용하게 만들고 싶습니다. 여러분이 읽게 될 이 논문은 이 컴퓨터 두뇌들이 작업하는 동안 실제로 어떻게 "생각"하는지를 살펴보는 방식으로 이 문제를 해결합니다. 단순히 어떤 연결이 쓸모없는지 추측하는 대신, 저자들은 네트워크의 활동에 귀를 기울이고, 가장 조용한 부분을 찾아내어, 그것들을 부드럽게 꺼버리는 새로운 방법을 제안합니다. 이는 마치 방 전체를 쓸어버리는 똑똑한 청소부가 아니라, 어떤 불이 꺼져 있는지 주의 깊게 확인한 뒤 그 불들을 영구적으로 꺼버리고, 밝고 활발한 불들은 무거운 일을 계속할 수 있도록 남겨두는 것과 같습니다.

---

"신경망 완화(Neural Network Relief)" 전략

오케스트라의 매우 세심한 지휘자 역할을 하는 새로운 프루닝(pruning, 가지치기라는 뜻) 알고리즘인 NNrelief를 만나보세요. 일반적인 심층 신경망에서 모든 음악가(또는 뉴런)는 비록 작게 흥얼거릴 뿐이라 할지라도 연주를 하고 있습니다. NNrelief의 목표는 음악이 완벽하게 들리도록 유지하면서, 노래에 실제로 기여하지 않는 음악가들을 찾아내어 휴식을 요청하는 것입니다.

기존 방식 vs 새로운 방식

오랫동안 이러한 네트워크를 다듬는 표준적인 방법은 **크기(magnitude)**에 기반해 왔습니다. 두 지점을 연결하는 여러 개의 밧줄이 있다고 상상해 보세요. 기존 방식은 "가장 가는 밧줄을 잘라라!"라고 말했습니다. 얇은 밧줄(작은 숫자, 즉 "가중치")은 많은 무게를 견딜 수 없으므로 쓸모없을 것이라는 아이디어였습니다.

하지만 이 논문의 저자들은 이것이 단지 누군가가 얼마나 크게 소리 지르는지만 보고 그 사람의 팀 기여도를 판단하는 것과 비슷하다고 주장합니다. 어떤 사람은 확성기(거대한 가중치)를 가지고 있어도 속삭이고 있다면(약한 신호), 실제로 별 도움이 되지 않을 수 있습니다. 반대로, 평범한 목소리를 가진 사람이 적절한 타이밍에 적절한 말을 외칠 수도 있습니다.

NNrelief는 게임의 판도를 바꿉니다. 단순히 밧줄의 굵기(가중치)를 보는 대신, 실제로 그곳을 통과하는 신호가 얼마나 되는지를 봅니다. 그것은 다음과 같이 묻습니다: "이 연결은 지금 실제로 얼마나 많은 정보를 운반하고 있는가?" 만약 어떤 연결이 약한 신호를 운반하고 있다면, 설령 밧줄이 굵더라도 탈락입니다. 반대로 어떤 연결이 강한 신호를 운반하고 있다면, 설령 밧줄이 가늘더라도 살아남습니다.

작동 원리: "중요도 점수"

연구팀은 **중요도 점수(importance score)**라는 간단한 수학적 트릭을 만들었습니다. 이것은 네트워크의 모든 개별 연결에 대한 "기여도 측정기"라고 생각하면 됩니다.

1. 그들은 네트워크가 문제(예: 고양이 사진 식별)를 해결하는 과정을 관찰합니다.
2. 각 연결을 통해 얼마나 많은 "에너지" 또는 "신호"가 흐르는지 계산합니다.
3. 연결들을 가장 중요한 것부터 덜 중요한 것 순으로 나열합니다.
4. 목표를 설정합니다: "상위 95%의 신호를 유지하라."
5. 그 선 아래로 떨어지는 모든 것을 잘라냅니다.

놀라운 점은 무엇일까요? 그들은 단순히 고정된 수의 연결을 자르는 것(예: "50%를 잘라라")이 아닙니다. 그들은 활동량을 기준으로 자릅니다. 이는 네트워크가 신호를 강하게 유지하기 위해 얼마나 많은 연결을 유지해야 하는지 스스로 결정한다는 것을 의미합니다.

"완화(Relief)" 효과

이 과정을 수행했을 때, 놀라운 일이 일어났습니다. 네트워크는 단순히 작아진 것이 아니라, 더 균형 잡힌 상태가 되었습니다. 프루닝 전에는 일부 연결은 매우 중요하게 소리치고 있었던 반면 다른 연결들은 침묵하고 있었습니다. 프루닝 후에는 남아있는 연결들이 모두 대략 비슷한 수준의 중요도를 갖게 되었습니다. 저자들은 이를 **"신경망 완화(Neural Network Relief)"**라고 부릅니다. 이는 마치 몇몇 슈퍼스타와 수많은 무용한 존재들이 있는 팀이 아니라, 모두가 자기 몫을 해내는 팀과 같습니다. 네트워크는 남은 모든 연결이 유용한 일을 수행하는, 날렵하고 효율적인 기계가 됩니다.

결과: 큰 승리, 작은 손실

연구팀은 MNIST(손글씨 숫자), CIFAR-10/100(작은 컬러 이미지), Tiny-ImageNet와 같은 표준 이미지 데이터셋을 사용하여 몇 가지 유명한 네트워크 아키텍처(LeNet, VGG, ResNet)를 테스트했습니다.

결과는 다음과 같습니다:

• VGG 네트워크의 경우: CIFAR-10 데이터셋에서 거의 정확도 저하 없이 네트워크를 50배 이상 축소했습니다(원래 파라미터의 2% 미만 유지). Tiny-ImageNet 데이터셋에서는 단 **0.03%**의 미미한 정확도 하락과 함께 40배 이상의 압축을 달성했습니다(파라미터의 2.32%만 유지).
• ResNet 네트워크의 경우: 높은 비율의 파라미터 프루닝을 달ach했습니다. 구체적으로 CIFAR-10에 대한 ResNet-56에 대해 76.2%의 파라미터를 유지했으며(즉, 약 23.8%가 프루닝됨), 정확도는 원본과 매우 유사하게 유지했습니다.
• 옵티마이저(Optimizer)의 놀라움: 그들은 Adam과 SGD라는 두 가지 서로 다른 "훈련 코치(optimizers)"를 테스트했습니다. VGG 네트워크에서 Adam은 SGD보다 훨씬 더 공격적으로 더 많은 연결을 잘라냈습니다. 그러나 ResNet 네트워크에서는 두 코치 모두 비슷하게 수행되었으며, 이는 네트워크의 유형이 훈련 방법만큼이나 중요하다는 것을 시사합니다.

하지 않은 것

이 논문이 주장하지 않는 사항을 명시하는 것도 중요합니다. 저자들은 현재의 컴퓨터 하드웨어에서 요구되는 수학적 계산 횟수(FLOPs)를 최소화하는 것이 목표가 아니었음을 명시적으로 밝혔습니다. 비록 일부 감소를 확인하기는 했지만 말입니다. 그들의 주된 초점은 연결의 수와 그들이 운반하는 "신호"에 있었습니다. 또한 그들은 "지속적 학습(continual learning, 이전 작업을 잊지 않고 새로운 작업을 배우는 것)" 문제를 해결했다고 주장하지 않았으나, 그들의 방법이 미래의 목표를 향한 중요한 단계임을 시사했습니다.

요점

이 논문은 우리가 신경망의 어떤 부분이 쓸모없는지 추측할 필요가 없다는 것을 시사합니다. 뉴런의 실제 활동에 귀를 기울임으로써, 우리는 정밀한 수술을 하듯 지방을 제거할 수 있습니다. 그 결과는 놀라울 정도로 견고한, 더 작고 단순한 네트워크입니다. 이는 마치 엔진을 적절한 리듬에 맞춰 튜닝하기만 하면 훨씬 작은 엔진으로도 차를 똑같이 빠르게 몰 수 있다는 것을 발견하는 것과 같습니다. "신경망 완화" 접근 방식은 때때로, 무엇을 놓아주어야 하는지 정확히 안다면, 적은 것이 정말로 더 많을 수 있다는 것을 보여줍니다.