🤖 machine learning

Structured Neuron Pruning in Deep Neural Networks Using Multi-Armed Bandits

본 논문은 다중 팔 버킷(multi-armed bandit) 알고리즘을 활용하여 중복된 뉴런을 식별하고 제거하는 구조적 뉴런 프루닝 프레임워크를 제안하며, UCB1 및 톰슨 샘플링(Thompson Sampling)과 같은 정책이 미세 조정되지 않은 네트워크 및 다른 프루닝 방법들과 비교했을 때 성능을 유지하거나 향상시키면서도 모델 크기를 효과적으로 줄인다는 것을 광범적인 벤치마크를 통해 입증한다.

원저자: Salem Ameen, Sunil Vadera

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Salem Ameen, Sunil Vadera

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수천 명의 노동자(뉴런)로 가득 찬 거대하고 재고가 넘쳐나는 창고(심층 신경망)가 있다고 상상해 보세요. 이 노동자들은 문제를 해결하는 데 매우 뛰어나지만, 창고가 너무 커서 운영 비용이 엄청나게 들고, 공간도 너무 많이 차지하며, 이동하기도 느립니다. 당신은 이 창고를 더 빠르고 저렴하게 만들기 위해 규모를 줄이고 싶지만, 엉뚱한 사람을 해고할까 봐 두려워하고 있습니다. 만약 잘못된 노동자를 해고한다면, 전체 운영이 무너질 수도 있기 때문입니다.

이 논문은 비즈니스에 지장을 주지 않으면서 정확히 어떤 노동자를 내보낼 수 있는지 알아내는 영리하고 위험 부담이 적은 전략을 제시합니다. 이 방법은 **멀티 암드 밴딧(Multi-Armed Bandits)을 이용한 구조적 뉴런 프루닝(Structured Neuron Pruning)**이라고 불립니다.

작동 원리는 다음과 같습니다.

1. 문제점: 왜 그냥 추측하면 안 될까요?

보통 사람들이 이러한 네트워크를 축소하려고 할 때, 다음 두 가지 좋지 않은 접근 방식을 사용합니다.

"추측 게임" (크기 기반 프루닝 - Magnitude Pruning): 그들은 가중치(weight)와 같은 단순한 점수를 기준으로 누가 가장 열심히 일하는지(또는 덜 하는지)를 봅니다. 그리고 "가장 가벼운" 노동자를 해고합니다. 문제는, 어떤 노동자는 업무량은 적지만 비밀 코드를 알고 있는 유일한 사람일 수도 있다는 점입니다. 그를 해고하면 시스템이 망가집니다.
"무차별 대입" 테스트 (Brute Force Test): 한 명의 노동자를 해고하고, 전체 창고를 테스트하고, 또 다른 한 명을 해고하고, 다시 테스트하는 식입니다. 이는 정확하지만 시간이 너무 오래 걸립니다. 만약 노동자가 1,000명이라면, 누구를 해고할지 결정하기 위해서만 창고를 1,000번 실행해야 합니다. 이는 너무 비용이 많이 듭니다.

2. 해결책: "맛보기 테스트" 전략

저자들은 일련의 빠른 "맛보기 테스트"를 수행하는 스마트한 매니저 역할을 하는 방법을 제안합니다.

개념: 당신에게 50가지의 서로 다른 요리(뉴런)가 있는 뷔페가 있다고 상상해 보세요. 당신은 아무도 필요로 하지 않는 요리를 제거하고 싶지만, 식사를 망치고 싶지는 않습니다.
"밴딧(Bandit)" 게임: 도박의 세계에서 "멀티 암드 밴딧"은 슬롯머신 한 줄을 의미합니다. 어떤 기계가 돈을 가장 많이 주는지 모르기 때문에, 당신은 레버(팔)를 당겨서 확인해야 합니다. 당신에게는 사용할 수 있는 제한된 코인(예산)이 있습니다. 당신은 **탐색(exploration, 새로운 기계가 좋은지 확인하기 위해 시도하는 것)**과 활용(exploitation, 현재 가장 수익이 좋아 보이는 기계를 플레이하는 것) 사이의 균형을 맞춰야 합니다.
네트워크에 적용하기:
1. 알고리즘이 테스트할 "노동자"(뉴런)를 선택합니다.
2. 그 노동자가 잠시 휴식을 취하도록 명령합니다(뉴런을 마스킹 처리함).
3. 창고가 여전히 원활하게 돌아가는지 확인하기 위해 빠른 테스트(작은 데이터 배치)를 실행합니다.
4. 보상(Reward): 만약 그 노동자 없이도 창고가 똑같이 잘 돌아간다면(또는 더 잘 돌아간다면!), 그 노동자는 "해고해도 안전함" 점수를 받습니다. 만약 창고 운영이 느려진다면, 그 노동자는 "유지" 점수를 받습니다.
5. 노동자는 즉시 현업으로 복귀합니다. 아직 아무도 영구적으로 해고되지 않았습니다.

3. 스마트 매니저 (알고리즘들)

논문은 다음에 어떤 노동자를 테스트할지 결정하기 위해 다양한 "매니저"(알고리즘)를 테스트합니다. 이들은 모두 제한된 코인을 사용하여 동일한 퍼즐을 풀려고 노력합니다.

Epsilon-Greedy: 주로 해고해도 안전해 보이는 노동자를 선택하지만, 무언가를 놓쳤을 경우를 대비해 가끔 무작위로 노동자를 선택합니다.
UCB1 (Upper Confidence Bound): 이들은 "낙관주의자"입니다. 성과가 좋았던 노동자와 아직 충분히 테스트되지 않은 노동자를 모두 선택합니다. 이들은 이렇게 말합니다. "이 사람에 대해 잘 모르겠으니, 확실히 하기 위해 테스트해 봐야겠어." 이 방식이 이번 연구에서 가장 효과적인 매니저로 나타났습니다.
Thompson Sampling: 이들은 "통계학자"입니다. 확률에 대한 정신적 파일을 유지합니다. 이들은 생각합니다. "이 노동자가 쓸모없을 확률이 90%이지만, 천재일 확률이 10%다. 파일을 업데이트하기 위해 테스트해보자."
Hedge & EXP3: 이들은 더 까다로운 상황을 위해 설계된 더 복잡한 전략들이지만, 이 특정 테스트에서는 더 단순한 "낙관주의자"(UCB1)와 "통계학자"(Thompson Sampling)가 가장 잘 작동했습니다.

4. 결과: 어떤 일이 일어났나요?

연구진은 이 방법을 세 가지 유형의 "창고"에 테스트했습니다:

표 형식 데이터 (Tabular Data): 표준 스프레드시트 (집값 예측이나 질병 진단 등).
회귀 (Regression): 연속적인 숫자를 예측하는 것.
딥 러닝 (Deep Learning): 복잡한 이미지 및 텍스트 인식 시스템 (얼굴 인식이나 문장 이해 등).

연구 결과:

효과가 있습니다: 이 방법은 시스템을 망가뜨리지 않고도 네트워크의 거대한 부분(특정 레이어의 노동자 중 최대 60-70%)을 성공적으로 제거했습니다.
성능을 향상시키기도 합니다: 놀랍게도, 많은 경우 "중복된" 노동자들을 해고하는 것이 오히려 네트워크를 더 빠르고 더 정확하게 만들었습니다. 이는 마치 어질러진 책상을 정리하는 것과 같습니다. 때로는 주의를 분산시키는 요소가 적을수록 더 일을 잘할 수 있습니다.
승자: UCB1과 Thompson Sampling 매니저는 기존의 "추측" 방식보다 일관되게 우수한 성능을 보였으며, 많은 테스트에서 원래의 (프루닝되지 않은) 네트워크보다 더 나은 성과를 냈습니다.

5. 이것이 왜 중요한가요?

이 접근 방식은 특별합니다. 왜냐하면 단순히 노동자가 얼마나 "무거운지"(정적 통계)를 보는 것이 아니라, 그들이 물러났을 때 실제로 필요한지를 테스트함으로써 그 필요성을 확인하기 때문입니다. 또한, 모든 사람을 철저하게 테스트하느라 시간을 낭비하지 않고 스마트한 샘플링 전략을 사용하여 효율적으로 수행합니다.

요약하자면, 이 논문은 스마트하고 적응 가능한 "맛보기 테스트" 시스템을 사용함으로써, 거대하고 비싼 AI 모델을 더 작고, 빠르며, 때로는 더 똑똑한 버전으로 축소하여 휴대폰이나 태블릿 같은 일상적인 기기에서도 실행할 수 있게 만들 수 있음을 보여줍니다.

기술 요약: 멀티 암드 밴딧을 이용한 심층 신경망의 구조적 뉴런 프루닝(Structured Neuron Pruning)

문제 정의
심층 신경망(DNN)은 종종 중복된 은닉 유닛을 포함하고 있으며, 이는 모델이 과도한 메모리, 연산량 및 에너지를 요구하게 만들어 특히 임베디드 및 모바일 시스템으로의 배포를 저해한다. 가중치 수준의 프루닝(weight-level pruning)은 파라미터 수를 줄일 수 있지만, 이는 종종 비구조적 희소성(unstructured sparsity, 불규칙한 희소 행렬)을 초래하여 특수 라이브러리 없이는 표준 하드웨어에서 속도 향상을 활용하기 어렵다. 구조적 프루닝(structured pruning)은 뉴런 전체(및 그와 관련된 입출력 연결)를 제거함으로써 밀집 행렬(dense matrix)의 차원을 줄이는 더 실용적인 해결책을 제공한다. 그러나 핵심 과제는 예측 성능을 저하시키지 않으면서 어떤 뉴력을 제거할 수 있는지 식별하는 것이다. 모든 뉴런을 전수 조사하는 것은 계산적으로 매우 비용이 많이 들며, 단순한 국소 통계량(예: 가중치 크기 또는 활성화 분산)은 손실(loss)에 미치는 영향을 정확하게 예측하지 못하는 경우가 많다.

방법론
저자들은 구조적 뉴런 프루닝을 고정 예산 멀티 암드 밴딧(fixed-budget Multi-Armed Bandit, MAB) 문제로 정식화하는 프레임워크를 제안한다.

정식화: 선택된 레이어 내의 각 후보 뉴런은 하나의 "암(arm)"으로 취급된다. 암을 당기는 것(pulling an arm)은 특정 뉴런을 일시적으로 마스킹(제거)하고, 샘플링된 미니 배치에 대한 손실 변화를 측정한 후, 해당 뉴런을 다시 복구하는 것을 의미한다.
보상 신호: 핵심 지표는 일시적 제거로 인한 미니 배치 손실의 변화( $\Delta$ )이다. 양의 $\Delta$ 는 제거가 성능을 개선했거나(또는 손실을 줄였거나)를 나타내며, 음의 $\Delta$ 는 성능 저하를 나타낸다. 이 손실 변화는 대부분의 정책에서 유계된 보상(bounded reward)으로, 또는 톰슨 샘플링(Thompson Sampling)의 경우 이진 성공/실패 지표로 변환된다.
알고리즘: 이 프레임워크는 어떤 뉴런을 다음에 평가할지 결정하기 위해 다양한 MAB 정책을 적응적으로 적용하는 통합 알고리즘을 지원한다. 평가된 정책은 다음과 같다:
- 확률적/탐색 기반(Stochastic/Exploration-based): 엡실론-그리디(Epsilon-Greedy), 소프트맥스(Softmax/Boltzmann) 탐색.
- 낙관적/불확실성 기반(Optimistic/Uncertainty-based): UCB1 (Upper Confidence Bound).
- 베이지안(Bayesian): 톰슨 샘플링(Thompson Sampling).
- 곱셈 가중치/적대적(Multiplicative-Weight/Adversarial): Hedge 방식의 곱셈 가중치 및 EXP3.
프로세스: 알고리즘은 고정된 "플레이 예산(play budget)"( $T$ ) 동안 반복되며, 불확실한 뉴런을 탐색하고 제거하기에 안전해 보이는 뉴런을 활용(exploit)하는 데 적응적으로 할당한다. 예산이 소진되면, 가장 높은 추정 안전 제거 보상을 가진 뉴런들이 영구적으로 프루닝된다.

주요 기여

공식 정식화: 본 논문은 뉴런 프루닝을 고정 예산 MAB 랭킹 문제로 수학적으로 정식화하였으며, 기존의 MAB 기반 가중치 프루닝 연구를 스칼라 가중치에서 완전한 계산 단위로 확장하였다.
통합 프레임워크: 확률적 정책(Epsilon-Greedy, Softmax, UCB1, Thompson Sampling)과 곱셈 가중치 정책(Hedge, EXP3)을 모두 지원하는 단일 알고리즘 프레임워크를 제시한다.
포괄적 평가: 제안된 방법은 세 가지 서로 다른 도메인에서 경험적으로 평가되었다:
- 정형 데이터 분류(Tabular Classification): 16개 데이터셋.
- 정형 데이터 회귀(Tabular Regression): 6개 데이터셋 ( $R^2$ 를 지표로 사용).
- 딥러닝 벤치마크: 이미지, 텍스트, 추론 작업에 대한 LeNet, AlexNet, ConvNets, LSTMs, Siamese 네트워크 및 메모리 네트워크를 포함한 다양한 아키텍처.
통계적 엄밀성: 본 연구는 제안된 방법과 베이스라인 간의 통계적으로 유의미한 차이를 확립하기 위해 프리드먼 검정(Friedman tests)과 그에 따른 네메니 사후 검정(Nemenyi post-hoc tests)을 사용한다.

결과

정형 데이터 분류: UCB1이 가장 높은 평균 순위를 달려 프루닝 정책들 중 최고 성능을 보였으며, 표준 분류기인 SVM이나 랜덤 포레스트와 비교해도 경쟁력 있는 순위를 기록했다.
정형 데이터 회귀: UCB1은 $R^2$ 측면에서 다시 한번 가장 높은 평균 순위를 얻었으며, 여러 표준 회귀 모델(예: OLS, LASSO, SVM 회귀)에 대해 통계적 우위 또는 경쟁력을 보여주었다.
딥러닝: UCB1과 톰슨 샘플링이 가장 강력한 순위를 얻었다. 몇몇 사례(예: MNIST에 대한 LeNet, ImageNet에 대한 AlexNet)에서 MAB 기반 프루닝은 상당한 비율의 뉴런을 제거하면서도(예: LeNet의 한 레이어에서 62%) 정확도를 유지하거나 오히려 향상시켰다.
베이스라인과의 비교: MAB 기반 정책들은 프루닝되지 않은 모델, 크기 기반(magnitude-based) 뉴런 프루닝, 그리고 그리디 활성화 변이(greedy activation-variation) 프루닝보다 유의미하게 우수한 성능을 보였다. 비-밴딧(non-bandit) 베이스라인들은 일관되게 가장 낮은 평균 순위를 기록했다.
정책 성능: UCB1과 톰슨 샘플링이 일반적으로 가장 강력했으나, 엡실론-그리디와 같은 단순 확률적 정책도 특히 딥러닝 작업에서 좋은 성능을 보였다. Hedge 방식 및 EXP3 정책은 이 설정에서 덜 일관적이었는데, 이는 프루닝 작업이 완전한 적대적 시퀀스보다는 확률적 최적 암 식별(stochastic best-arm identification) 문제에 가깝게 작동하기 때문인 것으로 보인다.

의의 및 주장
본 논문은 **적응형, 손실 인지 밴딧 샘플링(adaptive, loss-aware bandit sampling)**이 정적 크기 기반 또는 그리디 활성화 변이 베이스라인보다 구조적 뉴런 프루닝을 위한 더 효과적인 기준을 제공한다고 주장한다. 그 의의는 MAB 알고리즘이 제한된 계산 예산 하에서 탐색(불확실한 뉴런 테스트)과 활용(안전한 뉴런 제거) 사이의 트레이드오프를 효율적으로 탐색할 수 있음을 입증한 데 있다.

저자들은 이 접근 방식이 2차 민감도(second-order sensitivity) 방법을 위해 필요한 높은 비용의 전수 조사나 헤시안(Hessian) 계산을 피함으로써 계산적으로 실용적이라고 단언한다. 결과는 MAB 기반 프루닝이 모델 크기를 줄이면서 성능을 유지하거나 개선하는 일종의 구조적 정규화(structural regularization) 역할을 할 수 있음을 시사한다. 결론적으로 UCB1과 톰슨 샘플링이 이 특정 작업에 대해 탐색, 활용 및 신뢰성의 최적의 균형을 제공하지만, 프레임워크는 다른 정책들을 수용할 수 있을 만큼 유연하다. 향-후 연구로는 미세 조정(fine-tuning)을 포함한 반복적 프루닝, 다중 레이어 간의 공동 프루닝, 하드웨어 인지 보상 함수 등이 제안된다.