기술 요약: HiReLC – 신경망 압축을 위한 계층적 강화 학습

1. 문제 정의

Vision Transformer(ViT)를 포함한 딥 뉴럴 네트워크는 높은 파라미터 수, 메모리 점유율, 추론 지연 시간으로 인해 자원이 제한된 플랫폼에 배포할 때 상당한 도전 과제에 직면합니다. 정적 휴리스틱, 원샷 혼합 정밀도 할당, 단일 목적 최적화와 같은 기존 압축 기술들이 존재하지만, 이들은 종-간 의존성을 포착하지 못하고 미세 조정(fine-tuning) 과정에서의 적응형 정교화가 부족한 경우가 많습니다. 또한, 압축을 위한 강화 학습(RL) 접근 방식은 역사적으로 큰 액션 공간에서의 높은 분산, 거친 입도(granularity), 그리고 민감도 인지 가이드의 부재로 인해 어려움을 겪어왔습니다.

본 논문은 구조적 프루닝(structured pruning)과 혼합 정밀도 양자화(mixed-precision quantization)를 공동으로 최적화하면서, 모델 크기 감소와 정확도 유지 사이의 복잡한 트레이드오프를 탐색할 수 있는 범용적이고 아키텍처 불가지론적인(architecture-agnostic) 프레임워크의 필요성을 다룹니다.

2. 방법론: HiReLC 프레임워크

HiReLC(Hierarchical Reinforcement Learning for Neural Network Compression)는 압축 탐색 공간을 분해하기 위해 설계된 2단계 계층적 앙상블-RL 프레임워크입니다. 이 시스템은 컨트롤러 수준에서 아키텍처 불가지론적이며, 특정 네트워크 토폴로지와 디커플링된 모듈형 레이어 추상화에 의존합니다.

2.1 계층적 에이전트 구조

프레임워크는 두 가지 구별된 수준의 에이전트를 채택합니다:

• 고수준 에이전트(High-Level Agents, HLAs): 글로벌 예산 할당을 조정하기 위해 네트워크 수준에서 작동합니다. 이들은 각 압축 가능한 블록에 "LayerBudget"을 할당하여, 목표 잔존 크기 비율($R_i$), 프루닝 한계, 비트 폭 범위를 결정합니다. HLAs는 피셔 정보(Fisher Information) 기반의 민감도 추정치를 활용하여 예산 할당을 가이드하며, 이를 통해 높은 민감도를 가진 블록이 더 가벼운 압축을 받도록 보장합니다.
• 저수준 에이전트(Low-Level Agents, LLAs): 블록당 독립적으로 작동하는 LLAs는 글로벌 예산을 구체적인 퍼-커널(per-kernel) 설정으로 정교화합니다. 이들은 각 커널에 대해 4차원 다중 이산 액션 공간(multi-discrete action space)에서 다음을 선택합니다:
  1. 비트 폭 ($b_{i,k}$): 정밀도 레벨 선택.
  2. 유지 비율 ($\rho_{i,k}$): 유지할 출력 채널의 비율 결정 (구조적 프루닝).
  3. 양자화 유형 ($\tau_{i,k}$): 정수(INT)와 부동 소수점(FLOAT) 간의 선택.
  4. 입도 ($\mu_{i,k}$): 유니폼(uniform), 로그 도메인, 퍼-채널(per-channel), 또는 학습된 부호-크기(sign-magnitude) 방식 중 선택.

2.2 앙상블 학습 및 합의

큰 이산 공간에서 발생하는 RL의 분산을 완화하기 위해, HiReLC는 앙상블 접근 방식을 사용합니다.

• LLA 앙상블: 서로 다른 가중치(정확도 대 압축에 대한 강조점 차이)를 가진 여러 병렬 정책(PPO와 A2C 결합)을 훈련합니다. 이를 통해 보수적, 중도적, 공격적 전략을 혼합하여 견고한 구성을 생성하는 가중 투표를 통해 합의된 액션을 도출합니다.
• HLA 앙상블: 마찬가지로, 여러 HLAs의 앙상블이 예산 할당을 제안하며, 최종 예산은 다수결 투표 또는 산술 평균 집계를 통해 결정됩니다.

2.3 능동 학습 및 대리 모델(Surrogate Modeling)

모든 후보 구성에 대해 전체 압축 후 미세 조정을 수행하는 데 드는 계산 비용을 해결하기 위해, HiReLC는 반복적인 능동 학습 루프를 통합합니다:

• Logit-MSE 프록시: 충분한 데이터가 수집되기 전인 "콜드 스타트(cold-start)" 단계에서는, 압축된 모델과 베이스라인 모델 간의 로짓(logits) 사이의 평균 제곱 오차(MSE)를 기반으로 하는 경량 프록시를 사용하여 정확도 유지를 추정합니다.
• MLP 대리 모델: 최소한의 구성이 평가된 후에는, 수집된 데이터에 기반하여 학습된 경량 다층 퍼셉트론(MLP) 대리 모델이 정확도를 예측합니다. 이 대리 모델은 RL 최적화를 위한 보상 형성(reward shaping)에 사용되며, 전체 미세 조정은 최종 사이클 수준의 평가를 위해서만 예약됩니다.
• 반복 루프: 프로세스는 RL 정책 최적화, 구성 적용, 미세 조정, 그리고 대리 모델 업데이트를 교대로 수행합니다.

2.4 보상 공식화

보상 함수는 정확도, 압축, 안정성의 균형을 맞추도록 설계되었습니다:

• LLA 보상: 정확도 유지($R_{acc}$), 압축 이득($R_{comp}$), 예산 준수($R_{budget}$), 그리고 안정성($R_{stab}$) 항을 포함합니다. 민감한 블록에 대한 공격적인 압축을 방지하기 위해 민감도 페널티($P_{sens}$)가 적용됩니다.
• HLA 보상: 블록 간의 이질성($R_{bal}$), 민감도 인지 할당($R_{sens}$), 글로벌 목표 준수($R_{global}$), 그리고 이전 사이클 성능에 따른 동적 피드백($R_{dyn}$)의 균형에 집중합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. HiReLC 프레임워크: 구조적 프루닝과 혼합 정밀도 양자화를 공동으로 수행하는 아키텍처 불가지론적 계층적 앙상블-RL 프레임워크입니다. 이는 네 가지 아키텍처(DeiT-Small, CLIP ViT-B/32, ResNet18, MobileNetV2)에서 정확도 하락 폭을 0.55% ~ 5.62% 사이로 유지하면서, **5.99–6.72×**의 효과적인 파라미터 저장 압축비를 달성했습니다.
2. 민감도 인지 가이드: 두 계층 수준 모두에서 피셔 정보 민감도 점수를 통합했습니다. 이를 통해 시스템은 추가적인 탐색 시간 평가 없이도 중요한 블록을 식별하고 보호하며, 그래디언트 기반의 블록 중요도를 보상 형성 및 액션 교정을 통해 전파합니다.
3. 대리 모델 증강 능동 학습: RL 최적화와 압축 후 미세 조정을 교차하는 반복 루프를 사용합니다. 경량 MLP 대리 모델과 Logit-MSE 프록시를 사용함으로써, 모든 후보에 대해 전수 미세 조정을 수행하지 않고도 계산 부담을 줄여 제한된 사이클 내에서 실질적인 프레임워크 수준의 연구를 가능하게 합니다.

4. 실험 결과

실험은 Vision Transformer와 CNN을 대상으로 CIFAR-10/100 및 Tiny ImageNet에서 수행되었습니다.

• 압축 성능: 프레임워크는 일관되게 5.99×에서 6.72× 사이의 압축비(모델 크기 83.3%~85.1% 감소에 해당)를 달성했습니다.
• 정확도 영향:
  • CIFAR-100에서의 CLIP ViT-B/32: 6.63× 압축 시 **0.55%**라는 가장 작은 하락을 기록했습니다.
  • CIFAR-10에서의 CLIP ViT-B/32: 압축이 과잉 매개변수화된 모델에 대한 정규화 역할을 함에 따라 3.83%의 정확도 상승(89.22%에서 93.05%로)을 보여주었습니다.
  • Tiny ImageNet에서의 ResNet18 및 MobileNetV2: 각각 4.22%와 5.62%의 하락을 보였으며, 이는 더 어려운 데이터셋에서 이미 컴팩트한 소규모 아키텍처를 압축하는 것의 어려움을 반영합니다.
• 어블레이션 연구(Ablation Studies):
  • HLA를 제거했을 경우(균등 예산 사용), 과도한 압축이 발생하여 전체 시스템(1.72% 하락)보다 훨씬 높은 정확도 저하(6.80% 하락)를 초래했습니다.
  • 균질한 A2C 앙상블을 사용했을 때는 혼합 PPO/A2C 앙상블에 비해 덜 안정적인 트레이드오프를 보였습니다.
  • 피셔 민감도 가이드는 정확도 유지를 1.30 퍼센트 포인트 개선했으며, 더 차별화된 블록별 예산 할당을 생성했습니다.
  • 혼합 정밀도: INT/FLOAT 유형 및 로그 스케일 입도를 허용하는 실험은 균등한 INT 설정보다 낮은 정확도 하락을 보였으며, 이는 유연성이 회복에 도움이 됨을 시사합니다.

5. 의의 및 주장

본 논문은 HiReLC를 단일 압축 축(프루닝 또는 양자화)만을 타겟팅하거나 정적 휴리스틱에 의존하는 기존 방식과 달리, 구조적 프루닝과 혼합 정밀도 양자의 시너지를 활용하여 두 가지를 공동으로 최적화하는 실용적인 설계 선택지로 포지셔닝합니다.

• 통합 탐색 공간: 단일 압축 축을 타겟팅하거나 정적 휴리스틱에 의존하는 기존 방법과 달리, HiReLC는 두 가지를 공동으로 최적화합니다.
• 아키텍처 불가지론: 프레임워크는 아키텍처 특화된 컨트롤러 재설계 없이도 다양한 모델 패밀리(Transformer, CLIP, ResNet, MobileNet)를 성공적으로 압축합니다.
• 민감도 인지: 피셔 정보의 사용을 통해 시스템은 민감한 네트워크 구성 요소를 자동으로 식별하고 보호하여 정확도-압축 트레이드오프를 개선합니다.
• 실용성: 대리 모델과 능동 학습을 활용함으로써, Hi-ReLC는 RL 기반 압축의 계산 부담을 줄여 모든 후보에 대한 전수 미세 조정 없이도 대규모 구성 공간을 탐색하는 것을 가능하게 합니다.

저자들은 달성된 압축비가 매우 높지만, 결과가 문맥에 따라 달라질 수 있음(예: 메인 테이블에서 ImageNet-1K 대신 CIFAR/Tiny ImageNet에서 평가됨)을 언급하며, 팩된 구조적 저장(packed structured storage)을 가정하고 있음을 명시했습니다. 이 프레임워크는 모델 크기가 주요 제약 조건인 배포 시나리오를 위한 출발점으로 제시되며, 향|후 작업으로는 하드웨어 특화 지연 시간 및 에너지 메트릭 최적화가 필요합니다.