Riassunto Tecnico: HiReLC – Apprendimento per Rinforzo Gerarchico per la Compressione di Reti Neurali

1. Definizione del Problema

Le reti neurali profonde, in particolare i Vision Transformer (ViT), affrontano sfide significative di distribuzione su piattaforme con risorse limitate a causa dell'elevato numero di parametri, dell'impronta di memoria e delle latenze di inferenza. Sebbene esistano tecniche di compressione attuali, come euristiche statiche, assegnazione a precisione mista one-shot e ottimizzazione a obiettivo singolo, esse spesso non riescono a catturare le dipendenze cross-layer e mancano di un raffinamento adattivo durante il fine-tuning. Inoltre, gli approcci basati sull'Apprendimento per Rinforzo (RL) per la compressione hanno storicamente lottato con l'alta varianza in ampi spazi di azione, una granularità grossolana e una mancanza di guida sensibile alla sensibilità.

Il documento affronta la necessità di un framework general-purpose e agnostico rispetto all'architettura, capace di ottimizzare congiuntamente il pruning strutturato e la quantizzazione a precisione mista, navigando i complessi compromessi tra la riduzione della dimensione del modello e la ritenzione dell'accuratezza.

2. Metodologia: Il Framework HiReLC

HiReLC (Hierarchical Reinforcement Learning for Neural Network Compression) è un framework a due livelli di apprendimento per rinforzo (RL) gerarchico ed ensemble, progettato per decomporre lo spazio di ricerca della compressione. Il sistema è agnostico rispetto all'architettura a livello di controller, affidandosi a un'astrazione modulare dei layer per disaccoppiare l'ambiente RL dalle specifiche topologie di rete.

2.1 Struttura degli Agenti Gerarchici

Il framework impiega due distinti livelli di agenti:

• Agenti di Alto Livello (HLAs): Questi agenti operano a livello di rete per coordinare l'allocazione globale del budget. Assegnano un "LayerBudget" a ogni blocco comprimibile, determinando le frazioni di dimensione trattenuta target ($R_i$), i limiti di pruning e i limiti di bitwidth. Gli HLA utilizzano stime di sensibilità basate sull'Informazione di Fisher per guidare l'allocazione del budget, garantendo che i blocchi con alta sensibilità ricevano una compressione più leggera.
• Agenti di Basso Livello (LLAs): Operando indipendentemente per ogni blocco, i LLA raffinano i budget globali in configurazioni specifiche per kernel. Selezionano da uno spazio di azione multi-discreto quadrimensionale per ogni kernel:
  1. Bitwidth ($b_{i,k}$): Selezione dei livelli di precisione.
  2. Keep-ratio ($\rho_{i,k}$): Determinazione della frazione di canali di output da mantenere (pruning strutturato).
  3. Tipo di Quantizzazione ($\tau_{i,k}$): Scelta tra Integer (INT) e Floating-point (FLOAT).
  4. Granularità ($\mu_{i,k}$): Selezione tra schemi uniformi, in dominio logaritmico, per canale o schemi sign-magnitude appresi.

2.2 Apprendimento Ensemble e Consenso

Per mitigare la varianza inerente all'RL in ampi spazi discreti, HiReLC utilizza un approccio ensemble.

• Ensemble LLA: Molteplici policy parallele (combinando PPO e A2C) vengono addestrate con pesi di ricompensa eterogenei (variando l'enfasi tra accuratezza e compressione). Un'azione di consenso viene derivata tramite voto ponderato, mescolando strategie conservative, moderate e aggressive per produrre una configurazione robusta.
• Ensemble HLA: Similmente, un ensemble di HLA propone allocazioni di budget, con il budget finale determinato tramite voto a maggioranza o aggregazione della media aritmetica.

2.3 Apprendimento Attivo e Modellazione Surrogate

Per affrontare il costo computazionale della valutazione di ogni configurazione candidata tramite il pieno fine-tuning post-compressione, HiReLC integra un ciclo di apprendimento attivo iterativo:

• Proxy Logit-MSE: Durante la fase di "cold-start" (prima che vengano raccolti dati sufficienti), viene utilizzato un proxy leggero basato sull'Errore Quadratico Medio (MSE) tra i logit del modello compresso e del modello baseline per stimare la ritenzione dell'accuratezza.
• Surrogate MLP: Una volta valutato un numero minimo di configurazioni, un modello surrogate MLP (Multi-Layer Perceptron) leggero viene addestrato sui dati raccolti per predire l'accuratezza. Questo surrogate viene utilizzato per la modellazione della ricompensa (reward shaping) durante l'ottimizzazione RL, mentre il fine-tuning completo è riservato alle valutazioni finali a livello di ciclo.
• Ciclo Iterativo: Il processo alterna l'ottimizzazione della policy RL, l'applicazione della configurazione, il fine-tuning e gli aggiornamenti del modello surrogate.

2.4 Formulazione della Ricompensa

Le funzioni di ricompensa sono progettate per bilanciare accuratezza, compressione e stabilità:

• Ricompense LLA: Includono termini per la ritenzione dell'accuratezza ($R_{acc}$), il guadagno di compressione ($R_{comp}$), la conformità al budget ($R_{budget}$) e la stabilità ($R_{stab}$). Una penalità di sensibilità ($P_{sens}$) viene applicata per scoraggiare la compressione aggressiva su blocchi altamente sensibili.
• Ricompense HLA: Si concentrano sul bilanciamento dell'eterogeneità tra i blocchi ($R_{bal}$), l'allocazione consapevole della sensibilità ($R_{sens}$), l'aderenza al target globale ($R_{global}$) e il feedback dinamico basato sulle prestazioni del ciclo precedente ($R_{dyn}$).

3. Contributi Principali

Il documento delinea tre contributi primari:

1. Framework HiReLC: Un framework gerarchico di apprendimento per rinforzo ensemble e agnostico rispetto all'architettura per la gestione congiunta di pruning strutturato e quantizzazione a precisione mista. Raggiunge rapporti di compressione delle dimensioni dei parametri di 5.99–6.72× su quattro architetture (DeiT-Small, CLIP ViT-B/32, ResNet18, MobileNetV2) con cali di accuratezza compresi tra 0.55% e 5.62%, e persino un guadagno di accuratezza del 3.83% in un'impostazione specifica.
2. Guida Sensibile alla Sensibilità: L'integrazione dei punteggi di sensibilità dell'Informazione di Fisher a entrambi i livelli gerarchici. Ciò assicura che i blocchi critici ricevano una compressione più leggera senza richiedere ulteriori valutazioni durante la ricerca, propagando l'importanza del blocco basata sul gradiente attraverso la modellazione della ricompensa e la correzione delle azioni.
3. Apprendimento Attivo Potenziato da Surrogate: Un ciclo iterativo che intercala l'ottimizzazione della policy RL con il fine-tuning post-compressione. Utilizzando un modello surrogate MLP leggero e un proxy logit-MSE, il framework ammortizza le valutazioni costose, rendendo fattibili studi a livello di framework entro un numero limitato di cicli.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10/100 e Tiny ImageNet su Vision Transformers e CNN.

• Performance di Compressione: Il framework ha costantemente raggiunto rapporti di compressione compresi tra 5.99× e 6.72× (equivalenti a una riduzione della dimensione del modello dell'83.3%–85.1%).
• Impatto sull'Accuratezza:
  • CLIP ViT-B/32 su CIFAR-100: Ha ottenuto il calo minimo dello 0.55% con 6.63× di compressione.
  • CLIP ViT-B/32 su CIFAR-10: Ha dimostrato un guadagno di accuratezza del 3.83% (da 89.22% a 93.05%), attribuito alla compressione che agisce come regolarizzatore per modelli sovra-parametrizzati.
  • ResNet18 e MobileNetV2 su Tiny ImageNet: Hanno mostrato cali rispettivi del 4.22% e 5.62%, riflettendo le sfide nel comprimere architetture già compatte su dataset più difficili.
• Studi di Ablazione:
  • La rimozione dell'HLA (utilizzando budget uniformi) ha portato a una sovra-compressione e a un calo di accuratezza significativamente maggiore (6.80% rispetto all'1.72% del sistema completo).
  • L'uso di un ensemble A2C omogeneo ha prodotto trade-off meno stabili rispetto all'ensemble misto PPO/A2C.
  • La guida della sensibilità di Fisher ha migliorato la ritenzione dell'accuratezza di 1.30 punti percentuali e ha prodotto assegnazioni di budget per blocco più differenziate.
  • Precisione Mista: Gli esperimenti che consentono la selezione per-kernel dei tipi INT/FLOAT e la granularità in scala logaritmica hanno prodotto cali di accuratezza inferiori rispetto alle impostazioni uniformi INT, suggerendo che la flessibilità favorisce il recupero.

5. Significato e Rivendicazioni

Il documento posiziona HiReLC come una scelta di design pratica per la compressione congiunta di reti neurali, enfatizzando i seguenti punti:

• Spazio di Ricerca Unificato: A differenza dei metodi precedenti che mirano a singoli assi di compressione (pruning o quantizzazione) o si affidano a euristiche statiche, HiReLC ottimizza congiuntamente entrambi, sfruttando le sinergie tra il pruning strutturato e la quantizzazione a precisione mista.
• Agnosticismo rispetto all'Architettura: Il framework comprime con successo diverse famiglie di modelli (Transformer, CLIP, ResNet, MobileNet) senza richiedere la riprogettazione del controller specifica per l'architettura.
• Consapevolezza della Sensibilità: L'uso dell'Informazione di Fisher permette al sistema di identificare e proteggere automaticamente i componenti sensibili della rete, migliorando il compromesso tra accuratezza e compressione.
• Praticità: Utilizzando modelli surrogate e apprendimento attivo, il framework riduce il carico computazionale della compressione basata su RL, rendendo fattibile l'esplorazione di ampi spazi di configurazione senza un fine-tuning esaustivo di ogni candidato.

Gli autori osservano che, sebbene i rapporti di compressione ottenuti siano significativi, i risultati sono dipendenti dal contesto (ad esempio, valutati su CIFAR/Tiny ImageNet piuttosto che su ImageNet-1K nelle tabelle principali) e assumono una memorizzazione strutturata densa (packed). Il framework è presentato come un punto di partenza per scenari di deployment dove la dimensione del modello è il vincolo primario, con lavori futuri necessari per ottimizzare le metriche di latenza e consumo energetico specifiche per l'hardware.