Riepilogo Tecnico: CalexNet

Enunciato del Problema

Le Reti Neurali Convoluzionali (CNN) spesso impongono elevati costi computazionali, limitando il deployment in ambienti con risorse limitate. L'Inferenza Selettiva (SI) tramite reti con uscita anticipata (early-exit) affronta questo problema collegando rami ausiliari a livelli intermedi, consentendo agli input "facili" di uscire precocemente mentre gli input "difficili" propagano verso livelli più profondi. Tuttavia, nell'ambito del setting post-allenamento—dove i rami di uscita anticipata vengono aggiunti a un backbone pre-addestrato congelato—si verifica una significativa discrepanza tra allenamento e inferenza (spostamento della covariata).

Il documento identifica tre fonti specifiche di questa discrepanza che le ricette standard post-allenamento non riescono ad affrontare:

1. Discrepanza nella Distribuzione dei Campioni: I rami a valle vengono addestrati sull'intero dataset, ma durante l'inferenza ricevono solo il sottoinsieme di campioni non classificati con fiducia dai rami a monte.
2. Discrepanza di Calibrazione: Le soglie di precisione per classe sono tipicamente calibrate sull'intero set di validazione, gonfiando la precisione apparente perché includono campioni "facili" che verrebbero filtrati dai rami a monte in produzione.
3. Discrepanza nella Distribuzione degli Obiettivi: L'addestramento standard con cross-entropy utilizza il pseudo-etichetta argmax del backbone come obiettivo. Questo scarta la struttura dell'incertezza e le informazioni di similarità inter-classe contenute nella distribuzione softmax completa del backbone.

Metodologia: CalexNet

CalexNet (Cascade-Aligned Early eXits) propone una modifica esclusivamente nella ricetta di allenamento per colmare queste tre lacune senza alterare l'architettura al momento dell'inferenza. Il metodo si basa su un principio unificato: allineare gli obiettivi di allenamento, calibrazione e distillazione con la cascata effettiva di inferenza.

1. Ponderazione dei Campioni Allineata alla Cascata

Invece di filtrare rigidamente i dati di allenamento (il che può portare a carenza di dati per i rami a valle), CalexNet impiega un campionamento per importanza con pesi continui.

• Meccanismo: Ogni campione $x$ viene assegnato un peso $w_j^{l+1}$ per il ramo $l+1$ basato sul prodotto dei punteggi di confidenza di tutti i rami precedenti: $w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$.
• Effetto: I campioni usciti con fiducia dai rami precedenti ricevono pesi vicini allo zero, mentre i campioni "difficili" (sopravvissuti) ricevono pesi più alti. Ciò garantisce che la distribuzione di allenamento corrisponda alla distribuzione dei sopravvissuti al momento dell'inferenza senza scartare dati.

2. Calibrazione Consapevole della Cascata (Margine di Precisione per Classe - CPM)

Il documento introduce una procedura di calibrazione che stima le soglie di uscita per classe solo sul sottoinsieme dei sopravvissuti alla cascata del set di validazione.

• Meccanismo: Per una classe $i$ e un ramo $l$, la soglia $T_i^l$ è il valore più piccolo che soddisfa: $Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$, dove $\widehat{Prec}_i$ è la precisione del backbone e $m$ è un iperparametro di margine.
• Significato: Ciò previene il gonfiaggio delle stime di precisione causato dalla calibrazione sull'intero dataset, garantendo che le soglie siano robuste allo squilibrio di classe che si sviluppa nei sottoinsiemi di sopravvissuti.

3. Obiettivo di Classificazione Distillato

Per affrontare la perdita di informazioni sull'incertezza, il capo di classificazione viene addestrato contro la distribuzione softmax completa del backbone piuttosto che contro l'etichetta argmax.

• Meccanismo: La funzione di perdita utilizza una divergenza Kullback-Leibler (KL) scalata per temperatura: $\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$, con $T=4$.
• Effetto: Questo trasferisce la struttura di similarità inter-classe del backbone ai rami, portando a punteggi di confidenza meglio calibrati e soglie di uscita più basse per lo stesso obiettivo di precisione.

4. Architettura del Ramo Leggera

CalexNet utilizza un capo di ramo basato su prototipi 1D-conv compatto. Aggrega le mappe di caratteristiche utilizzando vettori prototipo appresi (convoluzioni 1D) seguiti da una piccola proiezione non lineare (MLP) prima dei capi di classificazione e confidenza. Questo design minimizza l'overhead di inferenza mantenendo l'espressività su piccoli sottoinsiemi di sopravvissuti.

Contributi Chiave

1. Framework Unificato di Allineamento alla Cascata: Un singolo principio che produce tre modifiche concrete (ponderazione, calibrazione, distillazione) per allineare l'allenamento all'inferenza.
2. Design del Ramo Leggero: Un'architettura compatta basata su prototipi che aggiunge un overhead minimo.
3. Margine di Precisione per Classe (CPM): Una procedura di calibrazione che imposta le soglie di uscita in condizioni di squilibrio di classe, preservando la precisione per classe rispetto al backbone.
4. Caratterizzazione Empirica: Evidenze che mostrano come il restringimento della popolazione attraverso la cascata sia concentrato su "superclassi" facili, lasciando una lunga coda di classi più difficili per il backbone, giustificando la necessità di un allenamento allineato alla cascata.
5. Metodologia del Fronte di Pareto: Un metodo di confronto che utilizza l'intera curva accuratezza-vs-Riduzione-FLOPs (variando il margine CPM $m$) piuttosto che singoli punti operativi, eliminando il bias di selezione.
6. Valutazione Completa: Uno studio abbinato su backbone ResNet18/ResNet50 e dataset CIFAR-100 (coarse) / CINIC-10, inclusi studi di ablazione e confronti con PTEEnet, ZTW e BoostNet.

Risultati

Il documento valuta CalexNet su CIFAR-100 (20 superclassi, più difficile) e CINIC-10 (10 classi, più facile).

• Prestazioni Pareto: CalexNet eguaglia o supera tre baseline pubblicate (PTEEnet, ZTW, BoostNet) e un riferimento "nessun allineamento, nessuna KD" interno al documento sul fronte di Pareto accuratezza-FLOPs.
• Regime Chiave: I maggiori guadagni si verificano nel regime di riduzione dei FLOPs del 30–70% praticamente rilevante.
• Perdita di Accuratezza: Su CIFAR-100 con ResNet18, a una riduzione dei FLOPs del 40%, CalexNet riduce la perdita di accuratezza al 4,1% rispetto al 5,9% della baseline "nessun allineamento" e al 7,7–8,8% per le altre baseline. A una riduzione del 70%, il divario si amplia (20,9% contro 23,5%+).
• Stabilità: I risultati sono stabili su $n=3$ semi di allenamento, con deviazioni standard nella perdita di accuratezza comprese tra 0,003 e 0,021.
• Ablazione: Lo studio isola i contributi, riscontrando che la Distillazione della Conoscenza (KD) è la leva dominante, mentre la ponderazione allineata alla cascata agisce come un affinamento correttivo. La combinazione è super-additiva.

Significato e Affermazioni

Il documento afferma che CalexNet è una soluzione drop-in per qualsiasi cascata di uscita anticipata con backbone congelato che richieda nessun cambiamento architetturale al momento dell'inferenza. Il suo significato risiede in:

• Affrontare lo Spostamento della Covariata: È il primo metodo post-allenamento a correggere esplicitamente la discrepanza nella distribuzione tra allenamento e inferenza indotta dalla struttura a cascata.
• Efficienza: Raggiunge riduzioni sostanziali dei FLOPs (30–70%) con degradazione minima dell'accuratezza, superando metodi che si basano su allenamento congiunto o ensemble complessi al momento dell'inferenza.
• Praticità: Il metodo è robusto su diverse profondità del backbone (ResNet18 vs. ResNet50) e difficoltà dei dataset, rendendolo adatto al deployment nel mondo reale dove il re-allenamento del backbone non è fattibile.

Gli autori notano limitazioni, inclusa la natura one-shot attuale dell'allineamento (nessuna riponderazione iterativa) e il focus sulle CNN per la classificazione di immagini, suggerendo che lavori futuri potrebbero estendere questi principi ai transformer e ai compiti di previsione densa.