Technische Samenvatting: CalexNet

Probleemstelling

Convolutionele Neurale Netwerken (CNN's) leggen vaak hoge rekenkosten op, wat de inzet beperkt in omgevingen met beperkte middelen. Selectieve Inferentie (SI) via netwerken met vroege uitgangen (early-exit networks) lost dit op door hulpvertakkingen aan te brengen op tussenliggende lagen, waardoor "makkelijke" invoer vroeg kan uitstappen terwijl "moeilijke" invoer doorgaat naar diepere lagen. Echter, in de post-training setting—waarbij vroege-uitgangsvertakkingen worden toegevoegd aan een bevroren vooraf getrainde backbone—treedt een aanzienlijke train-inference mismatch (covariatenverschuiving) op.

Het artikel identificeert drie specifieke bronnen van deze mismatch die standaard post-training recepten niet aanpakken:

1. Steekproefverdelingsmismatch: Downstream-vertakkingen worden getraind op de volledige dataset, maar bij inferentie ontvangen ze alleen het subset van steekproeven dat niet met vertrouwen is geclassificeerd door upstream-vertakkingen.
2. Kalibratiemismatch: Per-klasse precisiedrempels worden doorgaans gekalibreerd op de volledige validatiestel, wat de schijnbare precisie opblaast omdat ze "makkelijke" steekproeven bevatten die in productie door upstream-vertakkingen zouden zijn gefilterd.
3. Doelverdelingsmismatch: Standaard cross-entropy-training gebruikt de argmax pseudo-label van de backbone als doel. Dit gooit de onzekerheidsstructuur en inter-klasse vergelijkingsinformatie weg die in de volledige softmax-verdeling van de backbone zit.

Methodologie: CalexNet

CalexNet (Cascade-Aligned Early eXits) stelt een wijziging uitsluitend in het trainingsrecept voor om deze drie kloven te dichten zonder de inferentie-tijd architectuur te veranderen. De methode rust op een unificerend principe: het afstemmen van trainings-, kalibratie- en distillatiedoelen op de daadwerkelijke inferentie-cascade.

1. Cascade-afgestemde steekproefgewichting

In plaats van harde filtering van trainingsdata (wat kan leiden tot data-uitputting voor downstream-vertakkingen), hanteert CalexNet continu-gewogen importance sampling.

• Mechanisme: Elke steekproef $x$ krijgt een gewicht $w_j^{l+1}$ voor vertakking $l+1$ toegewezen op basis van het product van de confidence-scores van alle voorafgaande vertakkingen: $w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$.
• Effect: Steekproeven die met vertrouwen door eerdere vertakkingen worden uitgestapt, krijgen gewichten dicht bij nul, terwijl "moeilijke" steekproeven (overlevenden) hogere gewichten krijgen. Dit zorgt ervoor dat de trainingsverdeling overeenkomt met de inferentie-tijd overlevingsverdeling zonder data weg te gooien.

2. Cascade-bewuste kalibratie (Class Precision Margin - CPM)

Het artikel introduceert een kalibratieprocedure die per-klasse uitstapdrempels schat uitsluitend op het cascade-overlevende subset van de validatiestel.

• Mechanisme: Voor een klasse $i$ en vertakking $l$ is de drempel $T_i^l$ de kleinste waarde die voldoet aan: $Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$, waarbij $\widehat{Prec}_i$ de precisie van de backbone is en $m$ een margin-hyperparameter.
• Betekenis: Dit voorkomt de opblazing van precisieschattingen veroorzaakt door kalibratie op de volledige dataset, en zorgt ervoor dat drempels robuust zijn voor de klasse-ongelijkheid die zich ontwikkelt in overlevende subsets.

3. Gedistilleerd classificatiedoel

Om het verlies aan onzekerheidsinformatie aan te pakken, wordt de classificatiekop getraind tegen de volledige softmax-verdeling van de backbone in plaats van de argmax-label.

• Mechanisme: De verliesfunctie gebruikt een temperatuur-geschaalde Kullback-Leibler (KL)-divergentie: $\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$, met $T=4$.
• Effect: Dit overdraagt de inter-klasse vergelijkingsstructuur van de backbone naar de vertakkingen, wat leidt tot beter gekalibreerde confidence-scores en lagere uitstapdrempels voor hetzelfde precisiedoel.

4. Lichtgewicht vertakkingsarchitectuur

CalexNet maakt gebruik van een compacte 1D-conv prototype-gebaseerde vertakkingskop. Deze aggregeert feature maps met behulp van geleerde prototypevectoren (1D-convoluties) gevolgd door een kleine niet-lineaire projectie (MLP) voordat de classificatie- en confidence-koppen worden bereikt. Dit ontwerp minimaliseert de inferentie-overhead terwijl het expressiviteit behoudt op kleine overlevende subsets.

Belangrijkste Bijdragen

1. Unificerend Cascade-Afstemmingskader: Een enkel principe dat drie concrete wijzigingen oplevert (gewichting, kalibratie, distillatie) om training af te stemmen op inferentie.
2. Lichtgewicht Vertakkingsontwerp: Een compacte prototype-gebaseerde architectuur die minimale overhead toevoegt.
3. Class Precision Margin (CPM): Een kalibratieprocedure die uitstapdrempels instelt onder klasse-ongelijkheid terwijl de per-klasse precisie ten opzichte van de backbone behouden blijft.
4. Empirische Karakterisering: Bewijs dat de krimp van de populatie door de cascade geconcentreerd is op "makkelijke" superklassen, waardoor een lange staart van moeilijkere klassen overblijft voor de backbone, wat de noodzaak van cascade-afgestemde training rechtvaardigt.
5. Pareto-Frontier Methodologie: Een vergelijkingsmethode die de volledige nauwkeurigheids-vs-FLOPs-reductiecurve gebruikt (door de CPM-marge $m$ te variëren) in plaats van enkele operationele punten, waardoor selectiebias wordt verwijderd.
6. Uitgebreide Evaluatie: Een overeenkomende studie over ResNet18/ResNet50 backbones en CIFAR-100 (grof) / CINIC-10 datasets, inclusief ablatiestudies en vergelijkingen met PTEEnet, ZTW en BoostNet.

Resultaten

Het artikel evalueert CalexNet op CIFAR-100 (20 superklassen, moeilijker) en CINIC-10 (10 klassen, makkelijker).

• Pareto-prestaties: CalexNet komt overeen met of overtreft drie gepubliceerde baselines (PTEEnet, ZTW, BoostNet) en een binnen-papier "geen-afstemming, geen-KD" referentie op de nauwkeurigheids-FLOPs Pareto-frontier.
• Belangrijk Regime: De grootste winsten treden op in het praktisch relevante 30–70% FLOPs-reductie regime.
• Nauwkeurigheidsverlies: Op CIFAR-100 met ResNet18, bij een 40% FLOPs-reductie, reduceert CalexNet het nauwkeurigheidsverlies tot 4,1% vergeleken met 5,9% voor de "geen afstemming" baseline en 7,7–8,8% voor andere baselines. Bij 70% reductie wordt het gat groter (20,9% versus 23,5%+).
• Stabiliteit: Resultaten zijn stabiel over $n=3$ trainingszaden, met standaardafwijkingen in nauwkeurigheidsverlies variërend van 0,003 tot 0,021.
• Ablatie: De studie isoleert de bijdragen en stelt vast dat Knowledge Distillation (KD) de dominante hefboom is, terwijl cascade-afgestemde gewichting dient als correctieve verfijning. De combinatie is super-additief.

Betekenis en Claims

Het artikel claimt dat CalexNet een drop-in oplossing is voor elke bevroren-backbone vroege-uitgangs-cascade die geen architecturale wijzigingen op inferentie-tijd vereist. De betekenis ligt in:

• Aanpakken van de Covariatenverschuiving: Het is de eerste post-training methode die expliciet corrigeert voor de train-inference verdelingsmismatch die wordt veroorzaakt door de cascade-structuur.
• Efficiëntie: Het bereikt aanzienlijke FLOPs-reducties (30–70%) met minimale nauwkeurigheidsdegradatie, en presteert beter dan methoden die vertrouwen op gezamenlijke training of complexe inferentie-tijd ensemble-methoden.
• Praktijkgeschiktheid: De methode is robuust over verschillende backbone-dieptes (ResNet18 versus ResNet50) en dataset-moeilijkheden, waardoor het geschikt is voor real-world inzet waar het hertrainen van de backbone niet haalbaar is.

De auteurs merken beperkingen op, waaronder het huidige eenmalige karakter van de afstemming (geen iteratieve hergewichting) en de focus op CNN's voor beeldclassificatie, wat suggereert dat toekomstig werk deze principes kan uitbreiden naar transformers en dichte voorspellingstaken.