Résumé Technique : CalexNet

Énoncé du Problème

Les réseaux de neurones convolutifs (CNN) imposent souvent des coûts computationnels élevés, limitant leur déploiement dans des environnements aux ressources contraintes. L'inférence sélective (SI) via des réseaux à sorties anticipées (early-exit) répond à ce problème en attachant des branches auxiliaires aux couches intermédiaires, permettant aux entrées « faciles » de sortir précocement tandis que les entrées « difficiles » se propagent vers des couches plus profondes. Cependant, dans le cadre du réglage post-entraînement — où des branches à sorties anticipées sont ajoutées à une épine dorsale pré-entraînée figée —, un décalage important entre l'entraînement et l'inférence (décalage de covariable) se produit.

L'article identifie trois sources spécifiques de ce décalage que les recettes standards de réglage post-entraînement échouent à résoudre :

1. Décalage de la Distribution des Échantillons : Les branches en aval sont entraînées sur l'ensemble complet des données, mais lors de l'inférence, elles ne reçoivent que le sous-ensemble d'échantillons qui n'ont pas été classifiés avec confiance par les branches en amont.
2. Décalage de Calibration : Les seuils de précision par classe sont généralement calibrés sur l'ensemble de validation complet, gonflant la précision apparente car ils incluent des échantillons « faciles » qui auraient été filtrés par les branches en amont en production.
3. Décalage de la Distribution Cible : L'entraînement standard par entropie croisée utilise le pseudo-libellé argmax de l'épine dorsale comme cible. Cela rejette la structure d'incertitude et l'information de similarité inter-classe contenue dans la distribution softmax complète de l'épine dorsale.

Méthodologie : CalexNet

CalexNet (Cascade-Aligned Early eXits) propose une modification uniquement liée à la recette d'entraînement pour combler ces trois écarts sans altérer l'architecture au moment de l'inférence. La méthode repose sur un principe unifié : aligner les cibles d'entraînement, de calibration et de distillation sur la cascade d'inférence réelle.

1. Pondération des Échantillons Alignée sur la Cascade

Au lieu de filtrer rigidement les données d'entraînement (ce qui peut entraîner une famine de données pour les branches en aval), CalexNet emploie un échantillonnage d'importance pondéré continûment.

• Mécanisme : Chaque échantillon $x$ se voit attribuer un poids $w_j^{l+1}$ pour la branche $l+1$ basé sur le produit des scores de confiance de toutes les branches précédentes : $w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$.
• Effet : Les échantillons sortis avec confiance par les branches antérieures reçoivent des poids proches de zéro, tandis que les échantillons « difficiles » (survivants) reçoivent des poids plus élevés. Cela garantit que la distribution d'entraînement correspond à la distribution des survivants au moment de l'inférence, sans rejeter de données.

2. Calibration Consciente de la Cascade (Marge de Précision par Classe - CPM)

L'article introduit une procédure de calibration qui estime les seuils de sortie par classe uniquement sur le sous-ensemble survivant de la cascade de l'ensemble de validation.

• Mécanisme : Pour une classe $i$ et une branche $l$, le seuil $T_i^l$ est la plus petite valeur satisfaisant : $Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$, où $\widehat{Prec}_i$ est la précision de l'épine dorsale et $m$ est un hyperparamètre de marge.
• Signification : Cela empêche l'inflation des estimations de précision causée par une calibration sur l'ensemble complet des données, garantissant que les seuils sont robustes au déséquilibre de classe qui se développe dans les sous-ensembles de survivants.

3. Cible de Classification Distillée

Pour pallier la perte d'information sur l'incertitude, la tête de classification est entraînée contre la distribution softmax complète de l'épine dorsale plutôt que contre le libellé argmax.

• Mécanisme : La fonction de perte utilise une divergence de Kullback-Leibler (KL) mise à l'échelle par une température : $\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$, avec $T=4$.
• Effet : Cela transfère la structure de similarité inter-classe de l'épine dorsale vers les branches, conduisant à des scores de confiance mieux calibrés et à des seuils de sortie plus bas pour la même cible de précision.

4. Architecture de Branche Légère

CalexNet utilise une tête de branche basée sur des prototypes 1D-conv compacte. Elle agrège les cartes de caractéristiques à l'aide de vecteurs prototypes appris (convolutions 1D) suivis d'une petite projection non linéaire (MLP) avant les têtes de classification et de confiance. Cette conception minimise la surcharge d'inférence tout en maintenant l'expressivité sur les petits sous-ensembles de survivants.

Contributions Clés

1. Cadre Unifié d'Alignement de Cascade : Un principe unique produisant trois modifications concrètes (pondération, calibration, distillation) pour aligner l'entraînement sur l'inférence.
2. Conception de Branche Légère : Une architecture compacte basée sur des prototypes ajoutant une surcharge minimale.
3. Marge de Précision par Classe (CPM) : Une procédure de calibration qui fixe les seuils de sortie en présence de déséquilibre de classe tout en préservant la précision par classe par rapport à l'épine dorsale.
4. Caractérisation Empirique : Des preuves montrant que le rétrécissement de la population à travers la cascade se concentre sur des « superclasses » faciles, laissant une longue traîne de classes plus difficiles pour l'épine dorsale, justifiant ainsi la nécessité d'un entraînement aligné sur la cascade.
5. Méthodologie de Front de Pareto : Une méthode de comparaison utilisant la courbe complète précision-vs-réduction des FLOPs (balayant la marge CPM $m$) plutôt que des points de fonctionnement uniques, éliminant ainsi le biais de sélection.
6. Évaluation Complète : Une étude appariée sur les épine dorsales ResNet18/ResNet50 et les jeux de données CIFAR-100 (grossier) / CINIC-10, incluant des études d'ablation et des comparaisons avec PTEEnet, ZTW et BoostNet.

Résultats

L'article évalue CalexNet sur CIFAR-100 (20 superclasses, plus difficile) et CINIC-10 (10 classes, plus facile).

• Performance de Pareto : CalexNet égale ou dépasse trois références publiées (PTEEnet, ZTW, BoostNet) et une référence « sans alignement, sans KD » interne à l'article sur le front de Pareto précision-FLOPs.
• Régime Clé : Les gains les plus importants se produisent dans le régime de réduction des FLOPs 30–70 % pratiquement pertinent.
• Perte de Précision : Sur CIFAR-100 avec ResNet18, à une réduction de 40 % des FLOPs, CalexNet réduit la perte de précision à 4,1 % contre 5,9 % pour la référence « sans alignement » et 7,7–8,8 % pour les autres références. À 70 % de réduction, l'écart s'élargit (20,9 % contre 23,5 %+).
• Stabilité : Les résultats sont stables sur $n=3$ graines d'entraînement, avec des écarts-types de perte de précision allant de 0,003 à 0,021.
• Ablation : L'étude isole les contributions, constatant que la Distillation de Connaissances (KD) est le levier dominant, tandis que la pondération alignée sur la cascade agit comme un raffinement correctif. La combinaison est super-additive.

Signification et Revendications

L'article revendique que CalexNet est une solution plug-and-play pour toute cascade à sorties anticipées avec épine dorsale figée, ne nécessitant aucun changement d'architecture au moment de l'inférence. Sa signification réside dans :

• La Résolution du Décalage de Covariable : C'est la première méthode post-entraînement à corriger explicitement le décalage de distribution entre l'entraînement et l'inférence induit par la structure de cascade.
• Efficacité : Elle réalise des réductions substantielles des FLOPs (30–70 %) avec une dégradation minimale de la précision, surpassant les méthodes reposant sur un entraînement conjoint ou un assemblage complexe au moment de l'inférence.
• Praticité : La méthode est robuste à travers différentes profondeurs d'épine dorsale (ResNet18 vs. ResNet50) et difficultés de jeux de données, la rendant adaptée au déploiement réel où le réentraînement de l'épine dorsale n'est pas faisable.

Les auteurs notent des limitations, notamment le caractère ponctuel actuel de l'alignement (pas de ré-pondération itérative) et le focus sur les CNN pour la classification d'images, suggérant que des travaux futurs pourraient étendre ces principes aux transformateurs et aux tâches de prédiction dense.