Résumé Technique : Repenser l'Étalonnage pour les Réseaux de Neurones à Sortie Précoce

1. Énoncé du Problème

Les Réseaux de Neurones à Sortie Précoce (EENN) accélèrent l'inférence en permettant aux classifieurs intermédiaires de terminer le calcul dès qu'une prédiction est jugée suffisamment confiante. L'hypothèse prédominante dans ce domaine est que l'amélioration de l'étalonnage de ces classifieurs intermédiaires — garantissant que les scores de confiance prédits correspondent à la précision empirique — améliorera intrinsèquement le compromis coût-précision du réseau.

Les auteurs remettent en cause cette hypothèse, arguant que les notions standard d'étalonnage sont insuffisantes pour les EENN. Ils postulent que :

1. Désalignement Structurel : L'étalonnage standard traite les classifieurs comme des entités isolées, ignorant la structure séquentielle des EENN où les sorties ultérieures disposent de plus de ressources de calcul et potentiellement d'une précision supérieure.
2. Calcul Gaspillé : Un classifieur bien étalonné peut toujours attribuer une faible confiance à des échantillons « inutiles » (échantillons qu'aucune sortie du réseau ne peut classer correctement). Cela force l'échantillon à traverser l'architecture entière, gaspillant ainsi des ressources de calcul.
3. Échec des Métriques : Les métriques d'étalonnage (comme l'Erreur d'Étalonnage Attendue, ECE) échouent à corréler avec la performance globale d'un EENN, échouant souvent à distinguer entre des réseaux dotés de capacités de calcul adaptatif différentes.

2. Analyse Théorique

L'article fournit une enquête théorique sur la relation entre l'étalonnage et le calcul adaptatif :

• Trivialité de l'Étalonnage Canonique : Les auteurs prouvent que si tous les modèles constitutifs d'un EENN sont canoniquement étalonnés (c'est-à-dire qu'ils correspondent parfaitement à la probabilité conditionnelle vraie $P(y|x)$), l'EENN est « trivial ». Dans ce scénario, toutes les sorties produisent des prédictions identiques, rendant les sorties intermédiaires redondantes.
• Limites de l'Étalonnage de la Confiance : Bien que l'étalonnage de la confiance (étalonnage par rapport à la probabilité prédite maximale) soit courant, les auteurs démontrent qu'il ne contrôle pas le risque excédentaire sous la perte logarithmique. Un modèle peut être parfaitement étalonné en termes de confiance tout en ayant un risque excédentaire non borné si la masse de probabilité est mal distribuée parmi les classes non modales.
• Nécessité d'un Ordre Structurel : Pour qu'un EENN prenne en charge un calcul « à tout moment » (où le risque diminue strictement avec la profondeur), les fonctions de regroupement définissant l'étalonnage doivent former une chaîne de raffinement ($\Phi_1 \preceq \dots \preceq \Phi_M$). L'étalonnage de la confiance standard ne garantit pas cet ordre structurel.

3. Méthodologie : Prédiction d'Échec de Sortie Précoce (EEFP)

Pour remédier à l'insuffisance de l'étalonnage, les auteurs proposent la Prédiction d'Échec de Sortie Précoce (EEFP).

3.1. Concept

Au lieu de prédire l'étiquette de classe ou d'étalonner la confiance, le système prédit la décision d'arrêt optimale. Pour une sortie donnée $m$, la variable cible $\otimes_m$ est définie comme suit :

• $\otimes_m = 1$ (Sortie) : Si la prédiction actuelle est correcte OU si aucune sortie ultérieure ne sera jamais correcte.
• $\otimes_m = 0$ (Continuer) : Si la prédiction actuelle est incorrecte mais qu'une sortie future est attendue pour être correcte.

Cette formulation prend explicitement en compte le coût de calcul de la poursuite de l'inférence.

3.2. Implémentation

Les auteurs introduisent une procédure légère, post-entraînement, pour mettre en œuvre l'EEFP :

1. Meta-Classifieur : Un Perceptron Multicouche (MLP) léger est entraîné pour chaque sortie $m$ afin de prédire la probabilité $P(\otimes_m = 1 | x)$.
2. Entrées :
   • Variante 1 (Courante) : Utilise les scores de confiance top-$k$ du classifieur actuel $f_m$.
   • Variante 2 (Historique) : Utilise les scores de confiance top-$k$ du classifieur actuel et de toutes les sorties précédentes ($f_1, \dots, f_m$). Cela permet au meta-classifieur d'observer l'évolution de la confiance à travers le réseau.
3. Entraînement : Les poids de l'EENN sont figés. Les meta-classifieurs sont entraînés en utilisant une perte d'entropie croisée binaire sur un ensemble de validation, où la vérité terrain pour $\otimes_m$ est calculée en vérifiant l'étiquette vraie contre toutes les prédictions de la séquence.
4. Inférence : Le réseau sort à l'étape $m$ si la probabilité de sortie du meta-classifieur dépasse un seuil $\tau$.

4. Contributions Clés

1. Réfutation Théorique : Une preuve formelle montrant que l'étalonnage standard est insuffisant pour les EENN car il ne prend pas en compte la nature séquentielle des sorties et le coût de calcul des échantillons inutiles.
2. Score EEFP : L'introduction d'une nouvelle métrique, le score EEFP (AUC-ROC de la tâche de prédiction d'échec), qui reflète de manière fiable la qualité des capacités de calcul adaptatif d'un EENN, contrairement à l'ECE.
3. Procédure de Correction de Confiance : Une méthode légère, motivée par l'EEFP, pour remplacer la sortie basée sur la confiance standard. Cette procédure améliore les compromis coût-précision sur plusieurs benchmarks sans nécessiter le réentraînement de l'EENN de base.

5. Résultats Expérimentaux

Les auteurs ont évalué leur approche sur ResNet-34, ViT-Tiny, ViT-Small, EfficientNet et MSDNet à travers CIFAR-100, TinyImageNet et ImageNet-1k.

• Compromis Coût-Précision : Les réseaux utilisant la correction de confiance basée sur l'EEFP ont constamment atteint des caractéristiques coût-précision supérieures par rapport aux modèles de base et aux modèles étalonnés par température.
• Fiabilité des Métriques :
  • Score EEFP : Des scores EEFP plus élevés dans les classifieurs internes ont fortement corrélé avec une meilleure performance globale de bout en bout de l'EENN.
  • ECE : L'ECE a échoué à prédire la performance. Dans plusieurs cas, des modèles avec un ECE plus faible (mieux étalonnés) ont performé moins bien en termes de coût-précision que des modèles avec un ECE plus élevé.
• Cas d'Échec : Les auteurs ont démontré que des modèles « trop confiants » (délibérément mal étalonnés) pouvaient surpasser des modèles « étalonnés » en termes d'efficacité. La métrique EEFP a correctement identifié la performance supérieure du modèle trop confiant, tandis que l'ECE a incorrectement classé le modèle étalonné comme meilleur.
• Surcharge de Calcul : Le coût additionnel des meta-classifieurs est négligeable (augmentation d'environ 0,001 % des FLOPs).

6. Signification et Revendications

L'article prétend modifier fondamentalement la perspective sur la façon dont les EENN devraient être optimisés.

• Changement de Paradigme : Il soutient que l'objectif des EENN ne devrait pas être des « classifieurs bien étalonnés » mais plutôt une « prédiction d'échec efficace ».
• Utilité Pratique : La correction basée sur l'EEFP proposée offre une alternative pratique et légère aux méthodes d'étalonnage existantes, améliorant directement l'efficacité des systèmes de calcul adaptatif.
• Applicabilité Plus Large : Les auteurs suggèrent que ces idées pourraient s'étendre à d'autres scénarios de calcul adaptatif, y compris les Grands Modèles de Langage (LLM) et le raisonnement en chaîne de pensée, où déterminer quand arrêter le calcul est critique.

Les auteurs restent modestes concernant les limitations théoriques, reconnaissant qu'ils ne fournissent pas de méthode pour imposer l'ordre structurel nécessaire des fonctions de regroupement ($\Phi$) requis pour un calcul à tout moment idéal, et que mesurer la granularité de ces fonctions dans des espaces de haute dimension reste un défi.