Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks

Résumé technique : Exploration du potentiel de l'optimisation bi-niveau pour l'étalonnage des réseaux de neurones

Énoncé du problème
Les réseaux de neurones modernes possèdent un fort pouvoir discriminant mais sont souvent mal étalonnés, ce qui signifie que leurs scores de confiance prédits ne reflètent pas avec précision la vraisemblance réelle de la justesse. Cette surconfiance pose des risques significatifs dans des domaines sensibles et réglementés (par exemple, la santé, les véhicules autonomes) où les modèles doivent pouvoir exprimer une incertitude ou « rejeter » les prédictions dont ils ne sont pas sûrs. Bien que des méthodes d'étalonnage postérieur existent, elles opèrent comme des étapes distinctes après l'entraînement. Les auteurs examinent si l'auto-étalonnage — l'intégration de l'étalonnage de la confiance directement dans le processus d'entraînement — peut être efficacement réalisé en utilisant l'optimisation bi-niveau (BO).

Méthodologie
L'article propose BO4SC, un cadre novateur qui formule l'entraînement d'un réseau de neurones comme un problème d'optimisation bi-niveau. L'innovation centrale réside dans une structure à double sortie où le modèle apprend simultanément les prédictions de classe et les estimations de confiance, les deux sorties dépendant des mêmes paramètres du modèle.

Le cadre est défini comme suit :

• Problème de niveau interne (Suiveur) : Il se concentre sur l'entraînement standard de classification. Il minimise une perte d'entropie croisée pondérée sur l'ensemble d'entraînement ($D_{train}$) pour mettre à jour les paramètres du modèle ($\theta$). Les poids ($w$) pour chaque échantillon d'entraînement sont traités comme des paramètres déterminés par le niveau externe.
• Problème de niveau externe (Leader) : Il se concentre sur l'étalonnage de la confiance. Il minimise une perte d'entropie croisée binaire (BCE) sur un ensemble de validation ($D_{val}$). L'objectif est de trouver les poids optimaux des échantillons ($w$) qui, lorsqu'ils sont appliqués dans la boucle interne, aboutissent à un modèle ($\theta^*$) dont les scores de confiance prédits ($\hat{p}$) s'alignent sur la justesse réelle des prédictions.

Pour résoudre ce problème, les auteurs emploient une approche basée sur le gradient utilisant la descente de gradient hyperapproximatif. Ils approximent le problème bi-niveau en déroulant l'optimisation interne pour un nombre fixe d'étapes ($T$) et en calculant le gradient hyper (le gradient de l'objectif externe par rapport aux paramètres externes $w$) en utilisant la différenciation automatique en mode inverse. L'implémentation utilise la bibliothèque torchopt pour gérer les hiérarchies d'optimisation complexes.

Contributions clés

1. Cadre novateur : L'article introduit BO4SC, la première étude proposant un cadre d'optimisation bi-niveau spécifiquement pour l'entraînement d'un seul réseau de neurones profond auto-étalonné, distinct de la littérature antérieure qui utilisait la BO pour des architectures de scores d'incertitude séparées.
2. Intégration de l'auto-étalonnage : Contrairement aux méthodes d'étalonnage postérieur (par exemple, la régression isotone) qui ajustent les sorties après l'entraînement, BO4SC intègre l'objectif d'étalonnage directement dans la boucle d'entraînement en ajustant dynamiquement les poids des échantillons.
3. Analyse diagnostique : L'étude fournit une analyse détaillée de la manière dont l'optimisation bi-niveau affecte la distribution de l'incertitude, observant spécifiquement comment la méthode attribue des poids plus faibles aux échantillons ambigus ou mal classés près des frontières de décision.

Résultats expérimentaux
Les auteurs ont évalué BO4SC par rapport à une approche d'entraînement Standard et à la Régression Isotone (IsoReg) (une méthode d'étalonnage postérieur largement utilisée) sur plusieurs ensembles de données :

• Ensembles de données : Ensembles de données factices (Blobs 1.3/1.7, Spirals 2.5/3.5) à des fins de diagnostic visuel et un ensemble de données simulé pratique (Concentration d'alcool dans le sang - BAC).
• Métriques : Erreur d'étalonnage attendue (ECE) et Précision.
• Constats :
  • Étalonnage : BO4SC a constamment obtenu la plus faible ECE sur la plupart des ensembles de données, surpassant à la fois les méthodes Standard et IsoReg. Par exemple, sur l'ensemble de données Blobs 1.7, BO4SC a obtenu une ECE de 0,016 contre 0,074 pour Standard et 0,039 pour IsoReg.
  • Précision : La méthode a maintenu une précision compétitive, avec seulement des baisses marginales par rapport à la méthode Standard dans certains cas, démontrant qu'une amélioration de l'étalonnage ne nécessite pas un compromis significatif dans les performances prédictives.
  • Analyse visuelle : Les diagrammes de fiabilité et les histogrammes de confiance ont révélé que, tandis que les modèles Standard étaient surconfiants et que IsoReg produisait parfois des scores sous-confiants (par exemple, tombant en dessous de 0,5 dans des tâches binaires où 0,5 est la ligne de base), BO4SC a produit l'alignement le plus équilibré entre la confiance prédite et la précision réelle.
  • Dynamique des poids : L'analyse des poids appris a montré que BO4SC réduit naturellement le poids des échantillons près des frontières de décision (régions ambigües) et attribue des poids plus élevés aux échantillons classés avec confiance, affinant ainsi efficacement le signal d'entraînement.

Signification et affirmations
L'article affirme que l'optimisation bi-niveau offre une alternative robuste aux techniques d'étalonnage postérieur. Les auteurs soutiennent que, bien que les méthodes d'étalonnage postérieur comme IsoReg soient efficaces, elles peuvent parfois conduire à des surajustements ou à des distributions de confiance inappropriées (par exemple, sous-estimer la confiance). En revanche, la nature auto-étalonnante de BO4SC produit des scores de confiance plus dignes de confiance pour la prise de décision dans le monde réel, en particulier dans les scénarios nécessitant le rejet de prédictions incertaines.

Les auteurs restent modestes concernant l'état actuel du travail, reconnaissant que, bien que les résultats soient prometteurs, le coût computationnel (temps d'exécution et mémoire) de l'approche bi-niveau est actuellement plus élevé que l'entraînement traditionnel. Ils identifient l'efficacité computationnelle et l'application à la classification avec option de rejet comme des directions principales pour les recherches futures.