Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks

Technische Samenvatting: Het verkennen van het potentieel van bilevel-optimalisatie voor het kalibreren van neurale netwerken

Probleemstelling
Moderne neurale netwerken bezitten een hoge discriminatieve kracht, maar zijn vaak slecht gekalibreerd, wat betekent dat hun voorspelde betrouwbaarheidsscores de werkelijke waarschijnlijkheid van correctheid niet nauwkeurig weerspiegelen. Deze oververzekerdheid vormt aanzienlijke risico's in gevoelige, gereguleerde domeinen (zoals gezondheidszorg en autonome voertuigen), waar modellen in staat moeten zijn om onzekerheid tot uitdrukking te brengen of voorspellingen waar ze niet zeker van zijn te "verwerpen". Hoewel er methoden voor nascholing bestaan, werken deze als aparte stappen na de training. De auteurs onderzoeken of zelfkalibratie – het direct integreren van betrouwbaarheidskalibratie in het trainingsproces – effectief kan worden bereikt met behulp van bilevel-optimalisatie (BO).

Methodologie
Het artikel stelt BO4SC voor, een nieuw kader dat de training van neurale netwerken formuleert als een bilevel-optimalisatieprobleem. De kerninnovatie is een dubbele-uitvoerstructuur waarbij het model tegelijkertijd klassificatievoorspellingen en betrouwbaarheidsschattingen leert, waarbij beide uitvoeren afhankelijk zijn van dezelfde modelparameters.

Het kader wordt als volgt gedefinieerd:

• Binnenste-niveau probleem (Volger): Richt zich op standaard classificatietraining. Het minimaliseert een gewogen cross-entropy-verlies over de trainingsset ($D_{train}$) om de modelparameters ($\theta$) bij te werken. De gewichten ($w$) voor elke trainingsstichproef worden behandeld als parameters die door het buitenste niveau worden bepaald.
• Buitenste-niveau probleem (Leider): Richt zich op betrouwbaarheidskalibratie. Het minimaliseert een binair cross-entropy-verlies (BCE) over een validatieset ($D_{val}$). Het doel is om de optimale stichproefgewichten ($w$) te vinden die, wanneer toegepast in de binnenste lus, resulteren in een model ($\theta^*$) waarvan de voorspelde betrouwbaarheidsscores ($\hat{p}$) overeenkomen met de werkelijke correctheid van de voorspellingen.

Om dit op te lossen, hanteren de auteurs een op gradiënten gebaseerde aanpak met behulp van benaderde hypergradiëntdaling. Ze benaderen het bilevel-probleem door de binnenste optimalisatie voor een vast aantal stappen ($T$) uit te rollen en de hypergradiënt (de gradiënt van het buitenste doelwit met betrekking tot de buitenste parameters $w$) te berekenen met reverse-mode automatische differentiatie. De implementatie maakt gebruik van de torchopt-bibliotheek om de complexe optimalisatiehiërarchieën te hanteren.

Belangrijkste Bijdragen

1. Nieuw Kader: Het artikel introduceert BO4SC, het eerste werk dat een bilevel-optimalisatiekader voorstelt specifiek voor het trainen van een enkel zelfgekalibreerd diep neuraal netwerk, in tegenstelling tot eerdere literatuur die BO gebruikte voor aparte onzekerheidsscore-architecturen.
2. Integratie van Zelfkalibratie: In tegenstelling tot methoden voor nascholing (zoals Isotonische Regressie) die uitvoeringen na de training aanpassen, integreert BO4SC het kalibratiedoel direct in de trainingslus door dynamisch stichproefgewichten aan te passen.
3. Diagnostische Analyse: De studie biedt een gedetailleerde analyse van hoe bilevel-optimalisatie de verdeling van onzekerheid beïnvloedt, met name door te observeren hoe de methode lagere gewichten toekent aan ambigu of verkeerd geclassificeerde stichproeven nabij beslissingsgrenzen.

Experimentele Resultaten
De auteurs evalueerden BO4SC tegenover een Standaard trainingsaanpak en Isotonische Regressie (IsoReg) (een veelgebruikte methode voor nascholing) over verschillende datasets:

• Datasets: Speeldatasets (Blobs 1.3/1.7, Spirals 2.5/3.5) voor visuele diagnostische doeleinden en een praktische gesimuleerde dataset (Bloedalcoholconcentratie - BAC).
• Maten: Verwachte Kalibratiefout (ECE) en Nauwkeurigheid.
• Vondsten:
  • Kalibratie: BO4SC behaalde consistent de laagste ECE over de meeste datasets, en presteerde beter dan zowel de Standaard- als de IsoReg-methode. Bijvoorbeeld, op de Blobs 1.7-dataset behaalde BO4SC een ECE van 0,016 vergeleken met 0,074 voor Standaard en 0,039 voor IsoReg.
  • Nauwkeurigheid: De methode behield een concurrerende nauwkeurigheid, met slechts marginale dalingen vergeleken met de Standaard-methode in sommige gevallen, wat aantoont dat verbeterde kalibratie geen aanzienlijke afweging in voorspellende prestaties vereist.
  • Visuele Analyse: Betrouwbaarheidsdiagrammen en betrouwbaarheidsistogrammen onthulden dat terwijl Standaard-modellen oververzekerd waren en IsoReg soms onderverzekerde scores produceerde (bijvoorbeeld dalend onder de 0,5 in binaire taken waar 0,5 de basislijn is), BO4SC de meest gebalanceerde uitlijning produceerde tussen voorspelde betrouwbaarheid en werkelijke nauwkeurigheid.
  • Gewichtsdynamiek: Analyse van de geleerde gewichten toonde aan dat BO4SC op natuurlijke wijze stichproeven nabij beslissingsgrenzen (ambigu gebieden) afwaardeert en hogere gewichten toekent aan zelfverzekerd geclassificeerde stichproeven, waardoor het trainingssein effectief wordt verfijnd.

Betekenis en Beweringen
Het artikel beweert dat bilevel-optimalisatie een robuust alternatief biedt voor methoden voor nascholing. De auteurs betogen dat hoewel methoden voor nascholing zoals IsoReg effectief zijn, ze af en toe kunnen leiden tot overaanpassingen of onjuiste betrouwbaarheidsverdelingen (bijvoorbeeld het onderschatten van betrouwbaarheid). Daarentegen produceert de zelfkalibrerende aard van BO4SC betrouwbaarheidsscores die betrouwbaarder zijn voor besluitvorming in de echte wereld, met name in scenario's die het verwerpen van onzekere voorspellingen vereisen.

De auteurs blijven bescheiden over de huidige stand van het werk, en erkennen dat hoewel de resultaten veelbelovend zijn, de rekenkosten (uitvoeringstijd en geheugen) van de bilevel-aanpak momenteel hoger zijn dan traditionele training. Zij identificeren rekenkundige efficiëntie en de toepassing op classificatie met verwerpt-optie als primaire richtingen voor toekomstig onderzoek.