Technische Samenvatting: Verlies voor Verwachtingsconsistentie voor Calibratie van Zekerheid onder Covariatenverschuiving

Probleemstelling

Calibratie van zekerheid in classificatiemodellen is cruciaal voor veiligheidskritieke besluitvorming, waarbij wordt gegarandeerd dat voorspelde kansen de werkelijke waarschijnlijkheid van gebeurtenissen weerspiegelen. Standaard calibratiemethoden gaan echter doorgaans uit van het feit dat trainingsdata (bron) en testdata (doel) onafhankelijk en identiek verdeeld (i.i.d.) zijn. In real-world scenario's met covariatenverschuiving—waarbij de verdeling van invoerfeatures verandert ($P_s(X) \neq P_t(X)$) terwijl de conditionele labelverdeling invariant blijft ($P_s(Y|X) = P_t(Y|X)$)—falen deze methoden vaak.

Bestaande benaderingen voor calibratie onder covariatenverschuiving vertrouwen voornamelijk op gewichting op basis van belangrijkheid om globale covariatenverdelingen af te stemmen. Deze methoden lijden aan aanzienlijke beperkingen:

1. Instabiliteit: Ze worden instabiel of onbegrensd wanneer dichtheidsverhoudingen groot zijn.
2. Reikwijdte: Ze richten zich voornamelijk alleen op calibratie van de top-label, en negeren calibratie per klasse en canonieke calibratie (volledige waarschijnlijkheidsvector).
3. Theoretische Overhead: Ze gaan ervan uit dat globale verdelingsafstemming noodzakelijk is, wat een te strenge eis kan zijn voor het bereiken van gekalibreerde zekerheid.

Methodologie

Het artikel stelt een nieuw kader voor dat is gebaseerd op de Voorwaarde voor Verwachtingsconsistentie en een bijbehorende verliesfunctie, het Verlies voor Verwachtingsconsistentie (ECL).

1. Theoretische Grondslag: Voorwaarde voor Verwachtingsconsistentie

De auteurs leiden een noodzakelijke en toereikende voorwaarde af voor calibratie van zekerheid onder covariatenverschuiving.

• Stelling 3.1: Een classifier is gekalibreerd op het doelgebied dan en slechts dan als de verwachte ware posteriorwaarschijnlijkheid gegeven een zekerheidsscore consistent is tussen de domeinen. Formeel, voor elke klasse $k$:
  $$E_{X \sim P_s(X|S)}[P(Y_k=1|X)] = E_{X \sim P_t(X|S)}[P(Y_k=1|X)]$$
• Implicatie: Deze voorwaarde onthult dat globale afstemming van covariatenverdelingen ($P_s(X) = P_t(X)$) niet noodzakelijk is. Calibratie kan worden bereikt zolang de verwachte nauwkeurigheid, geconditioneerd op specifieke zekerheidsniveaus, consistent is tussen de domeinen, zelfs als de invoerverdelingen aanzienlijk verschillen. Deze voorwaarde is strikt zwakker dan globale afstemming.

2. De Verliesfunctie: Verlies voor Verwachtingsconsistentie (ECL)

Gebaseerd op de afgeleide voorwaarde introduceert het artikel ECL, een onbewaakt verlies voor domeinadaptatie dat is ontworpen om de discrepantie tussen bron- en doelverwachtingen te minimaliseren.

• Formulering: Het verlies meet de afstand tussen de geschatte ware posterior $P(Y|X)$ op het bron-domein en het doel-domein, geconditioneerd op de voorspelde zekerheidsscores $S$.
  $$L_{ecl} = E_{P_t(S)} \left[ \left| E_{P_s(X|S)}[P(Y|X)] - E_{P_t(X|S)}[P(Y|X)] \right| \right]$$
• Veelzijdigheid: Het kader ondersteunt drie calibratieparadigma's:
  • Canonieke Calibratie: Het afstemmen van de volledige waarschijnlijkheidsvector.
  • Calibratie per Klasse: Het afstemmen van kansen voor elke klasse afzonderlijk.
  • Calibratie van Top-label: Het afstemmen van de zekerheid van de voorspelde klasse.
• Implementatie: Om $P(Y|X)$ te schatten zonder doel-labels, traint de methode een hulpclassificatiekop op het bron-domein (of gezamenlijk met de backbone) om de ware posterior te voorspellen.

3. Optimalisatie en Trainbaarheid

• Differentieerbaarheid: Omdat standaard binning niet differentieerbaar is, stellen de auteurs een zachte, anker-gebaseerde toewijzing voor met een temperatuurparameter $\tau$ om optimalisatie op basis van gradiënten mogelijk te maken.
• Trainbaarheid met Mini-Batches: Het direct berekenen van het verlies op mini-batches introduceert bias omdat de normoperator niet commutatieert met verwachtingen. Om dit op te lossen, stellen de auteurs een formulering met hulpvariabelen voor (Stelling 3.3). Ze introduceren leerbare parameters ($u^s_j, u^t_j$) om de domeinverwachtingen te benaderen, waardoor onbevooroordeelde gradiënt-backpropagatie mogelijk wordt via afwisselende proximaal-updates (Algoritme 1).
• Staalcomplexiteit: Theoretische analyse toont aan dat ECL een staalcomplexiteit heeft van $O(B/\epsilon^2)$, vergelijkbaar met histogram-binning voor de Verwachte Calibratiefout (ECE), waarbij $B$ het aantal bins is.

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Afleiding van de Voorwaarde voor Verwachtingsconsistentie, wat bewijst dat globale covariatenafstemming niet noodzakelijk is voor calibratie onder covariatenverschuiving.
2. Nieuwe Verliesfunctie: Voorstel van ECL, een unificerende verliesfunctie die compatibel is met canonieke, per-klasse en top-label calibratieparadigma's.
3. Algoritmische Innovatie: Ontwikkeling van een theoretisch onderbouwde trainingsmethode voor mini-batches met behulp van hulpvariabelen om onbevooroordeelde gradiëntschatting te garanderen, waarmee de beperkingen van directe binning op kleine batches worden overwonnen.
4. Uitgebreide Evaluatie: Aantonen dat ECL state-of-the-art baselines (inclusief gewichting op basis van belangrijkheid en op mixup gebaseerde methoden) overtreft op zowel gesimuleerde als real-world datasets.

Experimentele Resultaten

De methode is gevalideerd op:

• Gesimuleerde Data: Normale en uniforme covariatenverschuivingen, waarbij blijkt dat ECL de calibratiefout verlaagt voor alle drie de paradigma's.
• Real-world Benchmarks:
  • Digitherkenning: MNIST, USPS, SVHN.
  • Domeinadaptatie: PACS (Photo, Art, Cartoon, Sketch).
  • Grootschalig: ImageNet-Sketch.
• Prestaties:
  • ECL behaalde consistent de laagste (of bijna laagste) calibratiefouten (ECE, CwECE, ECEKDE) in vergelijking met baselines zoals TransCal, DRL en PseudoCal.
  • Opmerkelijke verbeteringen werden waargenomen in scenario's met hoge verschuivingen (bijv. SVHN), waarbij ECL de top-label ECE verlaagde van ~61,9% (niet gekalibreerd) naar ~21,5% op LeNet-5.
  • De methode behield over het algemeen de classificatienauwkeurigheid ($\Delta ACC$) of verbeterde deze licht, wat aantoont dat calibratie niet ten koste gaat van het discriminerend vermogen.
  • Ablatiestudies bevestigden de noodzaak van het trainbare schema voor mini-batches en de strategie voor adaptieve verliesgewichting.

Betekenis en Claims

Het artikel claimt dat het de calibratie van zekerheid onder covariatenverschuiving fundamenteel opnieuw bedenkt door weg te bewegen van het traditionele paradigma van globale verdelingsafstemming. Door vast te stellen dat lokale consistentie in kritieke statistieken (verwachte posterior gegeven zekerheid) voldoende is, bieden de auteurs een robuustere en flexibeler theoretische basis.

De betekenis ligt in:

• Robuustheid: Het bieden van een oplossing die niet afhankelijk is van instabiele gewichten op basis van belangrijkheid.
• Generaliteit: Het bieden van een unificerende aanpak voor alle belangrijke calibratietypes (canoniek, per klasse, top-label), terwijl eerdere methoden vaak beperkt waren tot top-label.
• Praktijkgerichtheid: Het mogelijk maken van efficiënte, trainbare optimalisatie voor mini-batches die geschikt is voor moderne deep learning-workflows.

De auteurs erkennen beperkingen, waarbij zij noteren dat de methode uitgaat van invariante posterior-klassekansen ($P(Y|X)$) en momenteel geen rekening houdt met labelverschuiving. Er wordt voorgesteld om het kader uit te breiden naar scenario's die zowel covariaten- als labelverschuiving omvatten.