Bandwidth Selection in Kernel Density Estimation for Model Calibration

Technische Samenvatting: Bandbreedteselectie in Kernel Density Estimation voor Modelcalibratie

Probleemstelling
Naarmate deep learning-modellen worden ingezet in kritieke toepassingen, is de betrouwbaarheid van hun onzekerheidsinschattingen (calibratie) even cruciaal als de voorspellende nauwkeurigheid. Miscalibratie treedt op wanneer de betrouwbaarheidsscores van een model niet overeenkomen met de werkelijke waarschijnlijkheid van uitkomsten. Het evalueren van calibratie vereist het schatten van de werkelijke voorwaardelijke waarschijnlijkheid $R = E[y | f(x)]$, die onbekend is en empirisch moet worden benaderd.

Traditionele methoden vertrouwen op binning (bijv. Expected Calibration Error), wat de voorspellingsruimte opdeelt in discrete intervallen. Hoewel eenvoudig, introduceert binning kunstmatige discontinuïteiten, lijdt het aan een hoge variantie en is het gevoelig voor het partitioneringsschema. Bovendien is het asymptotisch inconsistent en kampt het met de vloek van dimensionaliteit in multi-class settings.

Kernel Density Estimation (KDE) is naar voren gekomen als een glad, differentieerbaar alternatief voor binning. De betrouwbaarheid van KDE-gebaseerde estimators is echter sterk afhankelijk van de keuze van de kernel-bandbreedte ($h$). Standaard selectietechnieken, zoals Maximum Likelihood Estimation (MLE), zijn vaak suboptimaal voor calibratietaken. MLE heeft de neiging om pathologisch kleine bandbreedtes te bevoordelen om de lokale dichtheid te maximaliseren, waardoor de estimator overfit op steekproefruis in plaats van het onderliggende calibratieprofiel te vangen. Dit resulteert in een "variantie-bias valstrik" waarbij de estimator degradeert tot een nearest-neighbor label sampler, wat ruisige, onbetrouwbare calibratie-oppervlakken produceert.

Methodologie: Risk Alignment (RA)
De auteurs stellen Risk Alignment (RA) voor, een nieuw optimalisatiekader voor het selecteren van de optimale bandbreedte in KDE-gebaseerde calibratie-estimators. Het kerninzicht is afgeleid van de Bregman-decompositie van proper scoring rules, die de verwachte risico van een proper loss opdeelt in twee componenten:

1. Calibration Error (CE): De discrepantie tussen voorspelde waarschijnlijkheden en ware voorwaardelijke waarschijnlijkheden.
2. Refinement (REF): Het vermogen van het model om tussen samples te onderscheiden.

De auteurs demonstreren theoretisch dat hoewel individuele estimators voor calibratie en verfijning besmet zijn door de variantie van de voorwaardelijke waarschijnlijkheidsestimator ($\text{Var}(\hat{R})$), deze variantietermen een structurele annulering vertonen wanneer ze worden opgeteld om het totale risico te vormen:

• In de calibratieterm werkt variantie als een spurieuze positieve bias.
• In de refinementterm manifesteert variantie zich als een negatieve bias.
• Wanneer ze gecombineerd worden, vallen de tweede-orde variantietermen weg, waardoor de geaggregeerde risicobias primair gekoppeld blijft aan de schattingsbias van $R$, geschaald door een gewicht dat afhankelijk is van de voorspelde waarschijnlijkheid.

Op basis hiervan minimaliseert de RA-objectief de geaggregeerde discrepantie tussen het KDE-gereconstrueerde risico en het empirisch geobserveerde risico (ground truth labels) over de dataset:
$$L_{RA}(h) = \sum_{i=1}^{n} |\hat{r}_{kde, i}(h) - r_i|^p$$
waarbij $\hat{r}_{kde, i}$ het risico is dat gereconstrueerd wordt met de KDE-estimator $\hat{R}_i$, en $r_i$ het geobserveerde risico is. Door het gereconstrueerde risico af te stemmen op de empirische ground truth, selecteert RA een bandbreedte die lokale stochastische ruis (variantie) onderdrukt terwijl de gladheid van de estimator behouden blijft, waardoor de variantie-bias trade-off die MLE teistert effectief wordt omzeild.

Belangrijkste Bijdragen

1. Nieuw Kader: Introductie van de Risk Alignment (RA) objectief, een principieel optimalisatiekader voor bandbreedteselectie in KDE-gebaseerde calibratie-estimators, geformuleerd als een risico-estimatie afstemmingsprobleem.
2. Theoretische Analyse: Een theoretische demonstratie dat de RA-objectief de bias van de calibratieschatting minimaliseert door gebruik te maken van de annulering van variantietermen in de totale risicodecompositie. Dit vestigt een criterium dat toepasbaar is op diverse metrieken, inclus�ien canonieke en class-wise calibratiefouten.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat RA consequent beter presteert dan standaard MLE en binning-methoden bij het selecteren van bandbreedtes, wat leidt tot meer betrouwbare calibratiebeoordelingen over meerdere architecturen en datasets heen.

Resultaten
De auteurs evalueerden hun methode op zowel synthetische als real-world data:

• Synthetische Data: In scenario's met bekende ground-truth voorwaardelijke waarschijnlijkheden bereikten KDE-estimators met RA de beste prestaties bij het schatten van de class-wise calibratiefout, waarbij ze de MLE en binning baselines significant overtroffen. RA produceerde reliability plots die nauw aansloten bij de ground truth, terwijl door MLE geselecteerde bandbreedtes scherpe pieken vertoonden die duiden op overfitting.
• Real-World Data: Experimenten op CIFAR-10/100, ImageNet en Amazon Reviews met diverse modellen (ResNet, VGG, ViT, Transformers) bevestigden de superioriteit van RA. In class-wise settings leverde RA consistent de laagste Mean Absolute Error (MAE) op vergeleken met MLE en binning methoden.
  • Opmerking over Hoge Dimensies: Het artikel merkt op dat in extreem hoog-dimensionale settings (bijv. canonieke calibratie met 1.000 ImageNet klassen), KDE-methoden (inclusief RA) degraderen door datasparsiteit op de waarschijnlijkheidssimplex. In deze specifieke regimes observeerden de auteurs dat KDE-methoden minder competitief werden dan Kernel Ridge Regression (KRR) benaderingen, wat suggereert dat hoewel RA de bandbreedte optimaliseert, de keuze van de kernel cruciaal blijft in hoge dimensies.

Betekenis en Claims
Het artikel claimt dat RA een principieel bandbreedte selectiecriterium biedt dat de fundamentele beperkingen van huidige KDE-calibratie-estimators aanpakt. Door de focus van de optimalisatie te verschuiven van dichtheidsherstel (MLE) naar risico-afstemming, zorgt de methode ervoor dat calibratiebeoordelingen robuust zijn tegen steekproefruis.

De auteurs stellen dat RA betrouwbaardere calibratiebeoordelingen oplevert dan standaard methoden, met name in class-wise settings. Ze benadrukken dat hun aanpak de computationele efficiëntie van KDE ($O(n^2)$) behoudt terwijl het de dure cross-validatie vermijdt die vereist is door alternatieve MSE-gebaseerde risikokaders. Het werk suggereert dat RA een robuuste reconstructie van de voorwaardelijke waarschijnlijkheidsmanifold faciliteert, wat een stabiel fundament biedt voor het evalueren van modelcalibratie in kritieke toepassingen. De auteurs blijven bescheiden over hoog-dimensionale canonieke calibratie en erkennen dat datasparsiteit een uitdaging blijft voor KDE-gebaseerde benaderingen in dergelijke regimes.