Density-Ratio Losses for Post-Hoc Learning to Defer

Probleemstelling
Learning to Defer (L2D) adresseert de uitdaging van het inzetten van machine learning (ML)-modellen in hoog-risicodomeinen (bijvoorbeeld gezondheidszorg, financiën) waar betrouwbaarheid van het grootste belang is. Het doel is om een model in staat te stellen af te zien van het maken van een voorspelling en in plaats daarvan door te verwijzen naar een expert (potentieel menselijk) wanneer de output van het model als onbetrouwbaar wordt beschouwd. Waar Learning to Reject (L2R) modellen toestaat om af te zien op basis van hun eigen vertrouwen, integreert L2D expliciet een expert in het trainingsproces om te leren wanneer de expert waarschijnlijk beter presteert dan het model.

Een kritieke beperking in moderne ML is de "post-hoc" setting, waarbij een vooraf getraind basismodel $h$ vaststaat en alleen het afwijzingsmechanisme (rejector) $r$ wordt geleerd. Het opnieuw trainen van grote modellen is vaak onbetaalbaar duur. Bestaande post-hoc benaderingen vertrouwen vaak op eenvoudige heuristieken (bijvoorbeeld vertrouwensdrempels) of proberen puntsgewijze expert-vergelijkingsdoelen te schatten (voorspellen wanneer de expert correct is en het model niet). Deze methoden kunnen echter falen onder distributieveranderingen of wanneer experts gespecialiseerd zijn. Bovendien vereisen veel bestaande methoden opnieuw trainen om het afwijzingspercentage aan te passen, wat hun aanpasbaarheid beperkt.

Methodologie
Het artikel stelt een nieuw kader voor post-hoc L2D voor op basis van ideale distributies en dichtheidsverhoudings-schatting.

1. Ideale Distributies: De auteurs definiëren een "ideale distributie" als een divergentie-geregulariseerde herweging van de ware data-distributie $P$, waaronder een specifiek classifier-verliespaar een laag verlies bereikt. Ze introduceren twee types:

   • Marginaal Ideaal ($Q_m$): Geoptimaliseerd over de observatieruimte $X$.
   • Gecombineerd Ideaal ($Q_j$): Geoptimaliseerd over de gecombineerde ruimte $X \times Y$.
     Voor de Kullback-Leibler (KL)-divergentie blijken deze idealen multiplicatieve herwegingen van de data-distributie te zijn, waarbij de gewichten afhankelijk zijn van het verwachte verlies van de classifier (of expert) onder de Bayes-klassa-posterior.

2. Dichtheidsverhoudings-Afwijzingsregel: In plaats van een binaire rejector direct te leren, definiëren de auteurs afwijzing door de ideale distributies van het model $h$ en de expert $h^{(e)}$ te vergelijken. De afwijzingsbeslissing wordt genomen door de dichtheidsverhouding $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$ te drempelen.

   • Als de observatie $x$ beter wordt verklaard door de ideale distributie van de expert (d.w.z. de verhouding is laag), wijst het model af.
   • Deze benadering scheidt natuurlijk de scoregever (de dichtheidsverhoudingsschatter) van de afwijzingsdrempel, waardoor het afwijzingspercentage na training kan worden aangepast zonder de scoregever opnieuw te trainen.

3. Theoretische Verbindingen:

   • Chow's Regel: Voor marginale KL-idealen herstelt de afgeleide regel de klassieke Chow's regel onder de oorspronkelijke data-distributie.
   • Expert-Gekantelde Posterior: Voor gecombineerde KL-idealen komt de regel overeen met een Chow-stijl beslissing onder een "expert-gekantelde" distributie. Deze distributie weegt labels opnieuw op basis van het verlies van de expert, waardoor het comparatieve voordeel van de expert effectief wordt opgenomen in de afwijzingsbeslissing.
   • Hypothesetoetsing: De afwijzingsregel wordt geformuleerd als een Neyman-Pearson hypothesetoets die onderscheid maakt tussen de ideale distributie van het model en de ideale distributie van de expert.

4. DR CPE Verliesfuncties: Aangezien de ideale distributies afhankelijk zijn van de onbekende Bayes-posterior en puntsgewijze expert-toegang vereisen (die niet beschikbaar is op testtijd), kunnen de auteurs geen gesloten-formule oplossingen gebruiken. In plaats daarvan reduceren ze Dichtheidsverhoudings-Schatting (DRE) tot Klass-kansschatting (CPE).

   • Ze leiden een familie van DR CPE verliesfuncties ($L_m$ en $L_j$) af die het leren van de dichtheidsverhouding tussen de ideale distributies van het model en de expert mogelijk maken via een binaire classificatietaken.
   • De Gecombineerde DR CPE verliesfunctie ($L_j$) blijkt praktisch schatbaar te zijn en dient als een bovengrens voor de marginale verliesfunctie ($L_m$).
   • Het artikel vestigt verbindingen tussen deze benadering en bestaande expert-vergelijkings-schattingsmethodes (bijvoorbeeld regressie op het verschil in zero-one nauwkeurigheid) en anomaliedetectie.

Belangrijkste Bijdragen

• Distributie-Formulering: Het artikel introduceert een post-hoc L2D-kader gebaseerd op het vergelijken van ideale distributies van het model en de expert, in plaats van directe puntsgewijze prestatieschatting.
• Marginaal versus Gecombineerd Ideaal: Het analyseert het onderscheid tussen marginale en gecombineerde ideale distributies, en toont aan dat de gecombineerde regel overeenkomt met afwijzing onder een expert-gekantelde distributie, wat praktisch betekenisvol is omdat het rekening houdt met de specifieke sterktes van de expert.
• DR CPE Verliesfuncties: De auteurs leiden een nieuwe familie van verliesfuncties af (DR CPE) die het leren van afwijzingsregels via standaard klass-kansschatting mogelijk maken, en zo de kloof overbruggen tussen theoretische ideale distributies en praktisch leren.
• Aanpasbaarheid: De methode ontkoppelt de scoregever van de drempel, waardoor aanpassing van afwijzingspercentages mogelijk is zonder opnieuw te trainen.

Experimentele Resultaten
De auteurs evalueren hun DR CPE-benadering op CIFAR-100 en MedMNIST-datasets onder diverse corruptiesettingen (labelruis, long-tail distributies en specialistische subsets).

• Concurrentievermogen: De DR CPE-benadering presteert concurrerend tegenover gangbare baselines, waaronder vertrouwensgebaseerde heuristieken, tweestaps-surrogaatverliesmethodes en expert-vergelijkings-schatters.
• Robuustheid: De methode toont superieure robuustheid over verschillende dataset-corruptiecombinaties heen in vergelijking met baselines. Terwijl andere methoden bijvoorbeeld aanzienlijk moeite hebben met specialistische subsets (bijvoorbeeld DermaMNIST specialist), behoudt DR CPE stabiele prestaties.
• Ablatie: Experimenten tonen aan dat de keuze van de verliesfunctie (bijvoorbeeld Generalized Cross-Entropy versus Probabilistic Zero-One) en de temperatuurparameter $\gamma$ de prestaties beïnvloeden, maar dat de gecombineerde DR CPE-benadering robuust blijft.

Betekenis en Beweringen
Het artikel beweert post-hoc L2D te kaderen als een probleem van dichtheidsverhoudingsleren tussen ideale distributies. Dit perspectief:

• Overbrugt de kloof tussen klassieke Chow-stijl regels en moderne expert-vergelijkingsmethodes.
• Verduidelijkt verbindingen met gerelateerde leersettings zoals anomaliedetectie.
• Biedt een theoretisch onderbouwde methode die praktisch robuust en aanpasbaar is, en die de beperkingen van het opnieuw trainen van grote modellen en de instabiliteit van eenvoudige heuristieken in hoog-risico, verschoven omgevingen aanpakt.

De auteurs merken op dat hun benadering momenteel geen consistentiegaranties biedt voor surrogaatverliesfuncties (een theoretische beperking in vergelijking met sommige end-to-end methodes), maar wel een praktische, robuuste oplossing biedt voor post-hoc afwijzing die expertinformatie effectief benut zonder volledige modelhertraining te vereisen.