The Deferral Frontier: Deferral-Rule Geometry, Not Multidimensional Reliability, Explains Selective-Prediction Gains in Clinical AI

Technische Samenvatting: De Deferral Frontier

Probleemstelling
Klinische AI-modellen rapporteren vaak een hoge gemiddelde prestatie (bijv. AUROC > 0,85), maar falen systematisch bij specifieke subgroepen of in nieuwe omgevingen. Om dit te mitigeren, staat "selectieve predictie" het mogelijk voor modellen om onzekere gevallen door te verwijzen naar clinici (deferral). Terwijl traditionele methoden een eendimensionale betrouwbaarheidsscore gebruiken (de voorspelde waarschijnlijkheid) om deferral te triggeren, suggereren recente voorstellen het gebruik van multidimensionale betrouwbaarheidsscores. Deze scores integreren signalen die verder gaan dan louter vertrouwen, zoals gegevensvoldoendeheid, cohortgelijkenis, temporele stabiliteit en onzekerheidsconsistentie, onder de hypothese dat zij faalmodi vastleggen die de vertrouwensscore alleen mist. Het blijft echter ongetest of deze multidimensionale scores werkelijke waarde bieden ten opzichte van een correct gespecificeerde vertrouwensregel, of dat de gerapporteerde winsten artefacten zijn van de vergelijking met de baseline.

Methodologie
De studie evalueerde opnieuw een geleerd vijfdimensionaal betrouwbaarheidscomposiet tegenover twee verschillende confidence-gebaseerde deferral-regels over drie intensive care (ICU) voorspellingsopdrachten (sepsis, in-hospital mortaliteit, vasopressor-initiatie) en drie grootschalige databases (MIMIC-IV, MIMIC-III, eICU).

1. Vergeleken Deferral-regels:

   • Eenzijdige Confidence Gate: Verwijst patiënten met de laagste voorspelde risico's ($\tilde{p} < t$). Dit was de comparator gebruikt in het eerdere werk van de auteur (Versie 1).
   • Symmetrische Confidence Gate: Verwijst patiënten wiens maximale-klasse waarschijnlijkheid het laagst is, d.w.z. zij die het dichtst bij $\tilde{p} = 0,5$ liggen ($\max(\tilde{p}, 1-\tilde{p}) < t$).
   • Betrouwbaarheidscomposiet: Een logistische regressie getraind op vijf dimensies: (D1) gekalibreerd vertrouwen, (D2) gegevensvoldoendeheid, (D3) cohortgelijkenis (Mahalanobis-afstand), (D4) temporele stabiliteit, en (D5) onzekerheidsconsistentie (Monte Carlo dropout variantie). Het doel was of de absolute fout van een patiënt de mediane validatiefout overschreed.

2. Analytisch Kader:
   De auteur stelde een analytisch referentiepunt vast: voor een gekalibreerde binaire classifier is de verwachte kwadratische fout (Brier-score bijdrage) van een voorspelling $\tilde{p}$ gelijk aan $\tilde{p}(1-\tilde{p})$. Bijgevolg is de symmetrische confidence-regel theoretisch optimaal voor het minimaliseren van de Brier-score van behouden voorspellingen, terwijl de eenzijdige regel de minst gunstige is voor taken waarbij de meeste voorspellingen een laag risico hebben.

3. Evaluatiemetrieken:
   Prestaties werden beoordeeld bij 80% dekking (20% deferral) met behulp van de Brier-score en AUROC op behouden patiënten, het Aantal Nodig voor Review (NNR) voor gedeferreerde fouten, en de Jaccard-index om de overlap tussen de gedeferreerde sets te meten.

Belangrijkste Resultaten

• Het Artefact van de Eenzijdige Comparator: Wanneer vergeleken met de eenzijdige confidence gate, leek het betrouwbaarheidscomposiet enorme winsten te bieden (1,4–2,6-voudige reductie in Brier-score). De gedeferreerde sets waren bijna disjunct (Jaccard-index $\le$ 0,001). Dit was echter een geometrisch gevolg: de eenzijdige gate deferreerde patiënten met een laag risico die vrijwel zeker correct waren, wat de prestaties van de behouden set kunstmatig opblomde.
• Equivalentie van de Symmetrische Regel: Wanneer vergeleken met de symmetrische confidence gate, bood het betrouwbaarheidscomposiet geen significant voordeel. In zeven van de negen dataset-taakparen waren de Brier-scores statistisch ononderscheidbaar. In twee paren presteerde de symmetrische regel beter dan het composiet. De twee regels deferreerden grotendeels dezelfde patiënten (mediaan Jaccard-index 0,89).
• Mechanisme van het Composiet: Het geleerde composiet heeft effectief de symmetrische regel opnieuw geleerd. De coëfficiënten voor vertrouwen (D1) en onzekerheidsconsistentie (D5) waren de dominante drijfveren, en de score van het composiet correleerde sterk ($\rho = -0,80$ tot $-0,94$) met de theoretische foutterm $\tilde{p}(1-\tilde{p})$.
• Rol van Hulpdimensies: Dimensies D2 (gegevensvoldoendeheid) en D3 (cohortgelijkenis) stuurden een minderheid van de deferrals wel richting patiënten met schaarse data. Deze heroriëntatie leidde echter niet tot extra fouten; in sommige gevallen reduceerde het de door deferral gevangen fout licht in vergelijking met de symmetrische regel.
• Misinterpretatie van Netto Voordeel: Decision curve analyse op behouden patiënten bevoordeelde de eenzijdige gate, maar de auteur demonstreert dat dit een wiskundig artefact is van het verwijderen van patiënten met een laag risico (die geen echte/valse positieven bijdragen), in plaats van een verbetering in besluitvormingskwaliteit. Het vergelijken van het netto voordeel tussen gates met verschillende samenstellingen van behouden gevallen is ongeldig zonder het gedrag van clinici op gedeferreerde gevallen te modelleren.

Kernbijdragen

1. Analytisch Referentiepunt: Het artikel biedt het bewijs dat voor een gekalibreerd model de symmetrische confidence-regel de Brier-optimale deferral-strategie is, terwijl de eenzijdige regel suboptimaal is voor taken met een lage prevalentie.
2. Empirische Weerlegging: Het levert empirisch bewijs over negen dataset-taakparen dat de gerapporteerde voordelen van multidimensionale betrouwbaarheidsgating verdwijnen wanneer men benchmarkt tegen de symmetrische regel, aangezien het composiet grotendeels de symmetrische confidence-logica opnieuw leert.
3. Mechanistische Verklaring: De studie verheldert dat de prestaties van het composiet worden gedreven door zijn vermogen om $\tilde{p}(1-\tilde{p})$ te benaderen, en niet door het vastleggen van nieuwe betrouwbaarheidssignalen. Hulpdimensies dienen om deferrals te heroriënteren, maar voegen geen extra capaciteit toe om fouten te vangen bovenop de confidence.
4. Evaluatierichtlijnen: Het artikel stelt vier specifieke praktijken voor toekomstige klinische studies naar selectieve predictie:
   • Benchmark tegen de symmetrische confidence-regel (of temperature-scaled entropie).
   • Rapporteer de samenstelling van de gevallen (prevalentie en risicoverdeling) van zowel behouden als gedeferreerde patiënten naast subset-metrieken.
   • Beschouw overlap-statistieken (bijv. Jaccard-index) als beschrijvend van rangordeverschillen, niet als bewijs van superioriteit.
   • Verwijder de bekende component van de target (train op de fout bovenop $\tilde{p}(1-\tilde{p})$) om herontdekking van confidence te voorkomen.

Betekenis en Claims
Het artikel concludeert dat de "winsten" die voorheen aan multidimensionale betrouwbaarheidsgating werden toegeschreven in klinische AI, verklaard worden door de geometrie van de deferral-regel (specifiek het gebruik van een eenzijdige comparator) in plaats van de bruikbaarheid van aanvullende betrouwbaarheidsdimensies.

De auteur claimt bescheiden dat de bevindingen niet bewijzen dat gegevensvoldoendeheid of cohortgelijkenis klinisch irrelevant zijn. In plaats daarvan tonen zij aan dat deze dimensies in het huidige ontwerp niet meer bijdroegen aan de deferral-beslissing dan een symmetrische confidence-regel dat zou doen. Het artikel suggereert dat de productieve richting voor klinische deferral niet ligt in het verfijnen van de kijk van het model op zijn eigen onzekerheid, maar in het modelleren waar clinici en modellen van mening verschillen (learning-to-defer). Het benadrukt dat hulpdimensies voor betrouwbaarheid moeten worden gezien als kandidaten om deferrals aan clinici te verklaren, niet om ze te beslissen, en dat hun ware waarde een prospectieve evaluatie met clinici vereist in plaats van retrospectieve Brier-scoreverbeteringen.