Learning Under Treatment-Induced Label Indeterminacy with Expert Annotations of Counterfactual Outcomes: A Case Study in Neurological Prognostication

Technische Samenvatting: Leren onder door behandeling geïnduceerde label-onbepaaldheid

Probleemformulering
Het artikel behandelt een fundamentele beperking in klinische voorspellingsmodellering die bekend staat als behandeling-geïnduceerde label-onbepaaldheid (treatment-induced label indeterminacy). In standaard supervised learning wordt ervan uitgegaan dat de doeluitkomst voor elke patiënt duidelijk wordt waargenomen. Echter, in situaties met een hoge inzet, zoals neurologische prognostiek na een hartstilstand, kunnen beslissingen over behandeling (specifiek het staken of beperken van levensverlengende therapieën, WLST) of concurrerende terminale gebeurtenissen (bijv. multiorgaanfalen) de klinisch relevante uitkomst (neurologisch herstel) permanent maskeren.

Dit creëert een dataset die is opgesplitst in twee afzonderlijke subgroepen:

1. Zekere gevallen: Patiënten wier uitkomsten direct zijn waargenomen (bijv. het herwinnen van bewustzijn of overlijden zonder voorafgaande behandelingsbeperking). Deze leveren geldige supervised labels.
2. Onzekere gevallen: Patiënten wier uitkomsten onbepaald zijn gemaakt door behandelingsbeslissingen. Voor deze patiënten is de "ware" contrafeitelijke uitkomst (wat er zou zijn gebeurd als de behandeling was voortgezet) onwaarneembaar.

De kernuitdaging is dat standaard evaluatiemetrieken (zoals AUROC) die alleen worden berekend op zekere gevallen, het gedrag van het model op onzekere gevallen niet kunnen vangen—juist de populatie voor wie prognostische ondersteuning het meest cruciaal is. Bovendien zorgen strategieën die onzekere gevallen hetzelfde label toekennen als geobserveerde slechte uitkomsten (bijv. overlijden), ervoor dat modellen patronen van artsbesluitvorming leren (wanneer WLST plaatsvindt) in plaats van het werkelijke potentieel voor herstel.

Methodologie
De auteurs stellen een raamwerk voor dat expliciet onderscheid maakt tussen zekere en onzekere gevallen tijdens zowel de training als de evaluatie, waarbij gebruik wordt gemaakt van deskundige beoordelingen om het leerproces voor onzekere gevallen te sturen.

• Data en deskundige beoordelingen: De studie maakt gebruik van een retrospectieve cohort van 2.497 patiënten na een hartstilstand (1.068 zeker, 1.429 onzeker). Voor onzekere gevallen maken de auteurs gebruik van gestructureerde contrafeitelijke beoordelingen van onafhankelijke klinische experts (3–5 per patiënt). Deze beoordelingen schatten de waarschijnlijkheid van herstel in als de levensverlengende therapieën zouden zijn voortgezet. Deze beoordelingen worden behandeld als imperfecte pseudo-labels (expert-geïnformeerde referenties) in plaats van de grondwaarheid (ground truth).
• Modelarchitectuur: Het primaire model is een single-head neuraal netwerk ontworpen om de waarschijnlijkheid van gunstig neurologisch herstel te voorspellen.
• Trainingsdoelstelling: De auteurs introduceren een doelfunctie met twee parameters om de afweging te controleren tussen het fitten van geobserveerde data en het afstemmen op de overtuigingen van experts:
  • $L_{certain}$: Gewogen binaire cross-entropy op zekere gevallen. Een gewicht $\omega_{bad} \ge 1$ wordt toegepast op geobserveerde slechte uitkomsten om de invloed van de regio met lage waarschijnlijkheid te controleren.
  • $L_{align}$: Een mean squared error term op onzekere gevallen, die het verschil meet tussen de voorspelling van het model en de geaggregeerde expert-afgeleide waarschijnlijkheid ($\tilde{p}_j$). Een hyperparameter $\lambda_{align} \ge 0$ regelt de sterkte van deze afstemming.
  • Totale Loss: $L(\theta) = L_{certain}(\theta) + \lambda_{align} L_{align}(\theta)$.
• Evaluatiekader: Het artikel stelt een split-evaluatiestrategie voor:
  • Zekere gevallen: Geëvalueerd met standaard metrieken (AUROC en Brier score) tegen geobserveerde binaire uitkomsten.
  • Onzekere gevallen: Geëvalueerd met Mean Absolute Error (MAE) tegen de geaggregeerde expert-referentiewaarschijnlijkheden.
  • Afwegingsanalyse: Modellen worden niet geselecteerd op basis van een enkele scalaire metriek, maar worden geanalyseerd langs de grens van de afweging tussen de waarschijnlijkheidsnauwkeurigheid van zekere gevallen (Brier score) en de afstemming van onzekere gevallen (MAE).

Belangrijkste bijdragen

1. Formalisering van label-onbepaaldheid: Het artikel formaliseert voorspellende modellering waarbij doel-labels kwalitatief verschillen tussen subgroepen van de populatie (geobserveerde uitkomsten versus expert contrafeitelijke schattingen).
2. Split-evaluatiekader: Het introduceert een raamwerk dat modellen evalueert op twee assen: standaard discriminatie/nauwkeurigheid op zekere gevallen en afstemming met de overtuiging van experts op onzekere gevallen. Dit brengt foutmodi aan het licht die verborgen blijven voor geaggregeerde metrieken.
3. Empirische karakterisering van afwegingen: Door experimenten met tabulaire baselines (XGBoost, Random Forest) en neurale netwerken, laten de auteurs zien dat modellen met vergelijkbare AUROC op zekere gevallen fundamenteel verschillend gedrag kunnen vertonen op onzekere gevallen.
4. Expliciete controle van de afweging: De voorgestelde twee-parameter neurale doelstelling ($\omega_{bad}$ en $\lambda_{align}$) stelt beoefenaars in staat om expliciet te navigeren door de afweging tussen het fitten van geobserveerde data en het afstemmen op de contrafeitelijke overtuigingen van experts.

Resultaten

• De verborgen kloof: Modellen met bijna identieke AUROC op zekere gevallen (bijv. 0,882 versus 0,884) vertoonden dramatische verschillen in zekere-gevallen Brier scores (0,116 versus 0,407) en onzekere-gevallen MAE (0,410 versus 0,053). Dit geeft aan dat prestaties in rangschikking (AUROC) significante miskalibratie in waarschijnlijkheidsschattingen maskeert.
• De afwegingsgrens (Tradeoff Frontier): Het verbeteren van de afstemming met expert-schattingen op onzekere gevallen (lagere onzekere-gevallen MAE) gaat over het algemeen ten koste van de waarschijnlijkheidsnauwkeurigheid op zekere gevallen (hogere Brier score).
• Plaatsing van waarschijnlijkheid: Standaard "geobserveerde-alleen" modellen kennen relatief hoge herstelwaarschijnlijkheden toe aan onzekere gevallen, die aanzienlijk overlappen met "zekere goede" gevallen. Het opnemen van expert-afstemming verschoof de voorspellingen van onzekere gevallen naar beneden, waardoor ze beter gescheiden werden van gunstige uitkomsten, maar de waarschijnlijkheidsschaal werd gecomprimeerd.
• Vergelijking met baselines: Tabulaire baselines (XGBoost) vertoonden hetzelfde afwegingspatroon als neurale netwerken, wat suggereert dat dit fenomeen wordt gedreven door de labelstructuur en niet door de specifieke modelarchitectuur.

Betekenis en Claims
Het artikel positioneert zichzelf primair als een probleemformulering en evaluatiekader in plaats van een nieuw algoritmisch bijdrage. De primaire betekenis ligt in het aantonen dat:

• Conventionele evaluatiemetrieken die zich uitsluitend richten op zekere gevallen, onvoldoende zijn in situaties met behandeling-geïnduceerde label-onbepaaldheid.
• De "foutmodus" in deze situaties vaak waarschijnlijkheidsplaatsing (miskalibratie) is op de meest kritieke subpopulatie (onzekere gevallen), wat onzichtbaar is voor AUROC.
• Er is geen enkel "beste" model; in plaats daarvan is er een expliciete ontwerpkeuze over hoeveel gewicht te geven aan geobserveerde uitkomsten versus contrafeitelijke overtuigingen van experts.
• Expert-schattingen van contrafeitelijke uitkomsten, hoewel imperfect, dienen als noodzakelijke supervisie om het gedrag van modellen op onzekere gevallen te bestuderen en te verbeteren.

De auteurs verklaren expliciet dat zij niet beweren de ware grondwaarheid van contrafeitelijke waarschijnlijkheden te hebben hersteld of label-onbepaaldheid in algemene zin op te lossen. In plaats daarvan bieden zij een methode om zorgvuldig verkregen expert-beoordelingen te gebruiken om de afweging tussen geobserveerde prestaties en contrafeitelijke afstemming expliciet en navigeerbaar te maken voor beoefenaars.