On the choice of using raw or demographically-corrected scores

Technische Samenvatting: Over de keuze voor het gebruik van ruwe of demografisch gecorrigeerde scores

Probleemstelling
Demografische correcties (bijv. aanpassing voor leeftijd en opleiding) zijn een standaardpraktijk in de neuropsychologie en de gezondheidswetenschappen, met name voor cognitieve screeningsinstrumenten zoals de Mini-Mental State Examination (MMSE). Deze correcties beogen scores te normaliseren tegenover referentienormen om eerlijkheid te waarborgen en overdiagnose bij kwetsbare demografische groepen te voorkomen. Empirisch bewijs en sommige theoretische argumenten suggereren echter dat dergelijke correcties de classificatienauwkeurigheid (sensitiviteit en specificiteit) kunnen verminderen in vergelijking met het gebruik van ruwe scores. Het debat centreert zich rond de vraag of het potentiële verlies aan nauwkeurigheid gerechtvaardigd is door de winst in eerlijkheid of demografische ongevoeligheid. De bestaande literatuur steunt vaak op restrictieve parametrische aannames, specifieke simulatiemodellen of empirische observaties die een algemeen theoretisch kader missen om te verklaren wanneer en waarom ruwe scores de voorkeur kunnen genieten boven gecorrigeerde scores.

Methodologie
De auteurs ontwikkelen een algemeen, niet-parametrisch kader om de classificatienauwkeurigheid van ruwe scores ($X$) te vergelijken met demografisch gecorrigeerde scores ($Z$).

• Formalisme: De studie definieert demografische correctie als een transformatie $Z = g_V(X)$ gebaseerd op de conditionele verdeling van ruwe scores in de niet-gecompromitteerde populatie ($D=0$). Ze maken onderscheid tussen verschillende soorten correcties, met een focus op Type I-correcties (bijv. z-score standaardisatie) die steunen op de verdeling van $X$ gegeven $V$ en $D=0$.
• Aannames: De analyse steunt op drie kernaannames:
  1. Goed ontworpen test: De likelihood ratio van de ruwe score is dalend (wat impliceert dat de covariaat-specifieke ROC-curves concaaf zijn).
  2. Goed ontworpen correctie: De gecorrigeerde score $Z$ is conditioneel onafhankelijk van demografie $V$ gegeven de niet-gecompromitteerde status ($Z \perp \perp V | D=0$).
  3. Probabilistische comonotoniciteit: De associatie tussen demografie en de ruwe score in de niet-gecompromitteerde groep beweegt in dezelfde richting als de associatie tussen demografie en de ziektestatus ($D$) conditioneel op een specifieke drempelwaarde van de ruwe score.
• Causale Interpretatie: De auteurs gebruiken een causaal DAG-framework (Directed Acyclic Graph) om deze aannames te interpreteren. Ze modelleren demografie ($V$) als een factor met directe effecten op zowel de testscore ($X$) als de ziektestatus ($D$). Ze analyseren hoe conditionering op $X$ een "collider"-pad creëert dat de geobserveerde associatie tussen $V$ en $D$ kan veranderen.
• Fairness Analyse: Het artikel formaliseert het concept van "demografische ongevoeligheid" (zowel sterk als zwak) met behulp van contrafactische redeneringen. Ze definiëren een score als ongegevoelig als de prestaties van de beslisregel (True/False Positive Rates) invariant blijven onder hypothetische interventies op de gevoelige attributen (bijv. het veranderen van de sensitiviteit van de test voor opleiding of sensorische vermogens).
• Empirische Toepassing: De theoretische resultaten worden toegepast op de OASIS-3 dataset (1.317 deelnemers) met behulp van MMSE-scores. De auteurs schatten de superioriteitsconditie ($\tau(t)$) met niet-parametrische methoden en parametrische hiërarchische modellen om de geldigheid van Aanname 3 te testen. Ze testen ook op demografische ongevoeligheid voor zowel ruwe als leeftijd-gecorrigeerde scores.

Belangrijkste Bijdragen

1. Voldoende Voorwaarden voor de Superioriteit van Ruwe Scores: Het artikel biedt formele, voldoende voorwaarden (Stelling 1) waaronder ruwe scores een hogere marginale classificatienauwkeurigheid opleveren (hogere TPR voor een vaste FPR) dan demografisch gecorrigeerde scores. Dit houdt stand zonder te vertrouwen op restrictieve parametrische modellen of vage begrippen van "sterke" associaties.
2. Causale Interpretatie van Correctie-nadeel: De auteurs verduidelijken dat correcties nadelig worden wanneer demografische variabelen sterke voorspellers zijn van de conditie van belang (bijv. leeftijd is een sterke risicofactor voor dementie) en de correctie de variatie in de ruwe score verwijdert die causaal verbonden is met het ziekterisico.
3. Formalisering van Fairness: Het artikel maakt onderscheid tussen "gelijk maken van foutenpercentages" (wat correcties vaak bereiken voor False Positive Rates) en "demografische ongevoeligheid" (waarbij beslisregels invariant zijn voor demografische interventies). Ze tonen aan dat standaard correcties geen demografische ongevoeligheid garanderen, met name met betrekking tot True Positive Rates.
4. Empirische Validatie: Met behruik van de OASIS-3 data levert de studie bewijs dat de theoretische claim ondersteunt dat ruwe MMSE-scores een superieure classificatienauwkeurigheid hebben ten opzichte van leeftijd-gecorrigeerde scores, en toont aan dat leeftijd-gecorrigeerde scores niet demografisch ongegevoelig zijn onder cognitief beperkte individuen.

Resultaten

• Theoretisch: Onder de aanname dat de test goed ontworpen is en de correctie onafhankelijkheid van de score van demografie bereikt in de niet-gecompromitteerde groep, presteren ruwe scores beter als het effect van de demografische variabele op de ruwe score (in de gezonde populatie) en het effect van de demografie op het ziekterisico (gegeven de score) comonotoon zijn.
• OASIS-3 Toepassing:
  • Nauwkeurigheid: Niet-parametrische schattingen van de superioriteitsgrens $\tau(t)$ waren positief voor de meeste drempelwaarden, hoewel de betrouwbaarheidsintervallen breed waren. Echter, parametrische analyse (uitgaande van een hiërarchisch lineair model) verwierp krachtig de nulhypothese van niet-superioriteit ($p < 0,05$), wat statistisch bewijs levert dat ruwe MMSE-scores over alle FPRs heen een betere classificatienauwkeurigheid hebben dan leeftijd-gecorrigeerde scores.
  • Ongevoeligheid: De studie verwierp de hypothese dat ruwe MMSE-scores leeftijd-ongegevoelig zijn. Cruciaal was dat het ook vaststelde dat zelfs leeftijd-gecorrigeerde scores (z-scores) niet demografisch ongegevoelig waren onder individuen met cognitieve beperking ($D=1$), waardoor ze de gewenste fairness-eigenschap voor de doelpopulatie niet haalden.

Betekenis en Claims
De auteurs claimen helderheid te brengen in het debat over demografische correcties door vast te stellen dat ruwe scores theoretisch en empirisch superieur kunnen zijn in classificatienauwkeurigheid zonder te vertrouwen op restrictieve datagenereerde modellen. Ze stellen dat de intuïtie dat "correcties eerlijk zijn" gebrekkig is, omdat standaard correcties geen demografische ongevoeligheid garanderen in het besluitvormingsproces, met name voor degenen met de aandoening.

Het artikel concludeert dat hoewel demografische correcties de False Positive Rates tussen groepen gelijk kunnen maken, ze nadelig kunnen zijn voor de algehele diagnostische bruikbaarheid van screeningsinstrumenten wanneer demografie sterke risicofactoren zijn voor de conditie. De auteurs benadrukken dat hun bevindingen breed toepasbaar zijn in de gezondheidswetenschappen waar demografische correcties worden gebruikt (bijv. nierfunctie, longfunctie, neurologische diagnoses), wat suggereert dat de afweging tussen nauwkeurigheid en waargenomen eerlijkheid een zorgvuldige, contextspecifieke evaluatie vereist in plaats van een routinematige toepassing van correcties.