When Bayes goes bad: Weakly-regularized covariate adjustment leads to a biased estimate of prevalence

Wanneer Bayes' theorie op hol slaat: Een verhaal over een verkeerde weegschaal en een verdwijnende ziekte

Stel je voor dat je een enorme, onzichtbare ziekte (het coronavirus) probeert te meten in een hele stad. Je hebt geen lijst met iedereen die ziek is, dus je doet een steekproef: je vraagt 4.800 mensen om een bloedtest. Maar er is een probleem: deze mensen zijn niet willekeurig gekozen (misschien zijn het vooral gezonde bloeddonoren) en de test zelf is niet 100% perfect.

Om de echte hoeveelheid ziekte in de stad te weten, gebruiken de onderzoekers een slimme rekenmethode (een "Bayesiaans model"). Ze proberen de verschillen tussen hun steekproef en de echte bevolking te corrigeren, en ze proberen ook de fouten in de test zelf mee te nemen.

Maar toen ze dit deden, gebeurde er iets raars: hoe meer details ze aan hun rekenmodel toevoegden, hoe kleiner de geschatte hoeveelheid ziekte werd. Het leek alsof de ziekte verdween naarmate ze meer informatie toevoegden. Alsof je een taart snijdt in steeds kleinere stukjes en plotseling denkt dat er helemaal geen taart meer is.

De auteurs van dit paper (Swen Kuh en collega's) wilden weten: Is de ziekte echt verdwenen, of is er iets mis met onze rekenmachine?

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen.

1. De Drie Verdachten

De onderzoekers dachten dat er drie mogelijke boosdoeners waren die dit rare gedrag veroorzaakten:

• De "Zeldzame Gebeurtenis"-valstrik: Soms zijn er zo weinig zieke mensen in een steekproef dat de wiskunde het even niet meer snapt en de cijfers verlaagt.
• De "Onzekere Test": De test is niet perfect. Misschien zegt hij "gezond" terwijl iemand toch ziek is (of andersom). Als je dit meerekent, kan het de uitkomst veranderen.
• De "Te Complexe Machine": Door te veel variabelen (leeftijd, postcode, geslacht, inkomen) toe te voegen, wordt het model zo complex dat het zichzelf in de war stuurt.

2. Het Onderzoek: Een Simulatie-Speurtocht

Om de waarheid te vinden, bouwden ze een virtuele wereld in de computer. Ze maakten een fake bevolking van 500.000 mensen met een bekende hoeveelheid ziekte. Vervolgens lieten ze hun rekenmodel hierop los, net als in het echte leven.

Hier is wat ze ontdekte, stap voor stap:

Stap 1: De "Zeldzame Gebeurtenis" was niet de schuldige

Ze zagen dat de "zeldzame gebeurtenis"-problemen (te weinig zieke mensen) weliswaar de intercept (het startpunt van de berekening) een beetje verdraaiden, maar dat het eindresultaat (het totaal aantal zieken) vrij stabiel bleef.

• Vergelijking: Het was alsof je een kompas hebt dat een beetje scheef staat, maar je weet nog steeds precies hoe ver je moet lopen. Dit was dus niet de oorzaak van het verdwijnen van de ziekte.

Stap 2: De "Onzekere Test" (Specifiteit)

Hier werd het interessant. De test heeft een eigenschap genaamd specificiteit: de kans dat de test zegt "gezond" als iemand ook echt gezond is.
In het echte leven was deze test 99,6% betrouwbaar. Maar in hun simulatie zagen ze iets vreemds:

• Als je de specificiteit als een vast getal invulde, bleef het resultaat stabiel.
• Maar zodra ze de computer lieten rekenen met de onzekerheid van die specificiteit (dus: "We weten niet 100% zeker dat de test 99,6% goed is, laten we dat ook schatten"), begon het resultaat te dalen naarmate het model complexer werd.

Stap 3: De "Feedback-Lus" (De echte boosdoener)

Dit is het hart van het verhaal. De onderzoekers ontdekten een geheime feedback-lus in de rekenmachine.

Stel je voor dat je een weegschaal hebt die niet alleen het gewicht van de appels meet, maar ook probeert te raden hoe goed de weegschaal zelf werkt.

1. Je voegt meer variabelen toe (meer "gewichten" op de schaal).
2. Door de complexiteit van het model, verandert de "verwachting" van de computer over hoe de wereld eruitziet (de prior). De computer begint te denken dat extreme waarden (zoals 0% of 100% ziekte) minder waarschijnlijk zijn.
3. Omdat de computer denkt dat extreme waarden onwaarschijnlijk zijn, past hij zijn inschatting van de testkwaliteit aan. Hij denkt: "Als de ziekte zo zeldzaam is, en de test zegt toch dat er mensen ziek zijn, dan moet de test wel vaker fout zijn (vaker vals-positief)."
4. Als de computer denkt dat de test vaker fout is (lagere specificiteit), dan concludeert hij: "Ah, die positieve tests zijn waarschijnlijk maar foutjes!"
5. Het resultaat: Hij haalt de geschatte hoeveelheid echte ziekte omlaag.

• De Metafoor: Het is alsof je een detective bent die een moord probeert op te lossen.
  • Je hebt een getuige (de test).
  • Je voegt meer details toe aan je dossier (meer variabelen).
  • Door al die details te combineren, begin je onbewust te twijfelen aan de betrouwbaarheid van de getuige. Je denkt: "Deze getuige is waarschijnlijk aan het liegen."
  • Omdat je denkt dat de getuige liegt, concludeer je dat er helemaal geen moord is geweest.
  • Hoe meer details je toevoegt, hoe meer je de getuige wantrouwt, en hoe meer je de moord "laat verdwijnen".

3. De Conclusie: Waarom gaat dit mis?

Het probleem is niet dat de data slecht is, en niet dat de ziekte echt verdwijnt. Het probleem is dat het model te sterk "regulariseert" (te veel probeert te middelen) wanneer het complex wordt.

De computer gebruikt een "standaardverwachting" (een prior) die zegt: "De wereld is meestal niet extreem." Als het model complex wordt, wordt deze standaardverwachting sterker. Dit duwt de schatting van de testkwaliteit naar beneden, wat op zijn beurt de schatting van de ziekte naar beneden duwt. Het is een zichzelf versterkende cirkel van twijfel.

4. Wat moeten we hieruit leren?

De auteurs geven drie belangrijke adviezen voor iedereen die met dit soort complexe modellen werkt:

1. Kijk niet alleen naar het eindresultaat: Als je ziet dat je schattingen dalen naarmate je meer variabelen toevoegt, wees dan alert. Het is misschien geen verbetering, maar een rekenfout.
2. Check je "getuigen": Als je een testkwaliteit (zoals specificiteit) schat in plaats van vast te houden, zorg dan dat je genoeg data hebt om die schatting te ondersteunen. Anders gaat het model in de war.
3. Simuleer eerst: Voordat je je model op echte, dure data loslaat, test het eerst op een virtuele wereld waar je de uitkomst al kent. Als je model daar ook "raar" doet, weet je dat je machine kapot is, niet de wereld.

Kortom: Soms is een slimmere rekenmachine niet beter, maar juist slimmer in het vinden van fouten die er niet zijn. In dit geval "dacht" de computer dat de test slechter was dan hij was, en daardoor "verdwijnde" de ziekte. De oplossing is om de rekenmachine te leren dat hij niet te snel moet twijfelen aan de kwaliteit van de test als hij meer details toevoegt.