A Goodness-of-Fit Test for Mixed-Effects Logistic Regression

Titel: Een Goodness-of-Fit Test voor Gemengde Effecten Logistische Regressie

1. Het Probleem

Gemengde effecten logistische regressie (mixed-effects logistic regression) wordt veel gebruikt voor het analyseren van binaire uitkomsten in hiërarchische data (bijv. patiënten binnen artsen, metingen binnen personen). Hoewel er gevestigde methoden zijn voor het testen van modelfit bij enkelvoudige logistische regressie (zoals de Hosmer-Lemeshow test), ontbreekt er een robuuste, formele goodness-of-fit test voor gemengde effecten modellen met willekeurige hellingen (random slopes).

Bestaande methoden hebben twee belangrijke beperkingen:

1. Ze zijn beperkt tot modellen met alleen willekeurige intercepten (random intercepts) en kunnen geen rekening houden met situaties waar het effect van een covariaat varieert tussen clusters (random slopes).
2. Ze gebruiken een vaste indeling in 10 groepen (volgens Hosmer en Lemeshow). In gemengde modellen kunnen clusters echter minder dan 10 observaties bevatten. Dit leidt tot lege cellen, degeneratie van indicatorvariabelen en faalt de schatting van het model, vooral in "sparse" (schrale) cluster-ontwerpen.

2. Methodologie

De auteur introduceert een geavanceerde procedure die een groepsgebaseerde Wald-test uitbreidt naar modellen met willekeurige hellingen en een data-gedreven regel voor het bepalen van het aantal groepen.

Het Testprocedure (geïmplementeerd in het Stata-programma mlm_gof):

1. Basismodel schatten: Pas een gemengde effecten logistische regressie toe (met willekeurige intercepten en hellingen) en bereken de voorspelde kansen ($\hat{p}_{ij}$).
2. Aantal groepen selecteren (Nieuwe Regel): In plaats van vast te houden aan $G=10$, wordt een data-gedreven regel toegepast:
   $$G = \min(10, n_{min})$$
   Waarbij $n_{min}$ de kleinste clustergrootte is. Dit garandeert dat elke groep binnen elke cluster ten minste één observatie bevat, wat schattingsfouten voorkomt bij kleine clusters.
3. Groeperen: Observaties binnen elke cluster worden gesorteerd op hun voorspelde kansen en ingedeeld in $G$ ongeveer gelijke groepen.
4. Augmentatie: Er worden $G-1$ binaire indicatorvariabelen toegevoegd aan het model (waarbij groep 1 als referentie dient). Deze indicatoren worden gepoold over alle clusters.
5. Wald-test: Het uitgebreide model wordt opnieuw geschat. De gezamenlijke significantie van de toegevoegde indicatorvariabelen ($\gamma_2, ..., \gamma_G$) wordt getest met een Wald-statistiek ($W$), die asymptotisch volgt naar een $\chi^2$-verdeling met $G-1$ vrijheidsgraden.

Simulatieontwerp:
Er werden drie simulatiestudies uitgevoerd met 1.000 replicaties per scenario (totaal 44.000 replicaties) in een drie-niveau model (familie -> onderwerp -> meting).

• Deel 1 (Type I-fout): Evaluatie onder correct gespecificeerde modellen met variërende clustergroottes en intraclass correlaties (ICC).
• Deel 2 (Power): Evaluatie van de testkracht bij drie soorten modelmisspecificaties:
  • Weggelette kwadratische termen (niet-lineariteit).
  • Weggelette interacties.
  • Weggelette cluster-niveau (het fitten van een 2-niveau model in plaats van een 3-niveau model).
• Deel 3 (Gevoeligheid): Vergelijking tussen de data-gedreven regel ($G = \min(10, n_{min})$) en de vaste regel ($G=10$) in evenwichtige en onbalans ontwerpen met kleine clusters.

3. Belangrijkste Bijdragen

1. Uitbreiding naar Random Slopes: De eerste formele goodness-of-fit test die specifiek is ontworpen voor gemengde logistische modellen waarbij zowel intercepten als hellingen willekeurig variëren.
2. Data-gedreven Groepsselectie: De introductie van de regel $G = \min(10, n_{min})$. Dit lost het probleem op van schattingsfalen in schrale datasets waar clusters minder dan 10 observaties bevatten, een situatie die eerdere methoden niet aankan.
3. Implementatie: De methode is beschikbaar als een community-bijdrage in Stata (mlm_gof), wat directe toepassing mogelijk maakt na het schatten van een gemengd model.

4. Resultaten

De simulatiestudies leverden de volgende bevindingen op:

• Type I-fout: De test behoudt de nominale Type I-fout (ongeveer 0,05) over alle 24 null-scenario's, zelfs bij kleine steekproefomvang (tot $N=1.500$). Er werd geen sprake van inflatie of conservatisme gevonden.
• Power bij Misspecificaties:
  • Niet-lineariteit: De test toont een sterke toename in power bij het detecteren van weggelaten kwadratische termen (power steeg van 0,07 bij kleine effecten naar 1,00 bij grotere effecten).
  • Interacties: De test heeft een goede power (0,87) om weggelaten interacties te detecteren bij sterke effectgroottes.
  • Weggelaten Cluster-niveau: Zoals verwacht heeft de test geen power om een weggelaten cluster-niveau (bijv. het negeren van een willekeurig intercept op een hoger niveau) te detecteren. De test is gebaseerd op residu-patronen binnen clusters, en het ontbreken van een cluster-niveau veroorzaakt geen systematische patronen in de voorspelde kansen binnen die clusters.
• Gevoeligheid Groepskeuze:
  • In evenwichtige ontwerpen met kleine clusters ($n < 10$) leidde het vasthouden aan $G=10$ tot volledig falen van de test (geen geldige resultaten).
  • De data-gedreven regel ($G = \min(10, n_{min})$) leverde in alle scenario's geldige inferentie op.

5. Betekenis en Conclusie

Deze studie vult een belangrijke leemte in de diagnostische toolkit voor gemengde effecten logistische regressie.

• Praktische Toepassing: Onderzoekers kunnen nu systematisch controleren of hun model de data adequaat beschrijft, zelfs in complexe scenario's met willekeurige hellingen en kleine clusters.
• Methodologische Vooruitgang: Het gebruik van volledige maximum likelihood-schatting (in plaats van PQL/MQL) en de uitbreiding naar random slopes zorgt voor betrouwbaardere resultaten dan eerdere benaderingen.
• Beperkingen en Richting: De test is gevoelig voor misspecificatie van vaste effecten (functievorm, interacties) maar niet voor de structuur van de willekeurige effecten zelf. Onderzoekers moeten daarom de test combineren met likelihood-gebaseerde modelvergelijking of informatiecriteria om de random-effects structuur te valideren.

Kortom, mlm_gof biedt een principieel en praktisch instrument om de modeladequaatheid te beoordelen in de steeds complexer wordende wereld van hiërarchische data-analyse.