Variable selection in linear mixed model meta-regression with suspected interaction effects -- How can tree-based methods help?

Dit artikel toont aan dat stabiliteitsgebaseerde, boomgebaseerde methoden waardevolle complementaire hulpmiddelen zijn voor de detectie van interactie-effecten in meta-regressie, vooral wanneer de relaties niet-lineair zijn of de steekproefgrootte toeneemt, terwijl traditionele lineaire methoden beter presteren bij strikt lineaire interacties.

De kern

Titel: Hoe bomen en lijnen samenwerken om geheimen in medische studies te onthullen

Stel je voor dat je een enorme puzzel probeert op te lossen. Je hebt honderden losse stukjes (medische studies) die allemaal een beetje over hetzelfde onderwerp gaan, bijvoorbeeld: "Werkt dit nieuwe medicijn tegen hartfalen?" Maar er is een probleem: de stukjes passen niet perfect bij elkaar. Soms werkt het medicijn heel goed, soms helemaal niet. Waarom?

In de statistiek noemen we dit heterogeniteit. De onderzoekers in dit artikel proberen de oorzaak van deze verschillen te vinden. Ze gebruiken een methode genaamd meta-regressie. Dat is als het zoeken naar de "recept" dat de verschillen verklaart.

Maar hier komt de twist: ze vermoeden dat het niet alleen gaat om één ingrediënt (zoals de leeftijd van de patiënt), maar om interacties. Dat betekent: Hoe beïnvloedt de leeftijd het medicijn, en verandert dat effect als het medicijn in een ander land wordt getest?

Het vinden van deze interacties is als het zoeken naar een naald in een hooiberg, vooral omdat er vaak maar weinig studies beschikbaar zijn (weinig hooi, maar veel naalden).

Het Dilemma: De Lijn vs. De Boom

De auteurs van dit artikel vergelijken twee manieren om deze interacties te vinden:

1. De Lineaire Methode (De Rekenaar):
   Dit is de traditionele manier. Het gaat uit van strakke lijnen en formules. Het is als een zeer strenge rekenaar die zegt: "Als de leeftijd met 1 jaar stijgt, daalt het risico met 0,5%."

   • Voordeel: Het is duidelijk en makkelijk te begrijpen.
   • Nadeel: Als de werkelijkheid niet zo strak is (bijvoorbeeld als het effect pas optreedt boven een bepaalde leeftijd), kan deze rekenaar de waarheid missen. Hij is te star.

2. De Boom-methode (De Verkenner):
   Dit zijn de "Tree-based methods" (zoals Meta-CART). Stel je een beslisboom voor.

   • Vraag 1: Is de patiënt ouder dan 65?
     • Ja: Ga naar tak A.
     • Nee: Ga naar tak B.
   • Vraag 2 (op tak A): Is het een meerstedelijk onderzoek?
     • Ja: Hier werkt het medicijn goed.
     • Nee: Hier werkt het slecht.
   • Voordeel: Deze methode is slim en flexibel. Hij ziet patronen die een strakke lijn niet ziet.
   • Nadeel: Bomen kunnen onstabiel zijn. Als je één stukje data verandert, kan de hele boom er anders uitzien. En met weinig data (weinig studies) is de boom vaak te voorzichtig en zegt hij niets.

De Oplossing: De "Stabilisatie" (De Boomgaard)

De grote vraag in dit artikel is: Kunnen we de flexibiliteit van de boom gebruiken, zonder de onstabiele eigenschappen?

De auteurs hebben een slimme truc bedacht. In plaats van één boom te kijken, laten ze een computer 1000 bomen groeien op basis van willekeurige steekproeven van de data. Dit noemen ze een "ensemble" (een bos).

• Als een bepaalde tak (een interactie) in 900 van die 1000 bomen terugkomt, weten we: "Dit is echt belangrijk!"
• Als een tak maar in 10 bomen voorkomt, is het waarschijnlijk toeval.

Dit noemen ze Stabiliteitsselectie. Het is alsof je niet naar één getuige luistert, maar naar een hele menigte. Als 90% van de menigte hetzelfde zegt, is het waarschijnlijk de waarheid.

Wat vonden ze? (De Resultaten)

De auteurs hebben dit getest met echte data (over hartfalen) en met gesimuleerde data.

1. Als de wereld perfect lineair is:
   Als de interacties echt strakke lijnen volgen, wint de oude rekenaar (de lineaire methode) vaak. Hij is preciezer. De bomen zijn dan soms te voorzichtig, vooral als er weinig studies zijn.

2. Als de wereld een beetje gek is (niet-lineair):
   In de echte wereld zijn dingen zelden perfect lineair. Als de interacties een beetje "krom" zijn of complexer verlopen, crasht de lineaire rekenaar. Hij ziet de interactie niet meer.

   • De winnaar: De gestabiliseerde boom-methode (het bos van 1000 bomen). Deze methode is veel robuuster. Hij vindt de interacties ook als ze niet perfect lijken.

3. Het aantal studies is cruciaal:
   Met heel weinig studies (bijvoorbeeld 13) zijn de bomen erg stil. Ze durven bijna niets te zeggen. Maar zodra je een beetje meer data hebt (ongeveer 23 studies of meer), worden de bomen heel goed in het vinden van de juiste patronen.

De Praktische Tips voor Onderzoekers

De auteurs geven een paar simpele adviezen voor iedereen die meta-analyses doet:

• Gebruik bomen als "verkenner": Als je niet zeker weet of er interacties zijn, of als je denkt dat de verbanden complex zijn, gebruik dan de boom-methode (Meta-CART) om te kijken waar je moet zoeken.
• Gebruik bomen als "veiligheidsnet": Als je lineaire analyse niets vindt, maar je vermoedt dat er toch iets aan de hand is, kijk dan naar de bomen. Misschien hebben ze een patroon gevonden dat de rekenaar over het hoofd zag.
• Kijk naar het "Bos": Gebruik nooit maar één boom. Gebruik altijd een ensemble (veel bomen) om zeker te weten dat je resultaten stabiel zijn.
• Wees voorzichtig met weinig data: Als je maar heel weinig studies hebt, vertrouw dan niet blind op de bomen. Ze zijn dan te conservatief.

Conclusie

Dit artikel zegt eigenlijk: Vertrouw niet alleen op de strakke lijnen. De wereld is complex. Door slimme, gestabiliseerde "bomen" (machine learning) te combineren met de traditionele statistiek, kunnen onderzoekers beter zien waarom medicijnen soms werken en soms niet. Het is als het hebben van zowel een nauwkeurige liniaal als een scherp oog voor patronen in het landschap. Samen geven ze het beste beeld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Variable selection in linear mixed model meta-regression with suspected interaction effects - How can tree-based methods help?", geschreven in het Nederlands.

Titel: Variabele selectie in meta-regressie met lineaire gemengde modellen bij vermoedelijke interactie-effecten: Hoe kunnen op bomen gebaseerde methoden helpen?

Auteurs: Jan-Bernd Igelmann, Paula Lorenz, Markus Pauly
Publicatiedatum: 9 maart 2026 (Preprint)

---

1. Het Probleem

Meta-analyses staan vaak voor de uitdaging om heterogeniteit tussen studies te verklaren. Wanneer de bron van deze heterogeniteit onbekend is, wordt vaak een random effects model gebruikt. Als er studiekarakteristieken (covariaten) beschikbaar zijn, kan meta-regressie worden toegepast om deze heterogeniteit te modelleren.

Een specifiek en moeilijk probleem is het detecteren van interactie-effecten (IE's) tussen covariaten.

• Kleine steekproeven: Meta-analyses hebben vaak een beperkt aantal studies ($k$), terwijl het aantal mogelijke parameters (hoofd-effecten + interacties) snel oploopt. Een vuistregel is ongeveer één parameter per tien studies, wat in de praktijk vaak onhaalbaar is bij het meenemen van alle mogelijke interacties.
• Het marginaliteitsprincipe: Om de interpretatie en de hiërarchische structuur van het model te behouden, mogen interactie-effecten niet worden opgenomen zonder de bijbehorende hoofd-effecten. Dit beperkt het aantal mogelijke modellen, maar vergroot de complexiteit nog steeds aanzienlijk.
• Beperkingen van lineaire methoden: Traditionele lineaire selectiemethoden (zoals hypothesis testing of informatiecriteria) kunnen instabiel worden bij kleine steekproeven en zijn gevoelig voor overfitting. Bovendien gaan ze uit van strikt lineaire relaties; als de werkelijke interacties niet-lineair zijn, falen deze methoden.
• Black-box machine learning: Complexe machine learning-methoden zijn vaak te weinig interpreteerbaar voor meta-analyses, waar transparantie cruciaal is.

Doel van het onderzoek: Onderzoeken hoe op bomen gebaseerde methoden (zoals meta-CART en stabiliteitsselectie) kunnen dienen als een bruikbaar compromis voor variabele selectie van interactie-effecten in meta-regressie, zonder in te leveren op interpreteerbaarheid.

---

2. Methodologie

De auteurs vergelijken verschillende methoden voor variabele selectie in een meta-regressie-context met random effects.

A. Geanalyseerde Methoden

1. Lineaire Methoden (Traditioneel):

   • Univariate en Multivariate Testen: Wald-type tests (met correctie voor random effects via Knapp-Hartung) en forward selection.
   • Informatiecriteria: AICc (kleine steekproef-correctie) en BIC, geïmplementeerd via forward selection.
   • Beperking: Deze methoden veronderstellen een lineair data-genererend proces (DGP).

2. Op Bomen Gebaseerde Methoden (Meta-CART en Varianten):

   • Meta-CART: Een adaptatie van Classification and Regression Trees (CART) voor meta-analyses. Deze splitsen studies in subgroepen om de heterogeniteit ($Q$-waarde) te maximaliseren.
     • Fixed Effect (FE) vs. Random Effect (RE): De auteurs testen beide varianten. RE houdt rekening met tussen-studie variabiliteit ($\tau^2$).
   • Stabilized Trees (Ensembles): Om de instabiliteit van enkele bomen op te lossen, worden bootstrapped ensembles gebruikt (geïnspireerd door MetaForest en Stability Selection).
     • S-FEmrt en S-REmrt: Stabilized Fixed/Random Effect meta-CARTs.
     • Selectieprocedure: Variabelen worden geselecteerd op basis van hun selectiefrequentie over $B$ bomen. Een drempelwaarde $\lambda$ bepaalt of een variabele (hoofd-effect of interactie) als belangrijk wordt beschouwd. Interacties worden alleen geselecteerd als beide betrokken variabelen frequent voorkomen en de interactie zelf een hoge frequentie heeft.

B. Validatie en Simulatie

• Empirische Toepassing: Heranalyse van de meta-analyse van Kimmoun et al. (acute hartfalen, $N=204$ studies) om te zien of de eerder gevonden confounding door interacties (tijd $\times$ leeftijd) door de methoden wordt opgepikt.
• Plasmode Simulatie: Een uitgebreide simulatiestudie gebaseerd op de Kimmoun-dataset.
  • Data-genererend proces (DGP):
    1. Strikt lineair: Interacties volgen een lineair model.
    2. Niet-lineair: Interacties hebben een niet-lineaire structuur (bijv. drempelwaarden), die door bomen beter kan worden benaderd.
  • Variabelen: Aantal studies ($k = 13, 23, 41, 100$), heterogeniteit ($\tau^2$), en verschillende combinaties van hoofd-effecten en interacties.
  • Evaluatiematen: Type I-fout (valse positieven) en Type II-fout (gemiste echte effecten).

---

3. Belangrijkste Resultaten

A. Prestatie bij Strikt Lineaire Interacties

• Lineaire methoden: Presteren over het algemeen het beste bij strikt lineaire data. Ze hebben de laagste Type II-fouten (ze vinden de meeste echte effecten), vooral bij voldoende steekproefgrootte.
• Bomen bij kleine $k$: Bomen-gebaseerde methoden (zowel single als stabilized) zijn conservatief bij kleine aantallen studies ($k < 23$). Ze missen veel echte interacties (hoge Type II-fout) maar maken zelden valse ontdekkingen (lage Type I-fout).
• Bomen bij grote $k$: Naarmate $k$ toeneemt, worden de stabilized random effect bomen (S-REmrt) concurrerend met lineaire methoden, vooral voor metrische interacties. Ze behouden een lage Type I-fout.

B. Prestatie bij Niet-Lineaire Interacties

• Voordeel van bomen: Wanneer de interacties afwijken van strikte lineariteit (zelfs in simpele vormen), deterioreren de lineaire methoden sterk (hoge Type II-fout).
• Robuustheid: De stabilized random effect bomen (S-REmrt) bieden hier een robuust alternatief en detecteren effecten die lineaire methoden missen, zonder de Type I-fout significant te verhogen.

C. Invloed van Heterogeniteit ($\tau^2$)

• Random effect modellen (zowel lineair als meta-CART) presteren beter bij hoge heterogeniteit dan fixed effect modellen.
• De S-REmrt methode is specifiek ontworpen om met heterogeniteit om te gaan en presteert hierin beter dan de fixed effect variant (S-FEmrt), die bij hoge $\tau^2$ en grote $k$ een te hoge Type I-fout kan vertonen.

D. Empirische Heranalyse (Kimmoun et al.)

• Alle methoden selecteerden de variabele Leeftijd als belangrijkste predictor.
• De interactie Tijd $\times$ Leeftijd (die in de oorspronkelijke studie als confounding werd geïdentificeerd) werd voornamelijk gevonden door de S-FEmrt en de test-gebaseerde methoden.
• De S-REmrt selecteerde minder interacties dan de S-FEmrt, maar toonde een duidelijker patroon in de selectiefrequenties (selectiematrix), wat helpt bij het visualiseren van structurele patronen in de data.

---

4. Bijdragen en Significatie

1. Complementair Hulpmiddel: De studie positioneert stabilized random effect bomen (S-REmrt) niet als vervanging, maar als een waardevol complementair instrument voor lineaire meta-regressie. Ze zijn ideaal voor:

   • Pre-selectie: Het filteren van veelbelovende interacties voordat een complex lineair model wordt gefit.
   • Sensitiviteitsanalyse: Controleren of resultaten robuust zijn tegenover niet-lineariteit.
   • Exploratie: Het visualiseren van interactiepatronen via de selectiematrix $A$.

2. Omgaan met Niet-lineariteit: De studie demonstreert dat tree-based methods essentieel zijn wanneer de onderliggende data niet strikt lineair is, een situatie die in de praktijk vaak voorkomt maar door traditionele meta-analisten vaak wordt genegeerd.

3. Praktische Richtlijnen:

   • Gebruik S-REmrt (stabilized random effect trees) in plaats van single trees of fixed effect trees.
   • Voor de drempelwaarde $\lambda$ (selectiefrequentie) wordt een waarde tussen 0.3 en 0.7 aanbevolen (standaard 0.5). Lagere waarden zijn nuttig bij kleine steekproeven om de conservatieve aard van bomen te compenseren.
   • Bij zeer kleine aantallen studies ($k < 20$) moeten bomen-methoden met voorzichtigheid worden gebruikt vanwege hun conservatisme.

4. Interpreteerbaarheid: Door de selectie van variabelen uit bomen te vertalen naar een lineair model (respecterend het marginaliteitsprincipe), behoudt men de interpretatie van coëfficiënten terwijl men profiteert van de kracht van machine learning om interacties te vinden.

Conclusie

De auteurs concluderen dat hoewel lineaire methoden superieur zijn bij strikt lineaire data, stabilized random effect tree ensembles een robuust en interpreteerbaar alternatief bieden, vooral bij niet-lineaire interacties en als exploratief hulpmiddel. Ze vormen een brug tussen de strengheid van traditionele statistiek en de flexibiliteit van moderne machine learning, specifiek ontworpen voor de beperkingen van meta-analyses.