📊 statistics

SEMMS with Random Effects: A Mixed-Model Extension for Variable Selection in Clustered and Longitudinal Data

Dit artikel introduceert een uitgebreide SEMMS-methode met willekeurige effecten die variabele selectie in gegroepeerde en longitudinale data verbetert door de correlatie binnen onderwerpen te modelleren, waardoor de prestaties aanzienlijk stijgen ten opzichte van de originele methode wanneer de variantie van de willekeurige effecten dominant is.

Oorspronkelijke auteurs: Haim Bar, Martin T. Wells

Gepubliceerd 2026-03-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haim Bar, Martin T. Wells

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧩 De Kern: Het probleem van de "Verkeerde Groep"

Stel je voor dat je een detective bent die probeert te ontdekken welke van de 100 verdachten (variabelen) echt een misdaad (een verandering in je data) hebben gepleegd.

In de oorspronkelijke versie van SEMMS (de oude methode) ging de detective ervan uit dat elke verdachte een eindividueel persoon is die niets met elkaar te maken heeft. Ze keek naar iedereen alsof ze op een eilandje zaten.

Maar in het echte leven is dat niet zo.
Stel je voor dat je data afkomstig is van 18 patiënten die elke dag een week lang worden gemeten.

Patiënt A is gewoon erg traag (een "trage" baseline).
Patiënt B is super snel (een "snelle" baseline).
Als je kijkt naar de metingen van Patiënt A, lijken ze allemaal op elkaar omdat ze van dezelfde persoon komen. Ze zijn gecorrreleerd.

Als je de oude methode gebruikt, denkt de detective: "Wow, deze 10 metingen van Patiënt A lijken allemaal op elkaar! Dit moet een sterk bewijs zijn dat een bepaalde variabele de oorzaak is!"
Fout! Het is geen bewijs van een variabele; het is gewoon de "stempel" van die ene patiënt. De oude methode wordt hierdoor verward en kiest vaak de verkeerde verdachten (de "ruis") in plaats van de echte daders.

🚀 De Oplossing: SEMMS met "Willekeurige Effecten"

De auteurs (Bar en Wells) hebben een upgrade ontwikkeld: SEMMS met willekeurige effecten.

Hun idee is simpel maar slim: Scheid eerst de mensen, zoek dan de daders.

De "Persoonlijke Stempel" verwijderen:
Voordat de detective begint met zoeken, kijkt ze eerst naar elke patiënt apart. Ze zegt: "Oké, Patiënt A is nu eenmaal 30% trager dan gemiddeld. Patiënt B is 20% sneller."
Ze trekt deze persoonlijke "stempel" (de willekeurige intercepten en hellingen) uit de data. Dit noemen ze het BLUP (Best Linear Unbiased Predictor).
De Schone Data:
Nu houden ze alleen de "zuivere" data over. De variatie tussen de mensen is weg. Wat overblijft is alleen de echte variatie binnen de mensen.
Het Zoeken:
Nu laat ze de oude SEMMS-detective aan het werk op deze schone data. Omdat de "persoonlijke stempel" weg is, ziet de detective nu pas echt welke variabele echt iets verandert.

🔄 Hoe werkt het? (De Dans van de Detectives)

Het algoritme is als een dans tussen twee detectives die om de beurt werken:

Detective 1 (De Variabele-Zoeker): Kijkt naar de data en zegt: "Deze 5 variabelen lijken belangrijk."
Detective 2 (De Groep-Zoeker): Kijkt naar die 5 variabelen en zegt: "Oké, maar laten we eerst de persoonlijke verschillen van de patiënten weg halen, zodat we zeker weten dat het niet aan hen ligt."
Terug naar Detective 1: "Ah, nu de persoonlijke verschillen weg zijn, zie ik dat die 5 variabelen nog steeds belangrijk zijn, maar deze ene 'valse' variabele is nu verdwenen."

Ze doen dit steeds opnieuw (een wisselend algoritme) tot ze het perfecte antwoord hebben gevonden.

📊 Wat zeggen de resultaten? (De Test)

De auteurs hebben dit getest in drie verschillende scenario's, alsof ze een video-game spelen met verschillende moeilijkheidsgraden:

Gemiddelde moeilijkheid (Sterk signaal):
Als het bewijs heel sterk is, werkt de oude methode al redelijk goed. Maar de nieuwe methode is nog beter: ze vinden 100% van de echte daders en maken geen enkele fout. De oude methode maakt hier en daar een kleine fout.
Zware moeilijkheid (Zwak signaal, sterke "persoonlijke stempel"):
Dit is waar de oude methode faalt. Als de persoonlijke verschillen tussen patiënten heel groot zijn en het echte bewijs zwak, denkt de oude methode dat de "persoonlijke stempel" het bewijs is. Ze kiest dan de verkeerde variabelen.
- Resultaat: De oude methode slaagt slechts in 1% van de gevallen.
- Nieuwe methode: Haalt 93% van de echte daders te pakken! Ze is de enige die de "ruis" van de mensen kan filteren.
Telt het aantal mensen (Kleine steekproef, veel variabelen):
Zelfs als je weinig mensen hebt maar heel veel mogelijke variabelen, werkt de nieuwe methode beter. Ze kan de persoonlijke verschillen toch goed schatten en de echte signalen vinden.

🌰 Een Reëel Voorbeeld: Slaaptekort

Ze hebben dit getest op een bekend dataset over slaaptekort (waarbij mensen minder slapen en hun reactietijd wordt gemeten).

Ze hebben er 50 nep-variabelen aan toegevoegd om te testen of de methode niet in de war raakt.
Oude methode: Vond de 2 echte variabelen, maar koos er ook 1 nep-variabele bij.
Nieuwe methode: Vond de 2 echte variabelen en geen enkele nep-variabele. Perfect!

🌍 Voor niet-getallen (Poisson en Binomiale data)

De methode werkt ook voor data die niet "normaal" zijn (zoals het aantal keren dat iemand niest, of ja/nee antwoorden).

Voor deze data gebruiken ze een slimme truc: ze veranderen de data even tijdelijk in een vorm die de computer beter begrijpt (een "werkende respons"), doen het zoeken, en zetten het daarna weer terug.
Ook hier werkt de nieuwe methode veel beter dan de oude, vooral als de persoonlijke verschillen groot zijn.

💡 Conclusie in één zin

Deze nieuwe methode is als een slimme bril die eerst de "bril van de persoon" (hun persoonlijke karakter) verwijdert voordat ze naar de "bril van de variabele" (de echte oorzaak) kijkt. Hierdoor ziet ze de waarheid veel scherper, vooral in complexe situaties waar mensen met elkaar verbonden zijn.

Titel en Context

Titel: SEMMS met Random Effects: Een Mixed-Model Extensie voor Variabele Selectie in Geclassificeerde en Longitudinale Data.
Auteurs: Haim Bar en Martin T. Wells.
Doel: Het uitbreiden van de bestaande SEMMS-methode (Scalable Empirical-Bayes Model for Marker Selection) om te kunnen omgaan met data waarbij observaties binnen dezelfde subjecten of clusters gecorreleerd zijn (bijv. longitudinale studies, herhaalde metingen), zonder de prestaties van de variabele selectie te verstoren.

1. Het Probleem

De oorspronkelijke SEMMS-methode is een krachtige procedure voor variabele selectie in generaliseerde lineaire modellen (GLM) die gebruikmaakt van een drie-componenten normale mix-prior op regressiecoëfficiënten. De methode gaat echter uit van onafhankelijke observaties.

In de praktijk ontstaan veel datasets uit:

Longitudinale studies: Meerdere metingen per patiënt over de tijd.
Geclassificeerde data: Patiënten binnen ziekenhuizen, studenten binnen scholen.
Herhaalde metingen: Meerdere behandelingen per proefpersoon.

In deze scenario's zijn observaties binnen hetzelfde subject gecorreleerd (door een subject-specifiek intercept of een helling over de tijd). Als deze correlatie wordt genegeerd (zoals bij de standaard SEMMS):

Wordt de schijnbare residu-variatie opgeblazen.
Wordt het detecteren van echte signalen moeilijker.
Neemt de kans op het selecteren van ruisvariabelen (false positives) toe, omdat de methode subject-specifieke variatie verward met vaste effecten.

2. Methodologie

De auteurs introduceren Mixed SEMMS, een extensie die willekeurige effecten (random effects) integreert via een alternerend coördinaat-ascent-algoritme.

Het Uitgebreide Model

Het model combineert vaste effecten (de te selecteren variabelen) met willekeurige effecten:
$Y_{ij} = x_{ij}^\top\beta + z_{ij}^\top\alpha + b_{0i} + b_{1i}t_j + \varepsilon_{ij}$
Waarbij:

$\beta$ : Vaste effecten (covariaten die altijd behouden blijven).
$\alpha$ : Coëfficiënten van de kandidaat-predictoren (via de SEMMS mix-prior geselecteerd).
$b_{0i}, b_{1i}$ : Subject-specifieke willekeurige intercepts en hellingen (random slopes).
$\varepsilon_{ij}$ : Residuen.

Het Alternerend Algoritme

In plaats van alles tegelijk te schatten, wordt het probleem opgesplitst in twee stappen die afwisselend worden uitgevoerd:

Stap 1: Variabele selectie voor vaste effecten (Fixed Effects)
- De huidige schattingen van de willekeurige effecten ( $\hat{u}$ ) worden gebruikt om de respons te "zuiveren": $Y^* = Y - \hat{u}$ .
- Op deze aangepaste respons $Y^*$ wordt de standaard SEMMS-algoritme (GAM) toegepast om de actieve set van predictoren ( $\hat{S}$ ) te selecteren. Omdat de subject-specifieke variatie is verwijderd, voldoet $Y^*$ aan de onafhankelijkheidsaannames van de originele SEMMS.
- Computatie-efficiëntie: De Woodbury-identiteit wordt gebruikt om de inverse van de covariantiematrix efficiënt te berekenen ( $O(NL^2)$ in plaats van $O(N^3)$ ).
Stap 2: Update van willekeurige effecten (Random Effects)
- Met de nu vastgestelde set vaste effecten ( $\hat{S}$ ) worden de parameters van de willekeurige effecten (variatiecomponenten) geschat via lmer (voor Gaussische data) of glmer (voor niet-Gaussische data) met Maximum Likelihood (ML).
- De nieuwe BLUPs (Best Linear Unbiased Predictors) worden berekend en gebruikt in de volgende iteratie van Stap 1.

Warm-starting: Het algoritme start met een 'null' model om subject-specifieke variatie direct te vangen, wat voorkomt dat SEMMS in de eerste iteratie ruis selecteert als vaste effecten.

Extensie naar Niet-Gaussische Data

Voor Poisson- en Binomiale data wordt een Iteratively Reweighted Least Squares (IRLS) aanpak gebruikt, gebaseerd op Penalized Quasi-Likelihood (PQL):

Er wordt gewerkt met een "werkende respons" ( $W^*$ ) op de link-schaal.
De willekeurige effecten worden afgetrokken van deze werkende respons voordat de vaste effecten worden geschat.
Dit maakt het mogelijk om Mixed SEMMS toe te passen op teltellingen (Poisson) en binair data (Binomiale).

3. Belangrijkste Resultaten

De auteurs evalueren de methode via drie Gaussische simulatiestudies en drie simulaties voor niet-Gaussische data (Poisson en Binomiale), vergeleken met:

Standaard SEMMS (negeert random effects).
Standaard Lasso (negeert random effects).
glmmLasso (een bestaande mixed-model lasso).

Gaussische Simulaties

Scenario 1 (Sterk signaal, matige random effects): Zowel standaard als Mixed SEMMS presteren uitstekend (94-100% exacte herstelkans).
Scenario 2 (Zwak signaal, dominante random effects): Dit is het kritieke scenario.
- Standaard SEMMS faalt volledig (1% exact herstel) omdat het subject-correlatie verward met signaal.
- glmmLasso faalt ook (1% herstel) omdat de BIC-strategie de vaste effecten te zwaar straft.
- Mixed SEMMS herstelt de ware predictoren in 93% van de gevallen met bijna geen false positives.
Scenario 3 (Hoge dimensionaliteit, $K > N$ ): Mixed SEMMS presteert superieur (91% exact herstel) ten opzichte van standaard SEMMS (80%) en Lasso (0% exact herstel door veel false positives).

Niet-Gaussische Simulaties (Poisson & Binomiale)

Poisson: Mixed SEMMS bereikt 61% exact herstel tegenover 45% voor standaard SEMMS. Lasso en glmmLasso genereren enorme hoeveelheden false positives.
Binomiale (Zwak signaal, dominante random intercept): Mixed SEMMS bereikt 65% exact herstel, terwijl standaard SEMMS slechts 39% haalt. De verbetering is cruciaal omdat de effectieve steekproefgrootte voor standaard methoden drastisch daalt door de intra-cluster correlatie.

Real-Data Voorbeeld (Sleepstudy)

Op een aangepaste versie van de bekende sleepstudy dataset (met toegevoegde synthetische predictoren) bleek Mixed SEMMS de enige methode die beide ware predictoren selecteerde zonder enige valse positieven. Standaard SEMMS en Lasso selecteerden extra, spurious variabelen.

4. Bijdragen en Significance

Robuustheid bij Gecorreleerde Data: De paper lost een fundamenteel probleem op waarbij variabele selectie mislukt in longitudinale of clusterdata door het negeren van random effects. De nieuwe methode "zuivert" de data van subject-specifieke variatie voordat selectie plaatsvindt.
Superieure Prestaties: In scenario's waar random effects domineren (een veelvoorkomend probleem in biomedische en gedragswetenschappelijke data), presteert Mixed SEMMS aanzienlijk beter dan bestaande methoden (standaard SEMMS, Lasso, glmmLasso).
Computatie-efficiëntie: Door gebruik te maken van de Woodbury-identiteit en het alternerend algoritme, blijft de methode schaalbaar voor grote datasets, zelfs met veel predictoren ( $K \gg N$ ).
Generaliseerbaarheid: De extensie naar Poisson- en Binomiale families via IRLS maakt de methode breed toepasbaar in diverse domeinen (van genomics tot epidemiologie).
Implementatie: De methode is beschikbaar als een update van het R-pakket SEMMS (versie 0.4.0), naadloos integrerend met lme4 voor de random-effect schattingen.

Conclusie:
Mixed SEMMS biedt een robuust, schaalbaar en accuraat kader voor variabele selectie in complexe, geclassificeerde datasets. Het voorkomt dat subject-specifieke variatie leidt tot valse ontdekkingen en herstelt het vermogen om zwakke, maar echte signalen te detecteren, zelfs wanneer de random-effect variatie de totale variatie domineert.