📊 statistics

The effect of collinearity and sample size on linear regression results: a simulation study

Deze simulatiestudie toont aan dat hoewel collineariteit bij een correcte modelspecificatie primair de precisie vermindert zonder bias te veroorzaken, het onder misspecificatie de bias aanzienlijk versterkt en de inferentie verslechtert, wat pleit tegen de mechanische toepassing van vaste VIF-drempelwaarden zonder rekening te houden met steekproefomvang en potentiële bias door weggelaten variabelen.

Oorspronkelijke auteurs: Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Wanneer is "Te Veel Gelijkenis" een Probleem?

Stel je voor dat je probeert uit te zoeken hoeveel een specif kind ingrediënt (laten we zeggen, zout) invloed heeft op de smaak van een soep. Je hebt een recept met veel ingrediënten: zout, peper, knoflook, uien en wortels.

In de statistiek wordt dit lineaire regressie genoemd. Je wilt het ware effect van het zout weten.

Soms zijn ingrediënten echter erg veel aan elkaar verwant. Als je bijvoorbeeld altijd zout en peper in een vaste verhouding toevoegt (telkens wanneer je een snufje zout toevoegt, voeg je ook een snufje peper toe), wordt het moeilijk te bepalen welk ingrediënt de soep nu echt zout maakt. In de statistiek wordt dit collineariteit genoemd.

Om deze "gelijkenis" te meten, gebruiken onderzoekers een score genaamd de VIF (Variance Inflation Factor).

VIF = 1: De ingrediënten zijn volkomen uniek (geen gelijkenis).
VIF = 10 of hoger: De ingrediënten zijn zeer gelijkaardig (hoge collineariteit).

De Oude Regel: Al lange tijd volgen wetenschappers een rigide vuistregel: "Als de VIF boven de 4 of 10 ligt, gooi dan onmiddellijk een van die ingrediënten uit het recept." Ze doen dit ongeacht hoe groot hun kookpot is.

De Nieuwe Studie: Dit artikel vraagt zich af: Maakt die regel eigenlijk wel zin? Maakt het uit of we een klein kopje soep maken of een enorme industriële ketel?

Het Experiment: Koken met Verschillende Potmaten

De onderzoekers voerden een enorme computersimulatie uit (een "digitale keuken") om dit te testen. Ze kookten duizenden batches soep met twee hoofdvariabelen:

De Potmaat (Steekproefomvang): Variërend van een klein kopje (100 porties) tot een enorme industriële ketel (100.000 porties).
De Gelijkenis (Collineariteit): Variërend van volkomen unieke ingrediënten (VIF=1) tot ingrediënten die bijna identieke tweelingen zijn (VIF=50).

Vervolgens controleerden ze vier zaken:

Nauwkeurigheid: Kregen ze het juiste antwoord?
Zekerheid: Hoe zeker waren ze van dat antwoord?
Precisie: Was het antwoord strak en specifiek, of een brede, vage gok?
Bias (Vertekening): Hebben ze per ongeluk een belangrijk ingrediënt weggelaten dat de smaak veranderde?

De Verrassende Bevindingen

Dit is wat ze ontdekten, onderverdeeld naar potmaat:

1. De Kleine Pot (Kleine Steekproefomvang: ~100 mensen)

Het Probleem: In een kleine pot zorgt zelfs een klein beetje gelijkenis tussen ingrediënten voor chaos.

De Analogie: Stel je voor dat je de exacte hoeveelheid zout probeert te raden in één theelepel soep. Als het zout en de peper een beetje door elkaar gemengd zijn, zal je schatting alle kanten op gaan.
Het Resultaat: Zelfs een lage gelijkenisscore (VIF < 2) maakte de resultaten onbetrouwbaar. De "betrouwbaarheidsintervallen" (het bereik van mogelijke antwoorden) werden zo breed dat de studie zijn kracht verloor.
De Les: In kleine studies kun je zelfs milde gelijkenis niet negeren.

2. De Enorme Ketel (Grote Steekproefomvang: ~50.000+ mensen)

Het Goede Nieuws: In een enorme ketel veranderen de regels volledig.

De Analogie: Stel je voor dat je het zout probeert te raden in een zwembad vol soep. Zelfs als het zout en de peper perfect door elkaar gemengd zijn, zorgt de enorme hoeveelheid soep ervoor dat de gemiddelde smaak ongelooflijk duidelijk wordt. De "ruis" van de gelijkenis wordt weggedrukt door de enorme hoeveelheid data.
Het Resultaat: Zelfs met extreme gelijkenis (VIF = 50) bleven de resultaten nauwkeurig en precies. De betrouwbaarheidsintervallen bleven strak.
De Les: In enorme datasets kun je hoge VIF-scores vaak negeren. Ze beschadigen je resultaten niet.

3. De "Ontbrekende Ingrediënt" Valstrik (Bias)

Dit is de meest kritische waarschuwing in het artikel.

Het Scenario: Wat gebeurt er als je besluit het "gelijkenisprobleem" op te lossen door een ingrediënt (zoals de peper) weg te gooien, puur om de wiskunde makkelijker te maken?
Het Resultaat: Als dat ingrediënt er eigenlijk toe deed (zelfs als het vergelijkbaar was met het zout), creëert het verwijderen ervan een bias.
De Analogie: Als je de peper eruit gooit omdat hij te veel op het zout lijkt, maar de peper voegde eigenlijk een pittige toets toe, dan zal je soep niet smaken zoals het hoort. Hoe meer de ingrediënten op elkaar leken, hoe slechter de smaak wordt wanneer je er één verwijdert.
De Les: Het verwijderen van variabelen enkel om de VIF-score te verlagen, kan je resultaten juist onjuister maken, niet minder.

De Conclusie: Gebruik Geen Rigide Regels Meer

Het artikel concludeert dat de oude regel "Als VIF > 10, verwijder de variabele" kapot is.

Wees geen robot: Je kunt niet dezelfde regel toepassen op een kleine studie als op een enorme studie.
Context is Koning:
- Als je een kleine studie hebt, zijn zelfs kleine gelijkenissen gevaarlijk.
- Als je een enorme studie hebt, zijn zelfs extreme gelijkenissen meestal onschadelijk.
Gooi niet zomaar dingen weg: Als je een variabele verwijdert enkel om de VIF-score te corrigeren, introduceer je misschien een nieuw, groter probleem (bias) dat je conclusie ruïneert.

De Kernboodschap: In plaats van blindelings een getal op een tabel te volgen, moeten onderzoekers naar hun steekproefomvang kijken. Als ze veel data hebben, kunnen ze waarschijnlijk alle variabelen behouden, zelfs als ze op elkaar lijken. Als ze weinig data hebben, moeten ze heel voorzichtig zijn, maar ze moeten ook niet zomaar variabelen verwijderen zonder de gevolgen te overzien.

Technische Samenvatting: Het effect van collineariteit en steekproefomvang op lineaire regressieresultaten

Probleemstelling
Multicollineariteit in ordinary least squares (OLS) regressie blaast de variantie van coëfficiëntschattingen op, waardoor betrouwbaarheidsintervallen breder worden en de betrouwbaarheid van statistische inferentie potentieel afneemt. Ondanks langdurige zorgen over simplistische vuistregels, vertroukt toegepast onderzoek vaak op vaste VIF-drempelwaarden (bijv. 4 of 10) om "problematische" collineariteit te diagnosticeren. Deze praktijk wordt vaak uniform toegepast op studies met zeer uiteenlopende steekproefomvang, van minder dan 50 observaties tot datasets met miljoenen datapunten. Het kernprobleem dat wordt geadresseerd, is dat de praktische gevolgen van collineariteit eindige-steekproefverschijnselen zijn. Er is een gebrek aan kwantitatieve begeleiding over wanneer variantie-inflatie groot genoeg wordt om de precisie van de schatting, dekking en inferentiële conclusies betekenisvol in gevaar te brengen, met name in aanwezigheid van model-misspecificatie. Bestaande simulatiestudies zijn beperkt door kleine steekproefomvang (doorgaans $\le$ 1.000) en smalle bereiken van VIF-waarden, waardoor de interactie tussen collineariteit en grootschalige datasets, die gebruikelijk zijn in de moderne epidemiologie en biomedische datawetenschap, niet volledig in beeld wordt gebracht.

Methodologie
De auteurs hebben een uitgebreide simulatiestudie uitgevoerd om de gezamenlijke invloed van collineariteit en steekproefomvang op lineaire regressieresultaten systematisch te onderzoeken.

Ontwerp: De studie varieerde de steekproefomvang ( $N$ ) van 100 tot 100.000 en collineariteitsniveaus (VIF) van 1 (geen) tot 50 (extreem).
Data-generatie: Voor elk scenario werden 1.000 datasets gegenereerd. Predictoren werden getrokken uit een standaard normale verdeling en getransformeerd met behulp van een Cholesky-factor afgeleid van een gespecificeerde correlatiematrix om de doel-VIF's te bereiken. De uitkomstvariabele werd gegenereerd met behulp van een lineair model met zes predictoren, inclus\text{e} een "hoofd-predictor" van belang ( $\beta_{main} = 2$ ).
Scenario's: Simulaties bestonden uit zowel correct gespecificeerde modellen als misspecificeerde modellen (waarbij een relevante predictor werd weggelaten om bias te induceren).
Metrieken: De studie evalueerde vier belangrijke uitkomsten voor de hoofdcoëfficiënt:
1. Dekking (Coverage): De proportie van 95% betrouwbaarheidsintervallen (CI's) die de ware waarde bevatten.
2. Fout en Bias: Gemiddelde absolute fout (MAE) en systematische bias.
3. Traditionele Power: De proportie van CI's die nul uitsluiten.
4. Precisie-assurantie (Precision Assurance): Een metriek voor de waarschijnlijkheid van precisie, gedefinieerd als de waarschijnlijkheid dat het 95% CI volledig binnen een vooraf gespecificeerde praktische marge ( $\beta_{main} \pm c_{powval}$ ) rond de ware waarde ligt. Deze metriek werd gekalibreerd om 80% power te leveren bij $N=1.000$ zonder collineariteit.

Belangrijkste Resultaten

Correct Gespecificeerde Modellen:
- Dekking: Collineariteit beïnvloedde de nominale dekking niet materieel; 95% CI's bevatten betrouwbaar de ware coëfficiënt over alle steekproefomvang en VIF-niveaus heen.
- Bias: Er werd geen systematische bias geïntroduceerd door collineariteit alleen. Kleine afwijkingen waargenomen in kleine steekproeven ( $N=100$ ) werden toegeschreven aan eindige-steekproefvariabiliteit en Monte Carlo-fouten in plaats van OLS-bias.
- Precisie en Power: Collineariteit verminderde de precisie en power aanzienlijk, maar de omvang van dit effect was sterk afhankelijk van de steekproefomvang.
  - Bij kleine steekproeven ( $N \approx 100$ ) zorgde zelfs milde collineariteit (VIF < 2) voor een significante inflatie van fouten en een vermindering van zowel de precisie-assurantie als de traditionele power.
  - Bij grote steekproeven ( $N \ge 50.000$ ) bleven schattingen robuust, zelfs onder extreme collineariteit (VIF = 50), waarbij een hoge precisie-assurantie behouden bleef.
Misspecificeerde Modellen (Omitted Variable Bias):
- Wanneer een relevante predictor werd weggelaten, versterkte collineariteit de resulterende bias sterk.
- In scenario's met bias veroorzaakte zelfs minimale collineariteit (VIF $\approx$ 1,1) dramatische verliezen in precisie-assurantie en verminderde het de dekking, omdat de bias de schattingen weg van de ware waarde verschoof terwijl de CI's breder werden.
Effectgrootte en Aantal Predictoren: Het aantal gecorreleerde predictoren en het totale aantal predictoren hadden een verwaarloosbaar effect op de uitkomsten vergeleken met de steekproefomvang. De effectgrootte beïnvloedde de traditionele power (robuustheid tegen inclusie van nul) maar veranderde de precisie-assurantie, dekking of MAE niet.

Betekenis en Praktische Implicaties
De studie daagt de mechanische toepassing van vaste VIF-drempelwaarden uit. De auteurs concluderen dat collineariteit moet worden geïnterpreteerd in relatie tot de steekproefomvang en potentiële bronnen van bias:

Contextafhankelijke Drempelwaarden: In kleine studies kunnen bescheiden VIF's consequenties hebben, terwijl in zeer grote studies extreme VIF's praktisch verwaarloosbaar kunnen zijn.
Risico van Variabele Exclusie: Het uitsluiten van predictoren enkel om de VIF te verlagen, wordt afgeraden. In aanwezigheid van model-misspecificatie kan het verwijderen van variabelen om collineariteit te elimineren de inferentie verslechteren door het introduceren van of het verergeren van de bias door weggelaten variabelen (omitted-variable bias), welke collineariteit vervolgens versterkt.
Begeleidingstool: De auteurs bieden heatmaps (bijv. Figuur 5) aan als een praktisch referentiekader voor onderzoekers om de impact van collineariteit op precisie-assurantie te voorzien bij verschillende steekproefomvang en modelveronderstellingen. Deze instrumenten faciliteren empirisch onderbouwde beoordelingen die verder gaan dan rigide grenswaarden, door steekproefomvang en modelstructuur expliciet in de besluitvorming te betrekken.

Het artikel benadrukt dat hoewel collineariteit de variantie opblaast, het niet inherent de schattingen bias geeft in correct gespecificeerde modellen; echter, de interactie met bias in misspecificeerde modellen creëert ernstige inferentiële risico's die vaste drempelwaarden niet kunnen vangen.