📊 statistics

The effect of collinearity and sample size on linear regression results: a simulation study

Diese Simulationsstudie zeigt auf, dass Kollinearität bei korrekter Modellspezifikation primär die Präzision in kleinen Stichproben verringert, ohne Verzerrungen zu verursachen, jedoch unter Fehlspezifikation den Bias signifikant verstärkt und die Inferenz verschlechtert, was gegen die mechanische Anwendung fester VIF-Schwellenwerte ohne Berücksichtigung der Stichprobengröße und potenzieller Omitted-Variable-Bias spricht.

Ursprüngliche Autoren: Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wann ist „zu viel Ähnlichkeit“ ein Problem?

Stellen Sie sich vor, Sie versuchen herauszufinden, wie sehr eine bestimmte Zutat (sagen wir, Salz) den Geschmack einer Suppe beeinflusst. Sie haben ein Rezept mit vielen Zutaten: Salz, Pfeffer, Knoblauch, Zwiebeln und Karotten.

In der Statistik nennt man das lineare Regression. Sie möchten den wahren Effekt des Salzes wissen.

Manchmal sind die Zutaten jedoch sehr ähnlich zueinander. Wenn Sie zum Beispiel immer Salz und Pfeffer in einem festen Verhältnis hinzufügen (immer wenn Sie eine Prise Salz hinzufügen, fügen Sie auch eine Prise Pfeffer hinzu), wird es schwierig zu sagen, welche Zutat tatsächlich für die Salzigkeit verantwortlich ist. In der Statistik nennt man das Kollinearität.

Um diese „Ähnlichkeit“ zu messen, verwenden Forscher einen Wert namens VIF (Variance Inflation Factor):

VIF = 1: Die Zutaten sind völlig einzigartig (keine Ähnlichkeit).
VIF = 10 oder höher: Die Zutaten sind sehr ähnlich (hohe Kollinearität).

Die alte Regel: Lange Zeit haben Wissenschaftler einer starren Faustregel gefolgt: „Wenn der VIF über 4 oder 10 liegt, werfen Sie eine dieser Zutaten sofort aus dem Rezept.“ Dies tun sie ungeachtet dessen, wie groß ihr Kochtopf ist.

Die neue Studie: Diese Arbeit fragt: Ergibt diese Regel überhaupt Sinn? Spielt es eine Rolle, ob wir eine winzige Tasse Suppe oder einen riesigen industriellen Kessel kochen?

Das Experiment: Kochen mit verschiedenen Topfgrößen

Die Forscher führten eine massive Computersimulation (eine „digitale Küche“) durch, um dies zu testen. Sie kochten tausende Chargen Suppe mit zwei Hauptvariablen:

Die Topfgröße (Stichprobengröße): Reichend von einer winzigen Tasse (100 Portionen) bis hin zu einem riesigen industriellen Kessel (100.000 Portionen).
Die Ähnlichkeit (Kollinearität): Reichend von völlig einzigartigen Zutaten (VIF=1) bis hin zu Zutaten, die fast identische Zwillinge sind (VIF=50).

Anschließend überprüften sie vier Dinge:

Genauigkeit: Haben sie die richtige Antwort erhalten?
Konfidenz (Vertrauen): Wie sicher waren sie sich dieser Antwort?
Präzision: War die Antwort eng und spezifisch oder eine weite, unscharfe Schätzung?
Bias (Verzerrung): Haben sie versehentlich eine wichtige Zutat vergessen, die den Geschmack verändert hat?

Die überraschenden Erkenntnisse

Hier ist das, was sie herausgefunden haben, aufgeschlüsselt nach der Topfgröße:

1. Der winzige Topf (Kleine Stichprobe: ~100 Personen)

Das Problem: In einem winzigen Topf führt selbst ein wenig Ähnlichkeit zwischen den Zutaten zu Chaos.

Die Analogie: Stellen Sie sich vor, Sie versuchen die genaue Menge Salz in einem einzigen Teelöffel Suppe zu erraten. Wenn Salz und Pfeffer leicht vermischt sind, wird Ihre Schätzung völlig danebenliegen.
Das Ergebnis: Selbst eine geringe Ähnlichkeit (VIF < 2) machte die Ergebnisse unzuverlässig. Die „Konfidenzintervalle“ (der Bereich der möglichen Antworten) wurden so weit, dass die Studie ihre Aussagekraft verlor.
Die Lektion: In kleinen Studien kann man selbst eine leichte Ähnlichkeit nicht ignorieren.

2. Der massive Kessel (Große Stichprobe: ~50.000+ Personen)

Die gute Nachricht: In einem riesigen Topf ändern sich die Regeln komplett.

Die Analogie: Stellen Sie sich vor, Sie versuchen das Salz in einem Schwimmbecken voller Suppe zu erraten. Selbst wenn Salz und Pfeffer perfekt vermischt sind, macht das schiere Volumen der Suppe den Durchschnittsgeschmack unglaublich klar. Das „Rauschen“ der Ähnlichkeit wird durch die enorme Menge an Daten überdeckt.
Das Ergebnis: Selbst bei extremer Ähnlichkeit (VIF = 50) blieben die Ergebnisse genau und präzise. Die Konfidenzintervalle blieben eng.
Die Lektion: In massiven Datensätzen können Sie hohe VIF-Werte oft ignorieren. Sie schaden Ihren Ergebnissen nicht.

3. Die Falle der „fehlenden Zutat“ (Bias)

Dies ist die wichtigste Warnung der Arbeit.

Das Szenario: Was passiert, wenn Sie entscheiden, das „Ähnlichkeitsproblem“ zu lösen, indem Sie eine Zutat (wie den Pfeffer) wegwerfen, nur um die Mathematik einfacher zu machen?
Das Ergebnis: Wenn diese Zutat tatsächlich wichtig war (selbst wenn sie ähnlich wie das Salz war), führt das Entfernen zu einem Bias (Verzerrung).
Die Analogie: Wenn Sie den Pfeffer wegwerfen, weil er dem Salz zu ähnlich ist, aber der Pfeffer eigentlich eine scharfe Note hinzufügt, wird Ihre Suppe falsch schmecken. Je ähnlicher die Zutaten waren, desto schlechter wird der Geschmack, wenn man eine davon entfernt.
Die Lektion: Das Entfernen von Variablen, nur um den VIF-Wert zu senken, kann dazu führen, dass Ihre Ergebnisse falscher werden, nicht richtiger.

Das Fazrazit: Hören Sie auf, starre Regeln anzuwenden

Die Arbeit kommt zu dem Schluss, dass die alte Regel „Wenn VIF > 10, lösche die Variable“ fehlerhaft ist.

Seien Sie kein Roboter: Sie können nicht dieselbe Regel für eine kleine Studie und eine massive Studie anwenden.
Der Kontext ist entscheidend:
- Wenn Sie eine kleine Studie haben, sind selbst geringe Ähnlichkeiten gefährlich.
- Wenn Sie eine riesige Studie haben, sind selbst extreme Ähnlichkeiten meist harmlos.
Werfen Sie nichts weg: Wenn Sie eine Variable nur entfernen, um einen VIF-Wert zu korrigieren, könnten Sie ein neues, größeres Problem (Bias) einführen, das Ihre Schlussfolgerung ruiniert.

Der Kernpunkt: Anstatt blind einem Wert auf einer Tabelle zu folgen, müssen Forscher ihre Stichprobengröße betrachten. Wenn sie viel Datenmaterial haben, können sie wahrscheinlich alle ihre Variablen behalten, selbst wenn diese sich ähnlich sind. Wenn sie wenig Daten haben, müssen sie sehr vorsichtig sein, sollten aber dennoch nicht einfach Variablen löschen, ohne die Konsequenzen zu bedenken.

Technische Zusammenfassung: Der Effekt von Kollinearität und Stichprobengröße auf lineare Regressionsergebnisse

Problemstellung
Multikollinearität in der gewöhnlichen kleinsten Quadrate-Regression (OLS) bläht die Varianz der Koeffizientenschätzungen auf, was die Konfidenzintervalle verbreitert und potenziell die Zuverlässigkeit statistischer Inferenz verringert. Trotz langjähriger Bedenken hinsichtlich vereinfachter Faustregeln stützt sich die angewandte Forschung häufig auf feste Schwellenwerte für den Variationsinflationsfaktor (VIF) (z. B. 4 oder 10), um „problematische“ Kollinearität zu diagnostizieren. Diese Praxis wird oft einheitlich über Studien mit sehr unterschiedlichen Stichprobengrößen hinweg angewendet, von weniger als 50 Beobachtungen bis hin zu Datensätzen mit Millionen von Datenpunkten. Das Kernproblem, das hier adressiert wird, ist, dass die praktischen Folgen von Kollinearität Phänomene in endlichen Stichproben sind. Es mangelt an quantitativen Leitlinien darüber, wann die Varianzinflation groß genug ist, um die Schätzpräzision, die Abdeckung (Coverage) und die inferenzielle Schlussfolgerung signifikant zu beeinträchtigen, insbesondere bei Modellfehlspezifikation. Bestehende Simulationsstudien waren durch kleine Stichprobengrößen (typischerweise $\le$ 1.000) und enge Bereiche von VIF-Werten begrenzt und versäumten es, die Interaktion zwischen Kollinearität und groß angelegten Datensätzen zu erfassen, wie sie in der modernen Epidemiologie und biomedizinischen Datenwissenschaft üblich sind.

Methodik
Die Autoren führten eine umfassende Simulationsstudie durch, um den gemeinsamen Einfluss von Kollinearität und Stichprobengröße auf die Ergebnisse der linearen Regression systematisch zu untersuchen.

Design: Die Studie variierte die Stichprobengrößen ( $N$ ) von 100 bis 100.000 und die Kollinearitätsniveaus (VIF) von 1 (keine) bis 50 (extrem).
Datengenerierung: Für jedes Szenario wurden 1.000 Datensätze generiert. Die Prädiktoren wurden aus einer Standardnormalverteilung gezogen und mittels eines Cholesky-Faktors transformiert, der aus einer spezifizierten Korrelationsmatrix abgeleitet wurde, um die Ziel-VIFs zu erreichen. Die Zielvariable wurde mittels eines linearen Modells mit sechs Prädiktoren generiert, einschließlich eines „Hauptprädiktors“ von Interesse ( $\beta_{main} = 2$ ).
Szenarien: Die Simulationen deckten sowohl korrekt spezifizierte als auch misspezifizierte Modelle ab (wobei ein relevanter Prädiktor ausgelassen wurde, um einen Bias zu induzieren).
Metriken: Die Studie evaluierte vier zentrale Ergebnisse für den Hauptkoeffizienten:
1. Abdeckung (Coverage): Der Anteil der 95%-Konfidenzintervalle (CI), die den wahren Wert enthalten.
2. Fehler und Bias: Mittlerer absoluter Fehler (MAE) und systematischer Bias.
3. Traditionelle Power: Der Anteil der CIs, die Null ausschließen.
4. Präzisionssicherung (Precision Assurance): Eine Metrik der Wahrscheinlichkeit der Präzision, definiert als die Wahrscheinlichkeit, dass das 95%-KI vollständig innerhalb einer vordefinierten praktischen Marge ( $\beta_{main} \pm c_{powval}$ ) um den wahren Effekt liegt. Diese Metrik wurde so kalibriert, dass sie bei $N=1.000$ ohne Kollinearität eine Power von 80 % liefert.

Zentrale Ergebnisse

Korrekt spezifizierte Modelle:
- Abdeckung: Kollinearität beeinflusste die nominelle Abdeckung nicht wesentlich; 95%-CIs erfassten den wahren Koeffizienten zuverlässig über alle Stichprobengrößen und VIF-Werte hinweg.
- Bias: Durch Kollinearität allein wurde kein systematischer Bias eingeführt. Geringfügige Abweichungen in kleinen Stichproben ( $N=100$ ) wurden der Variabilität in endlichen Stichproben und dem Monte-Carlo-Fehler zugeschrieben, nicht einem OLS-Bias.
- Präzision und Power: Kollinearität reduzierte die Präzision und die Power erheblich, aber das Ausmaß dieses Effekts hing stark von der Stichprobengröße ab.
  - Bei kleinen Stichprobengrößen ( $N \approx 100$ ) führte selbst milde Kollinearität (VIF < 2) zu einer signifikanten Inflation der Fehler und reduzierte sowohl die Präzisionssicherung als auch die traditionelle Power.
  - Bei großen Stichprobengrößen ( $N \ge 50.000$ ) blieben die Schätzungen selbst unter extremer Kollinearität (VIF = 50) robust, wobei eine hohe Präzisionssicherung aufrechterhalten wurde.
Misspezifizierte Modelle (Omitted Variable Bias):
- Wenn ein relevanter Prädiktor ausgelassen wurde, verstärkte Kollinearität den resultierenden Bias massiv.
- In Bias-Szenarien verursachte selbst minimale Kollinearität (VIF $\approx$ 1,1) dramatische Verluste in der Präzisionssicherung und reduzierte die Abdeckung, da der Bias die Schätzungen vom wahren Wert weg verschob, während gleichzeitig die CIs breiter wurden.
Effektstärke und Prädiktoranzahl: Die Anzahl der korrelierten Prädiktoren und die Gesamtzahl der Prädiktoren hatten im Vergleich zur Stichprobengröße vernachlässigbare Auswirkungen auf die Ergebnisse. Die Effektstärke beeinflusste die traditionelle Power (Robustheit gegenüber dem Einschluss von Null), änderte jedoch nicht die Präzisionssicherung, die Abdeckung oder den MAE.

Bedeutung und praktische Implikationen
Die Studie stellt die mechanische Anwendung fester VIF-Schwellenwerte in Frage. Die Autoren kommen zu dem Schluss, dass Kollinearität im Verhältnis zur Stichprobengröße und zu potenziellen Bias-Quellen interpretiert werden muss:

Kontextabhängige Schwellenwerte: In kleinen Studien können moderate VIFs konsequenziell sein, wohingegen sie in sehr großen Studien, selbst bei extremer Kollinearität, praktisch vernachlässigbar sein können.
Risiko des Ausschlusses von Variablen: Der Ausschluss von Prädiktoren allein zur Reduzierung des VIF wird nicht empfohlen. In Gegenwart von Modellmisspezifikation kann das Entfernen von Variablen zur Eliminierung von Kollinearität die Inferenz verschlechtern, indem es den Bias durch ausgelassene Variablen einführt oder verschärft, welcher durch die Kollinearität dann noch verstärkt wird.
Leitwerkzeug: Die Autoren stellen Heatmaps (z. B. Abbildung 5) als praktischen Referenzrahmen zur Verfügung, damit Forscher die Auswirkungen von Kollinearität auf die Präzisionssicherung bei verschiedenen Stichprobengrößen und Modellannahmen antizipieren können. Diese Werkzeuge ermöglichen empirisch fundierte Bewertungen, die über starre Grenzwerte hinausgehen und Stichprobengröße sowie Modellstruktur explizit in die Entscheidungsfindung einbeziehen.

Das Paper betont, dass Kollinearität zwar die Varianz aufbläht, aber in korrekt spezifizierten Modellen nicht inhärent die Schätzungen verzerrt; ihre Interaktion mit Bias in misspezifizierten Modellen schafft jedoch schwerwiegende inferenzielle Risiken, die feste Schwellenwerte nicht erfassen können.