📊 statistics

Adressing Separation: A Firth-corrected Joint Model for Longitudinal and Time-to-event Data with an Application on Dropout from Vocational Training

Dieses Paper schlägt ein Firth-korrigiertes Joint-Modell für Längs- und Zeit-bis-Ereignis-Daten vor, um Separation-Probleme in Überlebens-Submodellen zu adressieren, wobei durch Simulationen und eine Anwendung im Bereich der Berufsausbildung demonstriert wird, dass dieser Ansatz weniger verzerrte Schätzungen liefert und sowohl direkte als auch indirekte Faktoren, die das Abbruchrisiko beeinflussen, effektiv modelliert.

Ursprüngliche Autoren: Sophie Potts, Viola Deutscher, Elisabeth Bergherr

Veröffentlicht 2026-06-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sophie Potts, Viola Deutscher, Elisabeth Bergherr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wann ein Auszubildender seine Berufsausbildung abbricht. Sie haben zwei Arten von Informationen:

Das „Ergebnisbrett“: Eine Zeit-bis-Ereignis-Aufzeichnung, die genau zeigt, wann jeder Auszubildende abgebrochen hat.
Das „Stimmungsbarometer“: Eine lange Liste von wöchentlichen Umfragen, in denen die Auszubildenden ihre Zufriedenheit mit der Ausbildung bewerten.

In der Statistik gibt es ein leistungsstarkes Werkzeug, ein sogenanntes Joint Model (gemeinsames Modell), das versucht, diese beiden Dinge zu kombinieren. Es geht davon aus, dass die aktuelle Stimmung (Zufriedenheit) eines Auszubildenden das Risiko des Abbruchs direkt beeinflusst. Es ist wie die Aussage: „Je niedriger der Zufriedenheitswert in dieser Woche sinkt, desto höher ist die Wahrscheinlichkeit, dass er nächste Woche abbricht.“

Dieses Werkzeug hat jedoch einen großen Makel, wenn die Daten „seltsam“ werden.

Das Problem: Die Falle der „perfekten Prädiktoren“

Stellen Sie sich vor, Sie betrachten eine bestimmte Gruppe von Auszubildenden, sagen wir im Bereich „Logistik“. In Ihren Daten hat keiner der Auszubildenden in dieser Gruppe abgebrochen. Jeder einzelne von ihnen ist geblieben.

In der Welt der Statistik nennt man das Separation (Trennung). Es ist wie ein Lehrer, der sagt: „Wenn du ein rotes Hemd trägst, bekommst du niemals eine Standpauke.“ Wenn die Daten zeigen, dass es für rote Hemden keine Standpauken gab, versucht der Computer, das Risiko zu berechnen, und bleibt stecken. Er denkt: „Das Risiko muss negativ unendlich sein!“ oder „Das Risiko ist so gering, dass es unmöglich zu messen ist!“

Die Mathematik des Computers bricht zusammen. Die Zahlen, die er ausspuckt, werden riesig, unsinnig und unbrauchbar (wie ein Standardfehler von 4.000, wenn der Wert normalerweise bei etwa 1 liegt). Das passiert oft bei seltenen Ereignissen oder sehr kleinen Gruppen.

Die Lösung: Die „Firth-korrigierte“ Bremse

Die Autorin dieses Papers, Sophie Potts, und ihr Team haben eine Lösung erfunden. Sie nahmen eine Technik namens Firth-Korrektur (die bereits in anderen statistischen Bereichen verwendet wird) und passten sie für dieses Joint Model an.

Stellen Sie sich das Standardmodell wie ein Auto vor, das einen Hügel hinunterfährt. Wenn es auf die „Separation“-Klippe trifft (die Gruppe, in der niemand abgebrochen hat), beschleunigt das Auto unkontrolliert und fliegt über die Kante.

Das Firth-korrigierte Joint Model baut Bremsen ein.

Es legt eine „Strafe“ (Penalty) auf die Mathematik, wann immer die Zahlen zu extrem werden.
Es zwingt die Schätzung, innerhalb eines vernünftigen, endlichen Bereichs zu bleiben.
Anstatt zu sagen: „Das Risiko ist negativ unendlich“, sagt es: „Okay, das Risiko ist sehr gering, aber lassen Sie uns eine realistische Zahl basierend auf den restlichen Daten angeben.“

Wie sie bewiesen haben, dass es funktioniert

Das Team führte eine massive Simulation durch. Sie erstellten künstliche Daten, bei denen sie die „echte“ Antwort kannten.

Ohne die Korrektur: Wenn sie ein „Separations“-Szenario erzeugten (eine Gruppe, in der niemand abbrach), lieferte das Standardmodell wilde, falsche Antworten.
Mit der Korrektur: Das korrigierte Modell ignorierte die Panik. Es lieferte Antworten, die den „echten“ Antworten sehr nahe kamen, selbst wenn die Daten chaotisch waren. Es sagte im Wesentlichen: „Ich sehe, dass hier niemand abgebrochen hat, aber basierend darauf, wie sich die anderen Gruppen verhalten, ist dies eine sinnvolle Schätzung.“

Der Praxistest: Deutsche Berufsausbildung

Sie testeten dieses neue Werkzeug mit realen Daten aus Deutschland bezüglich Auszubildender, die ihre Lehre abbrachen.

Der Aufbau: Sie verfolgten 4.203 Auszubildende über einen Zeitraum hinweg und beobachteten sowohl deren Zufriedenheitsniveau als auch den Zeitpunkt ihres Abbruchs.
Der Fehler: In den Daten gab es einen spezifischen Wirtschaftssektor („Andere gewerbliche Dienstleistungen“), in dem keine einzige Frau die Ausbildung abbrach. Dies führte dazu, dass das Standardmodell zusammenbrach und einen Koeffizienten von -13 mit einem massiven Fehlerbereich lieferte.
Die Lösung: Mit ihrem neuen Firth-korrigierten Modell erhielten sie einen stabilen, vernünftigen Wert.

Was haben sie gelernt?

Zufriedenheit ist ein bewegliches Ziel: Die Zufriedenheit eines Auszubildenden ist nicht nur ein einmaliges Gefühl; es ist eine Reise. Wenn die Zufriedenheit im Laufe der Zeit sinkt, steigt das Risiko eines Abbruchs.
Direkte vs. indirekte Effekte: Einige Faktoren (wie das Bildungsniveau) beeinflussen den Abbruch direkt. Andere (wie das Einkommen der Eltern) beeinflussen den Abbruch indirekt, indem sie zuerst die Zufriedenheit des Auszubildenden verändern. Das neue Modell kann diese beiden Pfade klar voneinander trennen, während alte Modelle durch die „Null-Abbruch-Gruppe“ verwirrt wurden.

Das Fazit

Dieses Paper sagt nicht nur: „Wir haben ein mathematisches Problem gelöst.“ Es sagt: „Wir haben ein Sicherheitsnetz für statistische Modelle gebaut.“

Wenn Sie seltene Ereignisse oder kleine Gruppen haben, in denen „nichts passiert ist“, bricht die alte Mathematik zusammen. Die neue Firth-korrigierte Methode wirkt wie ein Stabilisator, der es Forschern ermöglicht, zuverlässige Antworten zu erhalten, selbst wenn die Daten spärlich oder unausgewogen sind. Im Fall der Berufsausbildung bedeutet dies, dass wir endlich die wahre Beziehung zwischen der Zufriedenheit eines Auszubildenden und seinem Abbruchverhalten verstehen können, ohne dass die Mathematik abstürzt, nur weil eine spezifische Gruppe zufällig geblieben ist.

Technische Zusammenfassung: Adressierung von Separation in Joint-Modellen mittels Firth-Korrektur

Problemstellung
Joint-Modelle für longitudinale und Zeit-bis-Ereignis-Daten werden weit verbreitet eingesetzt, um endogene zeitvariante Kovariaten (z. B. Biomarker oder Zufriedenheitswerte) zusammen mit Überlebensoutcomes zu analysieren. Diese Modelle erben jedoch die Einschränkungen ihrer Überlebens-Submodelle, insbesondere das Problem der Separation. Separation tritt auf, wenn eine kategoriale Kovariate das Ausbleiben eines Ereignisses in einer bestimmten Kategorie perfekt vorhersagt (z. B. keine Abbrüche in einem spezifischen Berufssektor). Dies führt zu einer monotonen Likelihood, was dazu führt, dass Regressionskoeffizienten gegen Unendlich divergieren oder instabil werden, wodurch die klassische Maximum-Likelihood-Schätzung (MLE) unwirksam wird. Während die Firth-Korrektur für die binäre Regression und Cox-Proportional-Hazards-Modelle zur Minderung dieses Bias etabliert wurde, war sie bisher nicht formal in das Joint-Modeling-Framework integriert, was die Anwendbarkeit von Joint-Modellen in Settings mit seltenen Ereignissen oder hochgradig imbalancierten Kovariaten einschränkte.

Methodik
Die Autoren schlagen ein Firth-korrigiertes Joint-Modell vor, das innerhalb eines frequentistischen Schätzungsrahmens mittels des Expectation-Maximization (EM)-Algorithmus implementiert wird.

Modellstruktur: Das Modell besteht aus zwei verknüpften Submodellen:
- Einem longitudinalen Submodell (Lineares Gemischtes Modell), das die Trajektorie der endogenen Kovariaten $m_i(t)$ mit zufälligen Intercepts und Slopes erfasst.
- Einem Überlebens-Submodell (Cox-Typ Proportional Hazards Modell), bei dem die Hazard-Funktion von Baseline-Kovariaten und dem aktuellen Wert des longitudinalen Prozesses $m_i(t)$ über einen Assoziationsparameter $\alpha$ abhängt.
Implementierung der Firth-Korrektur:
- Die Autoren leiten den notwendigen Korrekturterm für die Score-Funktion der Koeffizienten des Überlebens-Submodells ( $\theta_{surv}$ ) ab.
- Der Bias der MLE wird mittels einer Taylor-Approximation zweiter Ordnung der Score-Funktion angenähert. Der Korrekturterm $c(\theta)$ wird als $c(\theta) = \frac{1}{2} \text{tr}\left[ I(\theta)^{-1} \frac{\partial I(\theta)}{\partial \theta} \right]$ hergeleitet, wobei $I(\theta)$ die Fisher-Informationsmatrix ist.
- Dieser Term wird der Score-Funktion $S(\theta)$ während des M-Steps des EM-Algorithmus hinzugefügt, spezifisch für das Newton-Raphson-Update der Überlebenskoeffizienten: $\hat{\theta}^{(t+1)}_{surv} = \hat{\theta}^{(t)}_{surv} + [I(\hat{\theta}^{(t)}_{surv})]^{-1} S^*(\hat{\theta}^{(t)}_{surv})$ , wobei $S^*$ die korrigierte Score-Funktion ist.
- Initialisierung: Um die Konvergenz zu gewährleisten, initialisieren die Autoren die exogenen Regressionskoeffizienten mittels Penalized Maximum Likelihood-Schätzungen aus einem klassischen Firth-korrigierten Cox-Modell (via des R-Pakets coxphf).
- Inferenz: Standardfehler werden mittels der Vorwärtsdifferenz-Approximation der vollständigen Hessian-Matrix abgeleitet.

Ergebnisse der Simulationsstudie
Eine Simulationsstudie wurde durchgeführt, um die Performance des Firth-korrigierten Joint-Modells (FC-JM) gegenüber dem klassischen Joint-Modell (JM) und einem JM mit Firth-korrigierten Startwerten (JMc) zu evaluieren.

Bias-Reduktion: In Szenarien mit Separation lieferte FC-JM signifikant weniger verzerrte Schätzungen für die separierende Kovariate im Vergleich zu JM. Die Schätzungen näherten sich den Werten an, die in Nicht-Separations-Szenarien beobachtet wurden.
Informationsabhängigkeit: Die Performance der Korrektur wird durch die Krümmung der Likelihood getrieben, welche von der absoluten Anzahl der Ereignisse abhängt. FC-JM performte am besten in Settings mit geringer Information (kleine Stichproben, hohe Zensierung), in denen Separation am problematischsten ist.
Stabilität: Während FC-JM den Bias reduzierte, wurden in sehr spärlichen Datensätzen eine geringe Anzahl an Ausreißern aufgrund ill-konditionierter analytischer Hessians beobachtet – eine Limitation, die beim Standard-JM, welcher die Hessian via BFGS approximiert, nicht vorhanden ist.
Andere Koeffizienten: Die Korrektur veränderte die Schätzungen der Nicht-Separations-Koeffizienten nicht signifikant und bewahrte die Genauigkeit über das gesamte Modell hinweg.

Reale Anwendung: Abbruch der Berufsausbildung
Die Methode wurde auf Daten aus dem Nationalen Bildungspanel (NEPS) bezüglich des Abbruchs aus der Berufsausbildung angewendet.

Kontext: Die Studie modellierte die Trajektorie der Ausbildungszufriedenheit (longitudinal) und das Risiko eines Abbruchs (Zeit-bis-Ereignis).
Separations-Problem: In der weiblichen Teilstichprobe wies der Berufssektor „Andere Berufe im Dienstleistungsbereich“ eine Separation auf (null Abbruchereignisse), was beim klassischen JM zu einem unendlichen Koeffizienten und einem inflatierten Standardfehler führte.
Ergebnisse:
- Das FC-JM lieferte endliche, stabile Schätzungen für den separierenden Sektor, was darauf hindeutet, dass kein signifikanter Unterschied im Abbruchrisiko im Vergleich zum Referenzsektor besteht.
- Das Modell konnte Effekte erfolgreich in direkte Effekte (z. B. Bildungsniveau, Kompromiss im Berufsfeld, die das Abbruchrisiko direkt beeinflussen) und indirekte Effekte (mediiert durch die Zufriedenheit) zerlegen.
- Die Ergebnisse bestätigten, dass sozioökonomische Faktoren und Kompromissgrade die Zufriedenheit signifikant beeinflussten, ihr direkter Effekt auf den Abbruch jedoch oft nicht signifikant war, sobald die Trajektorie der Zufriedenheit berücksichtigt wurde, während Bildung und Berufsfeldkompromiss direkte protektive oder risikosteigernde Effekte beibehielten.

Bedeutung und Ansprüche
Das Paper behauptet, dass die vorgeschlagene Firth-korrigierte Schätzroutine die Anwendbarkeit von Joint-Modellen auf Datensätze erweitert, die durch seltene Ereignisse oder hochgradig imbalancierte kategoriale Kovariaten charakterisiert sind, in denen klassische Methoden aufgrund monotoner Likelihood versagen.

Methodischer Beitrag: Es bietet eine formale Ableitung und Implementierung des Firth-Penalty innerhalb des Joint-Model-EM-Algorithmus, was die Schätzung endlicher, weniger verzerrter Koeffizienten in Separationsfällen ermöglicht.
Substanzieller Beitrag: In der Anwendung auf die Berufsausbildung bietet das Modell einen rigoroseren kausalen Rahmen, indem es die mediierende Rolle der Zufriedenheit explizit modelliert. Es zeigt, dass strukturelle Prädiktoren das Abbruchrisiko oft indirekt über affektive Zustände (Zufriedenheit) beeinflussen – ein Mechanismus, der in Standard-Zweistufen- oder statischen Prädiktoren-Ansätzen verborgen bleibt.
Limitationen: Die Autoren merken an, dass die aktuelle Implementierung auf Current-Value-Assoziationen und zeitkonstante exogene Kovariaten beschränkt ist. Zudem kann die Abhängigkeit von analytischen Hessians zu numerischer Instabilität in extrem spärlichen Daten führen, was auf einen Bedarf an zukünftigen Stabilisierungsstrategien hindeutet.

Die Arbeit wird als Lösung für einen spezifischen Schätzungsfehler präsentiert, der es Forschern ermöglicht, Joint-Modelle in Kontexten einzusetzen, die zuvor aufgrund von Separation als ungeeignet galten, wodurch die Robustheit der Inferenz in sozialwissenschaftlichen und biostatistischen Anwendungen mit seltenen Ereignissen verbessert wird.