📊 statistics

Boosting prediction with data missing not at random

Diese Arbeit entwickelt und analysiert theoretisch fundierte Boosting-Verfahren für Daten mit fehlenden Antwortvariablen unter der Annahme „Missing Not At Random", indem sie semiparametrische Schätzansätze und angepasste Verlustfunktionen mittels funktionalem Gradientenabstieg nutzt.

Ursprüngliche Autoren: Yuan Bian, Grace Y. Yi, Wenqing He

Veröffentlicht 2026-02-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuan Bian, Grace Y. Yi, Wenqing He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die fehlenden Puzzleteile

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu legen, um ein Bild vorherzusagen (zum Beispiel: Wie viel Geld wird ein Mitarbeiter in diesem Jahr verdienen?). Normalerweise haben Sie alle Teile (Daten) vor sich. Aber in der realen Welt fehlen oft Teile.

Das ist das Problem der fehlenden Daten.

Es gibt zwei Arten, wie Teile fehlen können:

Zufällig (MCAR): Ein Teil ist einfach vom Tisch gefallen. Das ist ärgerlich, aber das Bild, das Sie aus den verbleibenden Teilen legen, ist immer noch ein korrektes Abbild des Ganzen.
Nicht zufällig (MNAR – Missing Not At Random): Das ist das echte Problem. Hier fehlen die Teile nicht zufällig, sondern aus einem bestimmten Grund.
- Beispiel: Stellen Sie sich vor, Sie fragen Leute nach ihrem Gehalt. Reiche Leute antworten gerne, arme Leute schweigen lieber. Wenn Sie nur die Antworten der Reichen analysieren, denken Sie, alle sind reich. Das ist eine verzerrte Sicht.

Die meisten modernen Computer-Algorithmen (sogenannte "Boosting"-Methoden) sind wie sehr clevere Puzzle-Löser, die aber nur mit vollständigen Puzzles arbeiten können. Wenn man ihnen ein Puzzle mit Lücken gibt, bei dem die Lücken systematisch sind (MNAR), machen sie einen riesigen Fehler und liefern ein falsches Bild.

Die Lösung: Ein neuer Trick für den Puzzle-Löser

Die Autoren dieses Papers (Yuan Bian, Grace Y. Yi und Wenqing He) haben einen cleveren Weg gefunden, diesen Puzzle-Löser so umzuprogrammieren, dass er auch mit diesen systematischen Lücken zurechtkommt.

Sie nennen ihre Methode "Boosting mit fehlenden Daten". Aber wie machen sie das?

1. Der "Verzerrungs-Korrektor" (Die zwei Strategien)

Stellen Sie sich vor, der Algorithmus ist ein Richter, der Urteile fällt. Wenn ihm nur die Stimmen der Reichen vorliegen, ist sein Urteil unfair. Die Autoren schlagen zwei Methoden vor, um dem Richter zu helfen, die Stimmen der Schweigenden zu "erraten" und fair zu gewichten:

Methode A: Der Gewichts-Trick (IPW - Inverse Propensity Weighting)
- Die Analogie: Stellen Sie sich vor, Sie wissen, dass nur jeder zehnte Arme antwortet, aber jeder zehnte Reiche. Um das auszugleichen, sagen Sie dem Algorithmus: "Wenn du eine Antwort von einem Armen bekommst, zähle sie als wäre es 10 Antworten!" So wird die Gruppe der Armen im Gesamtbild wieder stark genug vertreten.
- Technisch: Sie berechnen eine Wahrscheinlichkeit, warum jemand geantwortet hat, und gewichten die Antworten entsprechend.
Methode B: Der "Buckley-James"-Trick (BJ)
- Die Analogie: Hier geht es noch einen Schritt weiter. Wenn eine Antwort fehlt, versuchen wir nicht nur, sie zu gewichten, sondern wir schätzen sie basierend auf dem, was wir über die Gruppe wissen.
- Wie? Sie sagen: "Okay, wir wissen nicht, wie viel Herr Müller verdient, weil er nicht geantwortet hat. Aber wir wissen, dass Herr Müller ähnliche Eigenschaften hat wie Herr Schmidt, der geantwortet hat. Also nehmen wir den Wert von Schmidt und passen ihn leicht an, um die Lücke zu füllen."
- Der Clou: Sie nutzen mathematische Tricks (Bayes-Regel), um zu erraten, wie die Verteilung der fehlenden Daten aussehen könnte, basierend auf den vorhandenen Daten.

2. Der Motor: Der "Lernende" (Boosting)

Der eigentliche Algorithmus (Boosting) funktioniert wie ein Schüler, der lernt:

Er macht eine erste Schätzung (ein schwacher Lernender).
Er schaut, wo er falsch lag.
Er korrigiert sich ein kleines bisschen.
Er wiederholt das tausendfach, bis er perfekt ist.

Die Autoren haben diesen Lernprozess so angepasst, dass er bei jedem Schritt die fehlenden Daten berücksichtigt. Statt einfach die Lücken zu ignorieren, nutzt er die oben genannten Tricks (Gewichtung oder Schätzung), um den "Fehler" korrekt zu berechnen, auch wenn die Daten fehlen.

Warum ist das wichtig?

Bisher mussten Forscher oft Daten wegwerfen, wenn sie fehlten, oder sie haben einfach angenommen, es sei Zufall (was oft falsch ist). Das führt zu falschen Vorhersagen in der Medizin, Wirtschaft oder Sozialwissenschaft.

Diese neue Methode sagt: "Wir wissen, dass die Daten fehlen, und wir wissen, warum sie fehlen könnten. Also bauen wir das in unsere Rechnung ein."

Das Ergebnis

In Tests (Simulationen) haben die Autoren gezeigt, dass ihre Methode:

Genauer ist: Sie macht weniger Fehler als die alten Methoden, wenn Daten systematisch fehlen.
Robust ist: Sie funktioniert auch, wenn man nicht zu 100 % sicher ist, wie genau die Daten fehlen (solange man einige Annahmen trifft).
Theoretisch bewiesen ist: Es ist nicht nur "Raten", es gibt mathematische Beweise, dass der Algorithmus mit der Zeit immer besser wird und das richtige Ergebnis findet.

Zusammenfassung in einem Satz

Die Autoren haben einen cleveren mathematischen "Korrekturmechanismus" entwickelt, der es Computern erlaubt, aus unvollständigen und verzerrten Daten (wie fehlenden Gehaltsangaben) trotzdem faire und genaue Vorhersagen zu treffen, indem sie die Lücken im Puzzle intelligent füllen oder gewichten, statt sie einfach zu ignorieren.

1. Problemstellung

Boosting ist eine etablierte Machine-Learning-Technik, die schwache Lernalgorithmen durch iterative Prozesse in starke Vorhersagemodelle verwandelt. Die meisten bestehenden Boosting-Verfahren gehen jedoch von vollständig beobachteten Daten aus. In der Praxis treten häufig fehlende Werte auf, insbesondere bei der Zielvariable (Response).

Das Hauptproblem liegt in Daten, die nicht zufällig fehlen (MNAR – Missing Not at Random). Im Gegensatz zu MCAR (Missing Completely at Random) oder MAR (Missing at Random) hängt die Wahrscheinlichkeit, dass ein Wert fehlt, von dem fehlenden Wert selbst ab.

Herausforderung: Die direkte Anwendung herkömmlicher Boosting-Algorithmen auf MNAR-Daten führt zu verzerrten (biased) Ergebnissen.
Identifizierbarkeit: Ein zentrales theoretisches Hindernis bei MNAR-Daten ist das Problem der Nicht-Identifizierbarkeit. Ohne zusätzliche Annahmen oder Instrumentvariablen können die gemeinsame Verteilung der Zielvariable und des Fehlmechanismus nicht eindeutig aus den beobachteten Daten bestimmt werden.

2. Methodik

Die Autoren entwickeln ein semiparametrisches Framework, um Boosting für MNAR-Daten anzupassen. Der Kernansatz besteht darin, die Verlustfunktion (Loss Function) so zu modifizieren, dass der Erwartungswert der ursprünglichen Verlustfunktion über die vollständigen Daten erhalten bleibt, auch wenn nur unvollständige Daten vorliegen.

A. Anpassung der Verlustfunktion

Es werden zwei Strategien zur Korrektur der Verlustfunktion $L^*(y, f(x), r)$ vorgestellt:

Inverse Propensity Weighting (IPW):
Die Verlustfunktion wird mit dem Kehrwert der Propensity (Wahrscheinlichkeit, dass der Wert beobachtet wird, $\pi(y, x)$ ) gewichtet:
$L_{IPW} = \frac{r \cdot L(y, f(x))}{\pi(y, x)}$
Dies nutzt nur vollständige Beobachtungen, gewichtet sie jedoch entsprechend ihrer Repräsentativität.
Buckley-James-Typ (BJ):
Diese Methode versucht, auch Informationen von Fällen mit fehlenden Antworten zu nutzen. Sie ergänzt den Verlust durch einen Erwartungswert für die fehlenden Fälle:
$L_{BJ} = r \cdot L(y, f(x)) + (1-r) \cdot \Psi_0(x)$
wobei $\Psi_0(x) = E\{L(Y, f(X)) | X=x, R=0\}$ ist. Da die Verteilung $f(y|x, R=0)$ nicht direkt beobachtbar ist, wird sie über Bayes-Theorem unter Verwendung der beobachteten Verteilung $f(y|x, R=1)$ und des Propensity-Modells $\pi(y, x)$ rekonstruiert.

B. Semiparametrische Schätzung der unbekannten Funktionen

Da sowohl die Propensity-Funktion $\pi(y, x)$ als auch die bedingte Dichte $f(y|x, R=1)$ unbekannt sind, werden semiparametrische Schätzer verwendet:

Parametrische Modellierung: $\pi(y, x)$ wird parametrisch modelliert (z. B. Logit-Modell). Um die Schätzung trotz fehlender $Y$ -Werte zu ermöglichen, wird ein Verfahren von Morikawa und Kim (2021) genutzt, das auf identifizierenden Bedingungen (A1-A4) basiert und keine Instrumentvariablen erfordert.
Nichtparametrische Modellierung: $f(y|x, R=1)$ kann parametrisch oder nichtparametrisch (z. B. mittels Kernel-Dichteschätzung) geschätzt werden.
Robustheit: Die Schätzer für $\pi(y, x)$ bleiben konsistent, selbst wenn das Modell für $f(y|x, R=1)$ falsch spezifiziert ist (unter bestimmten Regularitätsbedingungen).

C. Algorithmus (Funktionaler Gradientenabstieg)

Die Minimierung der angepassten empirischen Risikofunktion erfolgt durch einen modifizierten Boosting-Algorithmus (Algorithmus 1):

Schätzung der unbekannten Komponenten ( $\pi$ und $f$ ).
Iterative Aktualisierung der Vorhersagefunktion $f^{(m)}$ durch Hinzufügen eines Schritts $\hat{\alpha}^{(m+1)}\hat{h}^{(m+1)}$ , wobei $\hat{h}$ den Gradienten der angepassten Verlustfunktion minimiert.
Die Iteration stoppt, wenn eine Konvergenzschwelle erreicht ist.

3. Theoretische Ergebnisse

Die Autoren leiten strenge theoretische Eigenschaften für die vorgeschlagenen Schätzer ab:

Konvergenz: Es wird gezeigt, dass der iterative Algorithmus (Algorithmus 1) gegen das optimale Risiko konvergiert. Der Abstand zum optimalen Risiko nimmt geometrisch mit der Anzahl der Iterationen ab.
Konsistenz: Der finale Schätzer $\hat{f}_{AL}$ ist konsistent. Das heißt, für $n \to \infty$ konvergiert der Schätzer in Wahrscheinlichkeit gegen die wahre Funktion $f^*$ (gemessen in der $L_\infty$ -Norm).
Diese Ergebnisse gelten unter den Identifizierbarkeitsbedingungen von Morikawa und Kim (2021) und Regularitätsbedingungen für die Verlustfunktion und die Kovariaten.

4. Simulationsergebnisse

Die Leistung der Methode wurde in umfangreichen Simulationsstudien (500 Wiederholungen, $n=1000$ ) unter verschiedenen Szenarien getestet:

Szenarien: Vergleiche zwischen MAR und MNAR, verschiedene Dimensionen der Kovariaten ( $p=2$ und $p=9$ ) und verschiedene Verlustfunktionen ( $L_1$ , $L_2$ , Huber).
Vergleichsmethoden:
- R (Reference): Boosting auf vollständigen Daten (Ideal).
- N (Naive): Boosting auf unvollständigen Daten ohne Korrektur (führt zu starken Verzerrungen bei MNAR).
- IPW, IPWN, BJ: Die vorgeschlagenen Methoden.
Ergebnisse:
- Unter MAR performen alle Methoden ähnlich gut.
- Unter MNAR zeigt die naive Methode (N) erhebliche Verzerrungen und hohe Fehler (S-MAE, S-RMSE).
- Die vorgeschlagenen Methoden (IPW, IPWN, BJ) liefern Ergebnisse, die denen der Referenzmethode (R) sehr nahe kommen und die Verzerrung effektiv eliminieren.
- Modellmisspezifikation: Die IPW-Methode ist robust gegenüber Misspezifikation der Dichtefunktion $f(y|x, R=1)$ , solange das Propensity-Modell $\pi(y, x)$ korrekt ist. Eine Misspezifikation von $\pi$ führt jedoch zu Verzerrungen.
- Bei hochdimensionalen Daten ( $p=9$ ) stößt die nichtparametrische Variante (IPWN) an Grenzen (Fluch der Dimensionalität), während die parametrische IPW-Methode stabil bleibt.

5. Anwendung auf reale Daten (KLIPS)

Die Methode wurde auf den Korean Labor and Income Panel Survey (KLIPS) angewendet, um das Einkommen von Arbeitnehmern basierend auf dem Vorjahres-Einkommen, Alter und Geschlecht vorherzusagen.

Die Daten weisen ca. 30,6 % fehlende Werte bei der Zielvariable auf.
Die vorgeschlagenen Methoden (IPW, IPWN, BJ) lieferten konsistente Vorhersagen, die sich deutlich von der verzerrten naiven Methode unterschieden, insbesondere an den Rändern des Kovariatenbereichs.

6. Bedeutung und Beitrag

Theoretische Lücke: Das Paper schließt eine wichtige Lücke, indem es Boosting-Verfahren theoretisch fundiert für den MNAR-Fall erweitert, wo bisher meist nur MCAR/MAR behandelt wurden.
Praktische Relevanz: Es bietet eine robuste Lösung für reale Datensätze, bei denen fehlende Werte systematisch mit dem Zielwert korrelieren (z. B. Nicht-Antworten bei hohen Einkommen).
Flexibilität: Durch die Verwendung angepasster Verlustfunktionen ist das Framework auf verschiedene Verlustfunktionen ( $L_1, L_2$ , Huber) und andere Machine-Learning-Algorithmen (z. B. SVM, Neuronale Netze) übertragbar.
Identifizierbarkeit: Der Ansatz verzichtet auf die oft schwer zu findenden Instrumentvariablen und nutzt stattdessen testbare Identifizierungsbedingungen, was die Anwendbarkeit in der Praxis erhöht.

Zusammenfassend stellt das Paper einen rigorosen, semiparametrischen Ansatz vor, der Boosting-Methoden robust gegen nicht-zufällige fehlende Daten macht und dabei sowohl theoretische Garantien als auch gute praktische Performance in Simulationen und Real-Daten-Analysen liefert.