Technisches Resümee: Vorhersagemodelle, die lernen, fehlende Werte zu vermeiden

Problemstellung

Die Implementierung von Modellen des maschinellen Lernens in realen Szenarien wird häufig durch fehlende Werte behindert, insbesondere zum Zeitpunkt der Testung. Traditionelle Ansätze, wie etwa „Imputation-dann-Regression“ (Imputation fehlender Daten vor dem Training) oder die Verwendung von Indikatoren für das Fehlen von Werten, führen oft zu Bias, erhöhen die Modellkomplexität oder erschweren die Interpretierbarkeit. Während einige spezialisierte Modelle (z. B. XGBoost mit Standardpfaden oder Bayessche Netze) mit fehlenden Werten nativ umgehen können, sind diese oft auf spezifische Modellklassen beschränkt.

Die zentrale Herausforderung, die hier adressiert wird, ist der Zielkonflikt zwischen Vorhersagegenauigkeit und der Abhängigkeit von fehlenden Merkmalen. In sicherheitskritischen Bereichen wie dem Gesundheitswesen kann ein Modell, das imputierte Werte oder Merkmale erfordert, die zum Testzeitpunkt häufig nicht verfügbar sind, unzuverlässig oder schwer interpretierbar sein. Die Autoren schlagen ein Framework vor, bei dem Modelle darauf trainiert werden, Merkmale, die für einen spezifischen Input fehlen, strategisch zu vermeiden, anstatt das Modell dazu zu zwingen, sich auf imputierte Werte oder Masken für das Fehlen von Werten zu verlassen.

Methodik: Missingness-Avoiding (MA) Learning

Das Paper führt das Missingness-Avoiding (MA) Machine Learning ein, ein allgemeines Framework, das die Lernziele von Standardalgorithmen modifiziert, um die Abhängigkeit von fehlenden Werten zu sanktionieren. Die Zielfunktion minimiert einen Kompromiss zwischen dem erwarteten Vorhersageverlust und der erwarteten Abhängigkeit von fehlenden Werten:

$$\min_{h \in \mathcal{H}} \mathbb{E}_p[L(Y, h(X))] + \alpha \rho(h)$$

Wobei:

• $L$ der Vorhersageverlust ist.
• $\rho(h)$ die erwartete Abhängigkeit von fehlenden Werten ist, definiert als die Wahrscheinlichkeit, dass die Berechnung einer Vorhersage $h(x)$ den Zugriff auf ein fehlendes Merkmal $x_j$ (wobei $x_j = na$) erfordert.
• $\alpha \ge 0$ ein Hyperparameter ist, der die Stärke der Sanktionierung steuert.

Die Autoren leiten spezifische Algorithmen für drei Modellklassen ab:

1. MA Decision Trees (MA-DT)

Entscheidungsbäume sind für diese Aufgabe natürlich gut geeignet, da ihre Abhängigkeit von Merkmalen kontextabhängig ist; ein Merkmal wird nur benötigt, wenn es auf dem Entscheidungspfad für einen spezifischen Input erscheint.

• Mechanismus: Die Autoren modifizieren die gierigen Splitting-Algorithmen (wie C4.5 oder ID3). Während des Prozesses der Split-Selektion wird das Kriterium (z. B. Gini-Impurität) um einen Regularisierungsterm ergänzt.
• Regularisierung: Für einen Blattknoten $\ell$ und einen Kandidaten-Split $(j, \tau)$ enthält die Kostenfunktion eine Strafe, die proportional zum Anteil der Stichproben in diesem Blatt ist, bei denen das Merkmal $j$ fehlt.
• Kontextuelle Vermeidung: Der Algorithmus lernt, Stichproben mit fehlenden Werten in Zweige zu leiten, die das fehlende Merkmal nicht benötigen, und nutzt so effektiv die „kontextuelle Fehlstelle“ der Daten aus.

2. MA Sparse Linear Models (MA-LASSO)

Lineare Modelle können fehlende Werte nicht kontextuell vermeiden; wenn ein Koeffizient $\theta_j \neq 0$ ist, benötigt das Modell immer $x_j$.

• Mechanismus: Das Framework passt den LASSO-Ansatz (L1-Regularisierung) an.
• Regularisierung: Anstatt einer einheitlichen Strafe wird die Strafe für jedes Merkmal $j$ durch dessen empirische Fehlrate $m_j$ skaliert. Die Zielfunktion minimiert:
  $$\sum L(y_i, \theta^T x^I_i) + \sum_{j=1}^d (\lambda + \alpha m_j) |\theta_j|$$
• Effekt: Merkmale mit hohen Fehlraten erhalten eine größere Strafe, was das Modell dazu ermutigt, deren Koeffizienten auf Null zu setzen, wodurch die Abhängigkeit von fehlenden Daten reduziert wird.

3. MA Tree Ensembles (MA-RF und MA-GBT)

• MA Random Forest (MA-RF): Trainiert unabhängige MA-Bäume parallel. Jeder Baum minimiert das regularisierte Splitting-Kriterium.
• MA Gradient Boosted Trees (MA-GBT): Verwendet einen Boosting-Ansatz, bei dem nachfolgende Bäume die Residuen der vorherigen Bäume modellieren. Entscheidend ist, dass die Regularisierungsgewichte dynamisch aktualisiert werden. Wenn ein Merkmal $j$ bereits von einem vorherigen Modell für eine spezifische Beobachtung $x_i$ verwendet wurde (und dieses fehlte), werden nachfolgende Modelle weniger stark dafür bestraft, es erneut zu verwenden. Dies verhindert, dass das Ensemble über verschiedene Bäume hinweg eine übermäßige Abhängigkeit von fehlenden Merkmalen akkumuliert.

Zentrale Beiträge

1. Einführung des Frameworks: Der Vorschlag eines allgemeinen „Missingness-Avoiding“-Frameworks, das eine hohe Genauigkeit mit minimaler Abhängigkeit von fehlenden Merkmalen zum Testzeitpunkt vereint.
2. Algorithmische Implementierung: Die Entwicklung spezifischer, fit-predict-kompatibler Algorithmen für Entscheidungsbäume (MA-DT), dünnbesetzte lineare Modelle (MA-LASSO) und Tree-Ensembles (MA-RF, MA-GBT).
3. Theoretische Analyse:
   • Identifizierung von Observed Deterministic Data Collection (ODDC) Regeln, bei denen spezifische Kombinationen beobachteter Variablen die Anwesenheit anderer Variablen garantieren. Die Autoren beweisen, dass unter der Bedingung, dass solche Regeln existieren, Modelle eine Abhängigkeit von fehlenden Werten von Null erreichen können, ohne die Vorhersagegenauigkeit zu opfern.
   • Analyse von Limitationen, die aufzeigen, dass, wenn die Fehlstelle völlig zufällig (MCAR) ist oder wenn sich die Verteilung zum Testzeitpunkt signifikant verschiebt, der Zielkonflikt zwischen Genauigkeit und Abhängigkeit unvermeidbar sein kann.
4. Empirische Validierung: Demonstration über sechs reale Datensätze (darunter NHANES, ADNI und FICO) hinweg, dass MA-Modelle die Abhängigkeit von fehlenden Werten signifikant reduzieren (oft von 100 % auf nahezu 0 %) und dabei eine mit unregularisierten Baselines vergleichbare Vorhersageleistung (AUROC) beibehalten.

Experimentelle Ergebnisse

Die Autoren evaluierten MA-DT, MA-LASSO, MA-RF und MA-GBT gegen Standard-Baselines (imputationsbasierte Modelle, Indikatoren für das Fehlen wie M-GAM sowie native Handler wie XGBoost und NeuMiss) auf sechs Datensätzen.

• Performance vs. Abhängigkeit: MA-Modelle erreichten konsistent eine geringere Abhängigkeit von fehlenden Werten ($\hat{\rho}$) als ihre unregularisierten Gegenstücke. Beispielsweise reduzierte MA-DT die Abhängigkeit beim ADNI-Datensatz von ca. 11,7 % auf 0,1 %, während eine vergleichbare AUROC beibehalten wurde.
• Vergleich zu Baselines:
  • MA-Modelle übertrafen oder glichen Standard-Imputationsmethoden (Zero Imputation, MICE) hinsichtlich der Reduktion der Abhängigkeit.
  • MA-DT und MA-RF erreichten eine signifikant geringere Abhängigkeit als XGBoost und Random Forests, die oft stark auf fehlende Merkmale angewiesen sind.
  • MA-LASSO reduzierte die Abhängigkeit im Vergleich zu Standard-LASSO erheblich, bei minimalem Verlust an AUROC.
  • Während MINTY (ein verwandtes regelbasiertes Modell) eine geringe Abhängigkeit erreichte, war MA-LASSO signifikant schneller zu trainieren (unter 1 Sekunde gegenüber bis zu 292 Sekunden).
• Zielkonflikt: Die Experimente bestätigten, dass ein günstiger Kompromiss erzielbar ist. Durch die Abstimmung von $\alpha$ können Praktiker Modelle auswählen, die auf der Pareto-Front von Genauigkeit und Vermeidung von Fehlstellen operieren.

Bedeutung und Ansprüche

Das Paper behauptt, dass MA-Learning ein leistungsfähiges Werkzeug für Praktiker bietet, die Interpretierbarkeit und Robustheit in Gegenwart fehlender Daten benötigen.

• Interpretierbarkeit: Durch die Vermeidung der Abhängigkeit von fehlenden Merkmalen bleiben die Entscheidungspfade von MA-Modellen transparent und hängen nicht von der undurchsichtigen Logik der Imputation oder den komplexen Interaktionen ab, die durch Indikatoren für das Fehlen von Werten eingeführt werden.
• Praktikabilität: Der Ansatz erfordert keine spezialisierten Architekturen (wie NeuMiss) oder komplexe Imputations-Pipelines. Er kann in bestehende Workflows unter Verwendung vorhandener Tree- und Linear-Model-Libraries integriert werden.
• Machbarkeit: Die Autoren argumentieren, dass es in vielen realen Szenarien (insbesondere solchen, die durch ODDC-Regeln gesteuert werden, wie klinische Leitlinien) möglich ist, Modelle zu bauen, die sowohl hochgradig genau als auch völlig frei von einer Abhängigkeit von fehlenden Werten sind. Dies stellt die Annahme in Frage, dass fehlende Daten immer imputiert oder indiziert werden müssen, um eine gute Leistung zu erzielen.

Das Werk kommt zu dem Schluss, dass, obwohl die vollständige Vermeidung fehlender Werte in allen Szenarien (z. B. wenn das Fehlen rein zufällig ist oder auf eine Weise informativ ist, die nicht ausnutzbar ist) nicht praktikabel sein mag, das MA-Framework eine fundierte Methode bietet, um diese Abhängigkeit zu minimieren, ohne den prädiktiven Nutzen zu beeinträchtigen.