🤖 machine learning

OverNaN: NaN-Aware Oversampling for Imbalanced Learning with Meaningful Missingness

Dieser Beitrag stellt OverNaN vor, ein leichtgewichtiges Oversampling-Framework, das Klassenungleichgewicht in unvollständigen Datensätzen adressiert, indem es synthetische Stichproben direkt auf Merkmalsvektoren mit fehlenden Werten generiert und dadurch informative Muster des Fehlens bewahrt, anstatt sie durch traditionelle Imputation oder Löschung zu eliminieren.

Ursprüngliche Autoren: Amanda S Barnard

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amanda S Barnard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „kaputte Puzzle"

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, verschiedene Autotypen zu erkennen. Sie zeigen ihm Fotos von roten Sportwagen und blauen LKWs. Doch in vielen der Fotos fehlen Teile des Bildes – vielleicht ist das Nummernschild unscharf oder der Seitenspiegel abgeschnitten.

In der Welt des maschinellen Lernens werden diese fehlenden Stücke als NaNs (Not a Number) bezeichnet.

Traditionell behandeln Datenwissenschaftler diese fehlenden Stücke wie Defekte. Sie haben zwei Hauptmethoden, um sie zu beheben, bevor sie den Computer unterrichten:

Das Foto wegwerfen: Wenn einem Foto ein Spiegel fehlt, löschen sie das gesamte Bild. Das ist schlecht, wenn Sie bereits nur wenige Bilder dieses spezifischen Autotyps haben (eine „Minderheitenklasse").
Das fehlende Teil raten: Sie verwenden Mathematik, um zu erraten, wie der fehlende Spiegel aussieht, und füllen ihn ein. Dies nennt man Imputation.

Das Papier argumentiert, dass beide traditionellen Methoden fehlerhaft sind. Das Wegwerfen von Daten verschlimmert das Problem, wenn Sie ohnehin bereits einen Mangel an Daten haben. Das Raten der fehlenden Teile erzeugt fiktive Gewissheit – der Computer glaubt zu wissen, wie der Spiegel aussieht, aber es ist nur eine Vermutung, was das Modell verwirren kann.

Die neue Idee: OverNaN

Die Autorin Amanda Barnard stellt ein neues Werkzeug namens OverNaN vor.

Stellen Sie sich OverNaN nicht als Reparaturtrupp vor, sondern als einen Kopierer, der die fehlenden Stücke respektiert.

Anstatt die fehlenden Teile zu reparieren oder die Fotos wegzuwerfen, sagt OverNaN: „Lasst uns die fehlenden Teile fehlen lassen, aber macht mehr Kopien dieser Fotos, damit der Computer besser lernt."

Das ist entscheidend, weil in vielen realen Situationen (wie in der Wissenschaft oder im Ingenieurwesen) fehlende Daten kein Zufall sind; sie sind bedeutsam.

Die Analogie: Stellen Sie sich ein Rezept für einen Kuchen vor. Wenn das Rezept sagt „Fügen Sie 2 Eier hinzu", Sie aber keine Eier haben, raten Sie nicht einfach „2 Eier" und schreiben es auf. Die Tatsache, dass die Zutat fehlt, sagt Ihnen etwas über das Rezept aus (vielleicht ist es eine vegane Version). Wenn Sie es mit einer Vermutung ausfüllen, verderben Sie das Rezept. OverNaN lässt die Stelle des „fehlenden Eies" leer, damit das Muster wahr bleibt.

Wie es funktioniert (Der „magische" Trick)

Normalerweise verwenden wir eine Technik namens SMOTE, um einem Computer mehr über eine seltene Art von Auto beizubringen. Dies funktioniert, indem man zwei Fotos seltener Autos nimmt und ein neues, gefälschtes Foto genau in der Mitte zwischen ihnen zeichnet.

Der alte Weg: Wenn einem Foto ein Spiegel fehlt, würde die alte Methode erraten, wie der Spiegel aussieht, ein neues Auto mit einem „geratenen" Spiegel zeichnen und auf das Beste hoffen.
Der OverNaN-Weg: Es betrachtet die beiden Fotos.
- Wenn beide einen Spiegel haben, zeichnet es ein neues Auto mit einem Spiegel.
- Wenn eines von ihnen einen fehlenden Spiegel hat, erhält das neue gefälschte Auto ebenfalls einen fehlenden Spiegel.

Es behandelt das „Fehlen" als Eigenschaft der Daten, genau wie die Farbe oder die Form. Es erstellt neue synthetische Beispiele, die den echten genau entsprechen, einschließlich ihrer Löcher und Lücken.

Drei Wege, um die Lücken zu handhaben

Das Papier erklärt, dass OverNaN Ihnen drei verschiedene „Strategien" bietet, um mit diesen fehlenden Stücken beim Erstellen neuer Kopien umzugehen:

Die „konservative" Strategie (Muster bewahren): Wenn entweder eines der Originalfotos ein fehlendes Stück hatte, erhält die neue Kopie ebenfalls ein fehlendes Stück. Sie ist sehr vorsichtig, nichts Neues zu erfinden.
Die „Ausfüll"-Strategie (Selektive Interpolation): Wenn beide Originalfotos das Stück haben, füllt es es ein. Wenn nur eines es hat, lässt es die neue Kopie leer.
Die „statistische" Strategie (Probabilistisch): Es betrachtet, wie oft Dinge in der realen Welt fehlen, und versucht, dieses Muster zufällig zu kopieren.

Warum ist das wichtig? (Das Graphen-Beispiel)

Das Papier testet dies an einem echten wissenschaftlichen Problem: die Vorhersage, ob ein winziges Stück Graphenoxid (ein Material, das in Batterien und der Medizin verwendet wird) eine bestimmte chemische Gruppe daran gebunden hat.

Die Situation: Manche chemischen Bindungen existieren in bestimmten Strukturen einfach nicht. Es ist nicht so, dass die Wissenschaftler vergessen haben, sie zu messen; die Bindung ist physisch abwesend.
Das Problem mit alten Methoden: Wenn Sie die alte „Rate"-Methode verwenden, könnten Sie dem Computer sagen, dass eine Bindung existiert, obwohl sie es tatsächlich nicht tut. Das ist so, als würde man einem Koch sagen, er solle Salz zu einem Gericht hinzufügen, das salzfrei sein soll.
Das OverNaN-Ergebnis: Indem die „fehlende Bindung" als fehlender Wert belassen wurde, lernte der Computer, die Struktur korrekt zu erkennen. In den Tests war OverNaN genauer und konsistenter als Methoden, die versuchten, die Lücken auszufüllen oder die Daten zu löschen.

Das Fazit

OverNaN ist ein Werkzeug für Fälle, in denen Ihre Daten unordentlich, unvollständig und unausgewogen sind (wo ein Datentyp selten ist).

Anstatt zu versuchen, die fehlenden Daten durch Raten oder Löschen zu „reparieren", sagt OverNaN: „Die fehlenden Daten sind Teil der Geschichte." Es erstellt mehr Beispiele der seltenen Daten, während es die Löcher in den Daten genau dort belässt, wo sie hingehören, und ermöglicht dem Computer, die Wahrheit zu lernen, ohne von falschen Vermutungen getäuscht zu werden.

Es ist für Wissenschaftler und Ingenieure konzipiert, die mit kleinen, kniffligen Datensätzen arbeiten, bei denen „was fehlt" genauso wichtig ist wie „was da ist".

Technische Zusammenfassung: OverNaN – NaN-bewusstes Oversampling für ungleiches Lernen mit bedeutungsvollen fehlenden Werten

1. Problemstellung

In der angewandten maschinellen Lernforschung, insbesondere in den Naturwissenschaften, im Ingenieurwesen und in der Biomedizin, entstehen fehlende Werte oft durch strukturelle Zwänge (z. B. zerstörende Messungen, ethische Beschränkungen oder bedingte Ergebnisse) und nicht durch stochastisches Rauschen. Folglich kann das Fehlen von Daten domänenspezifische Informationen tragen. Standard-Pipelines für maschinelles Lernen behandeln fehlende Werte jedoch typischerweise als Defekte, die vor der Analyse durch listweise Löschung oder Imputation beseitigt werden müssen.

Dieser Ansatz ist in Szenarien des ungleichen Lernens (imbalanced learning) besonders schädlich, in denen Minderheitenklassen bereits unterrepräsentiert sind. Die Löschung entfernt unverhältnismäßig viele Stichproben der Minderheit und verschärft so das Ungleichgewicht, während die Imputation Unsicherheit in Punktschätzungen kollabiert, künstliche Gewissheit einführt und potenziell modellabhängige Verzerrungen erzeugt. Darüber hinaus gehen weit verbreitete synthetische Oversampling-Techniken wie SMOTE und ADASYN implizit von vollständigen Merkmalsvektoren aus und zwingen Praktiker dazu, fehlende Daten vor der Generierung synthetischer Stichproben zu imputieren. Dieser Prozess löscht die Muster struktureller Fehlendenwerte vor dem Oversampling und verzerrt potenziell Klassengrenzen und die Geometrie des Merkmalsraums.

2. Methodik: OverNaN

OverNaN ist ein leichtgewichtiges, NaN-bewusstes Oversampling-Framework, das entwickelt wurde, um Klassenungleichgewichte zu adressieren, ohne die Struktur der fehlenden Werte zu löschen. Es erweitert gängige synthetische Oversampling-Methoden (SMOTE, ADASYN, ROSE), um direkt auf unvollständigen Merkmalsvektoren zu operieren und behandelt den Merkmalsraum als $(\mathbb{R} \cup \{\text{NaN}\})^d$ anstelle von $\mathbb{R}^d$ .

Grundlegende Designprinzipien

Strukturelle Integrität: Fehlende Werte werden als strukturelle Elemente und nicht als Defekte behandelt. Synthetische Stichproben können legitimerweise NaNs enthalten, wenn die Originaldaten solche Muster unterstützen.
Keine künstliche Gewissheit: Oversampling führt keine inferierten Werte ein, wo keine beobachtet wurden, und vermeidet so die Kodierung ungerechtfertigter Annahmen.
Explizite Kontrolle: Strategien zum Umgang mit fehlenden Werten sind explizit und vom Benutzer definiert, anstatt implizite Nebeneffekte der Vorverarbeitung zu sein.

Algorithmische Implementierung

OverNaN modifiziert die Nachbarschaftsdefinition und den Prozess der Stichprobengenerierung bestehender Methoden:

Distanzberechnung: Distanzen zwischen Stichproben $x_i$ und $x_j$ werden nur über die Menge der gemeinsam beobachteten Dimensionen $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$ berechnet.
Merkmalsweise Generierung: Synthetische Stichproben $\tilde{x}$ $\tilde{x}$ werden merkmalsweise generiert. Für Dimensionen in $\Omega_{ij}$ $Ω_{ij}$ erfolgt eine Standard-Interpolation ( $\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$ $\tilde{x}_{k} = x_{ik} + λ (x_{j k} - x_{ik})$ ). Für Dimensionen außerhalb von $\Omega_{ij}$ $Ω_{ij}$ wird der Wert durch eine von drei expliziten Strategien bestimmt:
1. Muster-Erhaltung (Preserve-Pattern): Wenn ein Merkmal bei einem der Eltern NaN ist, behält die synthetische Stichprobe das NaN.
2. Selektive Interpolation: Interpolation erfolgt nur, wenn beide Eltern beobachtete Werte haben; andernfalls bleibt das Merkmal NaN.
3. Probabilistische Fehlendenwerte: Fehlendenwerte werden gemäß empirischen fehlenden-Werte-Raten pro Klasse gesampelt.

Rechnerische Eigenschaften

Kompatibilität: OverNaN operiert auf NumPy-Arrays und pandas DataFrames und erhält Container-Typen und Metadaten.
Komplexität: Es delegiert die Nachbarschaftssuche an bestehende Bibliotheken. Obwohl Distanzberechnungen auf beobachtete Teilräume beschränkt sind, bleibt die asymptotische Komplexität ähnlich wie bei den zugrunde liegenden Methoden ($O(Nd)$ pro Abfrage im Worst-Case).
Parallelisierung: Die Stichprobengenerierung ist trivial parallelisierbar, wendet OverNaN jedoch Parallelisierung auf Batch-Ebene konservativ an, um Race Conditions bei der NaN-Propagation zu vermeiden.
Numerische Stabilität: Es verlässt sich auf das IEEE-754-Standardverhalten von NaNs, propagiert NaNs absichtlich anstatt sie zu maskieren und geht davon aus, dass nachgelagerte Lernalgorithmen (z. B. baumbasierte Ensembles) NaN-tolerant sind.

3. Hauptbeiträge

Rahmenwerk-Entwicklung: Die Einführung von OverNaN, das NaN-Bewusstsein in SMOTE, ADASYN und ROSE integriert, ohne deren grundlegende geometrische Annahmen zu verändern, sondern nur den Definitionsraum.
Strategie-Definition: Die Formalisierung von drei distincten Strategien zum Umgang mit fehlenden Werten während des Oversamplings (Erhaltung, Selektiv, Probabilistisch), die es Praktikern ermöglichen, die Methode mit Domänenwissen in Einklang zu bringen.
Validierungssuite: Eine umfassende Testsuite, die die Funktionalität in Randfällen (z. B. einzelne Minderheitenstichproben, hohe NaN-Raten) und die Integration mit nachgelagerten Klassifikatoren wie XGBoost demonstriert.
Benchmarking: Empirische Evaluierung auf fünf OpenML-Datensätzen mit natürlichen fehlenden Werten und eine spezifische Anwendung auf einen Graphenoxid-Nanoflocken-Datensatz, bei dem Fehlendenwerte chemisch bedeutsam sind.

4. Experimentelle Ergebnisse

Synthetische und kontrollierte Datensätze

Grundlegende Funktionalität: OverNaN balancierte Klassen erfolgreich ohne Imputation neu. Unter der Standardstrategie preserve_pattern erhöhte sich die NaN-Rate im resamplten Datensatz (da synthetische Stichproben die Fehlendenwerte der Eltern erben), während ROSENaN Raten beibehielt, die näher am Original lagen, bedingt durch seine kernelbasierte Perturbation.
Klassifikator-Integration: In einer kontrollierten Aufgabe mit XGBoost verbesserten alle drei OverNaN-Varianten im Vergleich zu einer Baseline den Recall und die F1-Werte der Minderheitenklasse. SMOTENaN und ROSENaN erreichten perfekten Recall und F1 (1,000) für die Minderheitenklasse.
Vergleichende Leistung: Auf einem synthetischen Datensatz mit 11,9 % NaNs erzielte SMOTENaN die höchste ROC-AUC (0,802) und die niedrigste Kreuz-Fold-Varianz im Vergleich zu Pipelines, die das Löschen von Merkmalen, das Löschen von Instanzen oder eine Mittelwert-Imputation gefolgt von Standard-SMOTE beinhalteten.

Real-World-Benchmarks (OpenML)

Evaluiert auf fünf Datensätzen (labor, cylinder-bands, Titanic, soybean, car-evaluation):

ROSENaN erzielte konsistent die höchste mittlere Balanced Accuracy, Macro F1 und ROC AUC über die fünf Datensätze hinweg.
SMOTENaN lieferte moderate Verbesserungen gegenüber der Baseline.
ADASYN-NaN zeigte eine verbesserte ROC AUC, aber im Durchschnitt leicht niedrigere gethresholdete Metriken.
Laufzeit: ROSENaN blieb rechnerisch effizient (durchschnittlich 0,7 s), während ADASYN-NaN aufgrund der adaptiven Dichteschätzung langsamer war (16,5 s).

Anwendung: Graphenoxid-Nanoflocken

In einer Aufgabe zur Vorhersage von Carboxylgruppen auf Nanoflocken (39,8 % NaN-Rate, wobei Fehlendenwerte das strukturelle Fehlen spezifischer Bindungen anzeigen):

SMOTENaN übertraf sowohl die Pipelines „Merkmal-Löschen" als auch „Imputation + SMOTE" und erreichte eine Balanced Accuracy von $0,997 \pm 0,005$ und einen F1-Wert von $0,999 \pm 0,002$ .
Entscheidend bewahrte SMOTENaN die strukturelle Bedeutung fehlender Einträge (d. h. es wurden keine Bindungslängen für nicht existente Bindungen erfunden) und behielt den vollständigen Merkmalsraum bei, während Imputation synthetische Werte einführte und das Löschen von Merkmalen informative Deskriptoren verworfen hätte.

Imputation vs. OverNaN

Auf dem OpenML-Datensatz anneal (64,98 % NaN-Rate) erzeugten OverNaN-Varianten statistisch nicht unterscheidbare Balanced-Accuracy- und Macro-F1-Werte im Vergleich zu „Imputieren-dann-Oversampling"-Pipelines. Dies legt nahe, dass Imputation in diesen Settings keine strikte Voraussetzung für wettbewerbsfähige Leistung ist.

5. Bedeutung und Behauptungen

Die Arbeit postuliert, dass Fehlendenwerte oft ein Signal und kein Rauschen sind und dass deren Beseitigung vor dem Resampling den Lernprozess verzerren kann. Die Bedeutung von OverNaN liegt in:

Erhalt von Informationen: Es ermöglicht Praktikern, strukturelle Fehlendenmuster zu bewahren, die experimentelle Zwänge oder physikalische Realitäten widerspiegeln, anstatt Daten mit potenziell verzerrten Schätzungen zu „reparieren".
Explizite Unsicherheit: Es fördert die Behandlung von Unsicherheit als primäre Überlegung und verhindert die Einführung künstlicher Gewissheit in synthetische Daten.
Domänenanwendbarkeit: Es ist speziell auf wissenschaftliche und ingenieurtechnische Domänen mit kleinen, unvollständigen und unausgewogenen Datensätzen ausgerichtet, in denen Fehlendenwerte unvermeidbar und informativ sind.

Die Autoren stellen ausdrücklich fest, dass OverNaN keine universelle Lösung für fehlende Daten ist; es modelliert keine Mechanismen der Fehlendenwerte und leitet keine unbeobachteten Werte ab. Es ist als Alternative für Settings gedacht, in denen nachgelagerte Lernalgorithmen NaNs nativ verarbeiten können und in denen das strukturelle Fehlen von Daten bedeutsam ist. Das Framework priorisiert Interpretierbarkeit, Kontrolle über Annahmen und Reproduzierbarkeit gegenüber aggressiver Optimierung oder Hochdurchsatz-Fähigkeiten.