💻 computer science

Hybrid Imbalanced Regression Through Unified Data-Level and Algorithm-Level Balancing

Dieses Paper schlägt ein einheitliches hybrides Framework für imbalancierte Regression vor, das adaptives Balancing auf Datenebene (mittels zielzustandsbedingter Repräsentationslernens und Feature-Raum-Clustering) mit einem neuartigen Algorithmus-basierten Latent-Density Weighted Loss kombiniert, um die Einschränkungen bestehender eigenständiger Methoden effektiv zu adressieren und die Vorhersageleistung bei seltenen Zielwerten zu verbessern.

Ursprüngliche Autoren: Shermin Shahbazi, Hossein Mohammadi, Mohsen Afsharchi

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shermin Shahbazi, Hossein Mohammadi, Mohsen Afsharchi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Hauspreise vorherzusagen. In einer perfekten Welt würden Sie ihm 1.000 Beispiele von Häusern im Wert von 100.000 $ zeigen, 1.000 Beispiele von Häusern im Wert von 200.000 $ und 1.000 Beispiele von Häusern im Wert von 300.000 $. Der Roboter würde das Muster perfekt lernen.

Aber in der realen Welt sind Daten unordentlich. Vielleicht haben Sie 1.000 Beispiele von 100.000 $-Häusern, aber nur ein einziges Beispiel für eine 10 Millionen $ teure Villa. Das ist das Problem der imbalancierten Regression. Der Roboter wird so gut darin, die häufigen 100.000 $-Häuser vorherzusagen, dass er die seltenen 10-Millionen-Dollar-Villen völlig ignoriert. Wenn er schließlich eine Villa sieht, rät er „100.000 $“, weil das das ist, was er am besten kennt.

Dieses Paper schlägt ein „Hybrid-Framework“ vor, um dies zu beheben. Betrachten Sie dies als ein Fünf-Schritte-Coaching-Programm, das darauf ausgelegt ist, dem Roboter zu helfen, den seltenen, teuren Häusern Aufmerksamkeit zu schenken, ohne dabei den Verstand über die gewöhnlichen Häuser zu verlieren.

So funktionieren die fünf Schritte unter Verwendung einfacher Analogien:

Schritt 0: Die „Intelligente Karte“ (Adaptive Bin Partitioning)

Das Problem: Man kann nicht einfach „seltene Häuser“ sagen, da die Preise eine glatte Linie bilden und keine separaten Boxen wie „Rotes Haus“ vs. „Blaues Haus“ sind.
Die Lösung: Das Team erstellt eine dynamische Karte. Anstatt den Preisbereich in gleiche Abschnitte zu unterteilen (wie mit einem Lineal), schauen sie sich die Daten an, um zu sehen, wo die „Klumpen“ sind. Wenn es eine riesige Lücke zwischen 100.000 $ und 1 Mio. $ gibt, ziehen sie dort eine Linie. Wenn die Daten glatt verlaufen, schneiden sie nicht ein.
Die Analogie: Stellen Sie sich vor, Sie organisieren eine Bibliothek. Anstatt Bücher nach der exakten Seitenzahl zu sortieren (was unordentlich ist), schauen Sie sich die Geschichten an. Sie gruppieren alle „Kurzgeschichten“ zusammen und alle „Romane“ zusammen, basierend darauf, wie die Geschichten tatsächlich fließen. Dies hilft dem Roboter, die „seltenen“ Abschnitte klar zu erkennen.

Schritt 1: Der „Übersetzer“ (Representation Learning)

Das Problem: Die Rohdaten (Quadratmeterzahl, Anzahl der Zimmer) sind zu verrauscht und komplex, damit der Roboter die seltenen Muster findet.
Die Lösung: Sie verwenden ein spezielles Werkzeug namens CVAE (Conditional Variational Autoencoder). Denken Sie an diesen als einen Übersetzer, der die unordentlichen Hausdaten in eine „Geheimsprache“ (einen latenten Raum) umwandelt, in der die seltenen Häuser sehr deutlich von den gewöhnlichen Häusern unterscheidbar sind.
Die Analogie: Stellen Sie sich vor, der Roboter versucht, eine Fremdsprache zu verstehen. Dieser Schritt übersetzt die Daten in eine Sprache, die der Roboter fließend spricht, sodass die „seltenen“ Wörter deutlich gegen die „gewöhnlichen“ Wörter hervorstechen.

Schritt 2: „Kopieren, Einfügen & Polieren“ (Data-Level Balancing)

Das Problem: Selbst mit der Geheimsprache gibt es immer noch zu wenige Beispiele für die seltenen Häuser. Der Roboter braucht mehr Übung.
Die Lösung: Sie kopieren und fügen die seltenen Häuser nicht einfach nur ein (was schummeln und verwirrend wäre). Stattdessen finden sie die „Nachbarschaften“ der seltenen Häuser in der Geheimsprache und erstellen neue, synthetische Beispiele, die perfekt in diese Nachbarschaft passen.
Die Analogie: Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein seltenes Rezept zu lernen, aber Sie haben nur eine einzige Zutatenliste. Sie kopieren nicht einfach die Liste; Sie nutzen die Liste, um das Geschmacksprofil zu verstehen, und erstellen dann einige neue, leicht abgewandelte Versionen des Gerichts, die exakt richtig schmecken. Jetzt haben Sie genug Übungsgerichte, um das Rezept zu lernen.

Schritt 3: Der „Strenge Coach“ (Algorithm-Level Balancing)

Das Problem: Selbst mit mehr Übungsdaten könnte der Roboter die seltenen Beispiele immer noch ignorieren, weil er faul ist und seine Gesamtzahl der Fehler minimieren möchte.
Die Lösung: Sie ändern das Bewertungssystem (die Loss-Funktion). Wenn der Roboter einen Fehler bei einem gewöhnlichen Haus macht, bekommt er eine kleine Strafe. Wenn er einen Fehler bei einem seltenen Haus macht, bekommt er eine massive Strafe.
Die Analogie: Stellen Sie sich ein Videospiel vor. Normalerweise bekommen Sie 10 Punkte für das Besiegen eines Goblins. Aber wenn Sie einen seltenen Drachen besiegen, bekommen Sie 1.000 Punkte. Der Roboter realisiert: „Hey, ich sollte besser auf die Drachen achten!“ Dies zwingt den Roboter, den seltenen Datenpunkten Bedeutung beizumessen.

Schritt 4: Der „Mixer“ (Final Fusion)

Das Problem: Der Roboter hat nun zwei verschiedene Arten zu denken: eine basierend auf den zusätzlichen Übungsdaten (Schritt 2) und eine basierend auf dem strengen Bewertungssystem (Schritt 3). Wie kombinieren wir das?
Die Lösung: Sie verwenden einen Gated Fusion-Mechanismus. Dies ist wie ein intelligenter Manager, der sich jedes spezifische Haus ansieht und entscheidet: „Für dieses Haus vertraue ich den Übungsdaten mehr“ oder „Für jenes Haus vertraue ich dem strengen Scoring mehr.“
Die Analogie: Es ist wie ein Richter, der zwei Anwälten zuhört. Für manche Fälle hört der Richter auf Anwalt A; für andere Fälle auf Anwalt B. Der Richter (die Fusion) weiß genau, wann er welchem Experten zuhören muss, um das beste Urteil zu erhalten.

Was haben sie herausgefunden?

Die Autoren haben dieses „Coaching-Programm“ auf 16 verschiedenen Datensätzen getestet (wie die Vorhersage von Hauspreisen, Weinqualität und Maschinen-Drehmoment).

Das Ergebnis: Der hybride Ansatz (unter Verwendung aller 5 Schritte) war signifikant besser als die Verwendung nur der „Kopieren & Einfügen“-Methode oder nur der „Strenge Coach“-Methode allein. Er war auch viel besser als Standard-Roboter, die kein spezielles Coaching erhielten.
Der Haken: Dieses Programm funktioniert am besten, wenn man viel Daten hat (tausende Beispiele). Wenn man nur einen winzigen Datensatz hat (wie 100 Beispiele), kann das Programm verwirrt werden und tatsächlich schlechter abschneiden als ein einfacher Roboter. Es braucht genügend „Schüler“, um effektiv lehren zu können.

Zusammenfassung

Dieses Paper baut ein universelles Trainingssystem für die Vorhersage kontinuierlicher Zahlen (wie Preise oder Temperaturen), wenn die Daten schief verteilt sind. Es kombiniert das Erschaffen von mehr Daten (um die Lücken zu füllen) und das Ändern der Regeln (um Aufmerksamkeit auf die Lücken zu lenken) zu einer leistungsstarken Pipeline. Es ist, als würde man einem Schüler sowohl ein besseres Lehrbuch als auch einen strengeren Lehrer geben, um sicherzustellen, dass er die schwierigen, seltenen Themen genauso gut lernt wie die einfachen.

Technisches Resümee: Hybride Imbalancierte Regression durch vereinheitlichte daten- und algorithmenseitige Ausgleichsverfahren

Problemstellung

Imbalanziertes Lernen stellt eine kritische Herausforderung im maschinellen Lernen dar, bei der unterrepräsentierte Zielwerte zu verzerrten Modellen führen, die bei seltenen, aber hochwirksamen Phänomenen schlecht abschneiden. Während dies im Bereich der Klassifizierung mit schiefen Klassenverteilungen intensiv untersucht wurde, bleibt die imbalancierte Regression – charakterisiert durch nicht-gleichmäßige Dichten in kontinuierlichen Zielräumen – weitgehend unerforscht.

Bestehende Ansätze in der imbalancierten Regression lassen sich typischerweise in zwei Kategorien unterteilen, die jeweils mit distinkten Einschränkungen behaftet sind:

Datenbasierte Methoden: Diese synthetisieren Stichproben (z. B. durch Oversampling), um spärliche Regionen anzureichern. Obwohl intuitiv und modellagnostisch, bergen sie das Risiko, synthetisches Rauschen einzuführen oder Overfitting zu verursachen, insbesondere bei komplexen Verteilungen.
Algorithmenseitige Methoden: Diese passen Verlustfunktionen an, um seltene Zielbereiche zu priorisieren, ohne die Daten zu modifizieren. Obwohl prinzipienorientiert, haben sie oft Schwierigkeiten mit schweren Imbalancen und komplexen Verteilungen, da ihnen die komplementären Vorteile der Datenanreicherung fehlen.

Der aktuellen Literatur fehlt ein wahrhaft hybrider Ansatz, der die datenbasierte Stichprobensynthese eng mit expliziten, stichprobenweisen kosten-sensitiven oder gewichteten Verlustfunktionen während des Trainings eines einzelnen neuronalen Regressors integriert. Die meisten existierenden „hybriden“ Versuche stützen sich auf Ensemble-Strategien oder sind auf nicht-tabellarische Domänen beschränkt, wodurch sie scheitern, diese Strategien in einer End-to-End-Pipeline für Standard-Regressionsaufgaben zu vereinheitlichen.

Methodik

Die Autoren schlagen ein fünfphasiges, regressor-agnostisches Hybrid-Framework vor, das datenbasierte und algorithmenseitige Strategien synergetisch in eine vereinheitlichte Pipeline integriert. Das Framework ist so konzipiert, dass es vorgelagert zu jedem Standard-Regressor angewendet werden kann.

Phase 0: Adaptive Partitionierung des Zielraum-Bins

Um das Fehlen diskreter Klassenlabels in der Regression zu adressieren, segmentiert das Framework den kontinuierlichen Zielraum zunächst in statistisch kohärente Bins.

Mechanismus: Es verwendet eine adaptive Bin-Partitionierung, die durch lokale $R^2$ -Kohärenzwerte gesteuert wird. Ein einfacher linearer Regressor wird innerhalb Kandidatenintervallen gefittet; wenn der $R^2$ -Wert einen Schwellenwert ( $\tau$ ) überschreitet und die Bin-Größe ein datengesteuertes Minimum ( $M$ ) erfüllt, wird das Bin akzeptiert. Andernfalls wird das Intervall rekursiv gespalten.
Signifikanz: Dies transformiert das kontinuierliche Problem in eine klassenähnliche Struktur, was eine lokale Wahrnehmung von Spärlichkeit ermöglicht und nachfolgende Ausgleichsvorgänge erleichtert. Die minimale Bin-Größe $M$ wird dynamisch unter Verwendung einer Kombination aus einem Anteil der Datensatzgröße und dem Inversen der Spitzen-KDE-Dichte (Kernel Density Estimation) berechnet, um die statistische Zuverlässigkeit zu gewährleisten.

Phase I: Repräsentationslernen

Rohmerkmale in spärlichen Regionen erfassen oft nicht die notwendigen latenten Strukturen.

Mechanismus: Ein Conditional Variational Autoencoder (CVAE) wird trainiert, konditioniert auf die kontinuierliche Zielvariable $y$ . Der Encoder bildet Eingangsmerkmale $x$ und Zielvariable $y$ auf einen latenten Raum $z$ ab, während der Decoder $x$ aus $z$ und $y$ rekonstruiert.
Signifikanz: Dies erzeugt zielbewusste latente Einbettungen, die prädiktive Muster im Einklang mit der Output-Verteilung erfassen, einschließlich spärlich besiedelter Regionen. Die probabilistische Natur des CVAE ermöglicht zudem eine unsicherheitbewusste Repräsentation.

Phase II: Datenseitiger Ausgleich

Diese Phase adresst die Knappheit von Stichproben sowohl im Ziel- als auch im Merkmalsraum durch eine mehrstufige Strategie.

Schritt 1 (Clustering): Innerhalb jedes adaptiven Bins aus Phase 0 wird DBSCAN auf die latenten Repräsentationen angewendet, um spärliche Minderheiten-Cluster zu identifizieren.
Schritt 2 (Oversampling): Eine lokalisierte SMOGN-Technik (Synthetic Minority Oversampling Technique for Regression with Gaussian Noise) wird auf diese Minderheiten-Cluster angewendet. Im Gegensatz zum globalen Oversampling wird dies durch eine clusterspezifische Relevanzfunktion $\phi_C(y)$ geleitet, um seltene Zielwerte innerhalb des spezifischen Cluster-Kontexts zu priorisieren.
Output: Ein flaches MLP wird auf dem augmentierten Datensatz (Original + Synthetisch) trainiert, und die verborgenen Aktivierungen der Originalproben ( $h_{data}$ ) werden extrahiert. Dies stellt sicher, dass die Merkmale von der Geometrie der synthetischen Nachbarn profitieren, während die exakte Korrespondenz mit den Originalinstanzen gewahrt bleibt.

Phase III: Algorithmenseitiger Ausgleich

Diese Phase passt das Lernziel an, um unterrepräsentierte Regionen zu betonen, ohne die Daten weiter zu modifizieren.

Mechanismus: Ein neuartiger Latent-Density Weighted Loss (LDWL) wird eingeführt. Die Verlustfunktion gewichtet Stichproben basierend auf ihrer gemeinsamen Seltenheit in zwei Räumen:
1. Latent Space ( $Z$ ): Dichte geschätzt via KDE über die CVAE-latenen Repräsentationen.
2. Target Space ( $Y$ ): Dichte geschätzt via KDE innerhalb der in Phase 0 definierten adaptiven Bins.
Formel: Das Gewicht $w_i$ für eine Stichprobe ist umgekehrt proportional zum Produkt seiner latenten Dichte und seiner bin-konditionierten Ziel-Dichte. Ein Regularisierungsterm bestraft übermäßig große Gewichte, um Overfitting auf Ausreißer zu verhindern.
Output: Ein MLP wird unter Verwendung von LDWL trainiert, und die verborgenen Aktivierungen der Originalproben ( $h_{alg}$ ) werden extrahiert.

Phase IV: Finale Fusion

Die letzte Phase integriert die komplementären Stärken der datenseitigen und algorithmenseitigen Repräsentationen.

Mechanismus: Ein Attention-basierter Gated-Fusion-Mechanismus konkateniert $h_{data}$ und $h_{alg}$ . Ein Gating-Netzwerk lernt dynamisch instanzspezifische Gewichte ( $\alpha_i$ ), um die beiden Feature-Ströme zu mischen: $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$ .
Signifikanz: Dies ermöglicht es dem Modell, adaptiv die informativsten Merkmale für jede Stichprobe zu priorisieren, wodurch eine robuste, angereicherte Repräsentation erzeugt wird, die bereit für jeden Downstream-Regressor ist.

Zentrale Beiträge

Vereinheitlichtes Hybrides Framework: Die erste End-to-End-Pipeline, die datenseitige Stichprobensynthese (via lokalisiertem SMOGN) eng mit einem expliziten, stichprobenweisen kosten-sensitiven Reweighting (via LDWL) für die imbalancierte Regression verbindet.
Adaptive Bin-Partitionierung: Ein neuartiger Vorverarbeitungsschritt, der lokale $R^2$ -Kohärenz nutzt, um kontinuierliche Zielräume dynamisch zu segmentieren und so klassenähnliche Strukturen zu emulieren, die ein effektives Handling von Imbalancen ermöglichen.
Latent-Density Weighted Loss (LDWL): Eine neue Verlustfunktion, die seltene Stichproben priorisiert, indem sie deren Dichte im latenten Merkmalsraum (erlernt via CVAE) und im Zielraum (innerhalb adaptiver Bins) gemeinsam betrachtet.
Mehrstufiger Datenausgleich: Eine Strategie, die Feature-Raum-Clustering (DBSCAN) mit lokalisiertem Oversampling kombiniert, um spärliche Regionen anzureichern und gleichzeitig den Bias durch synthetische Daten zu minimieren.
Regressor-Agnostisches Design: Das Framework liefert einen fusionierten Feature-Vektor, der nahtlos in jeden Standard-Regressionsalgorithmus (linear, baumbasiert oder neuronal) integriert werden kann.

Experimentelle Ergebnisse

Das Framework wurde auf 16 Benchmark-Regressionsdatensätzen (z. B. California Housing, Wine Quality, Abalone) über sechs verschiedene Regressoren (MLP, XGBoost, Lineare Regression, KNN, SVR, Ridge) hinweg evaluiert.

Performance: Die hybride Pipeline übertraf konsistent sowohl die alleinigen datenseitigen als auch die alleinigen algorithmenseitigen Methoden sowie die Standard-Baseline-Regressoren ohne Imbalance-Handling.
Metriken: Verbesserungen wurden über RMSE, MAE und den Determinationskoeffizienten ( $R^2$ ) beobachtet. Beispielsweise erzielte der hybride Ansatz beim airfoild-Datensatz eine Verbesserung des $R^2$ um 568,71 % im Vergleich zum Standalone-Regressor.
Skewness-Korrelation: Eine Analyse ergab eine signifikante positive Korrelation zwischen der absoluten Schiefe (Skewness) der Zielvariable und der Leistungssteigerung der hybriden Pipeline. Das Framework ist in Szenarien mit hoher Ziel-Skewness am effektivsten.
Limitierungen: Das Framework weist eine Abhängigkeit vom Datenvolumen auf. In Datensätzen mit weniger als ~1.000 Stichproben schnitt die Pipeline gelegentlich schlechter ab als Standalone-Regressoren, was auf Overfitting in den Phasen der adaptiven Binning und des CVAE sowie auf Instabilitäten in der Dichteschätzung zurückzuführen ist.

Signifikanz und Behauptungen

Das Paper behauptet, dass das vorgeschlagene hybride Framework eine kritische Lücke in der Literatur zur imbalancierten Regression schließt, indem es über isolierte daten- oder algorithmenseitige Interventionen hinausgeht. Durch die Vereinigung dieser Strategien bietet das Framework eine umfassendere Lösung für die Vorhersage seltener, aber kritischer Zielwerte.

Die Autoren behaupten, dass ihr Ansatz:

Die Diversitätsvorteile der Datenausweitung mit der prinzipienorientierten Optimierung des kosten-sensitiven Lernens synergetisch kombiniert.
Die Generalisierung in spärlichen Regionen verbessert, ohne die Risiken des naiven Oversampling (Rauschen) oder die distributional Blindheit von Standard-Verlustfunktionen zu riskieren.
Effektiv skaliert, indem es zeigt, dass der Grad der Ziel-Skewness ein zuverlässiger Proxy für die Effektivität des Frameworks ist.

Die Studie kommt zu dem Schluss, dass das Framework zwar ein ausreichendes Datenvolumen benötigt, um seine fünfphasige Architektur zu stabilisieren, aber eine robuste, skalierbare und regressor-agnostische Erweiterung für reale Anwendungen bietet, die bei extremer Wettervorhersage, Anomalieerkennung sowie medizinischer oder finanzieller Risikoanalyse – wo seltene Ereignisse von zentraler Bedeutung sind – zum Einsatz kommen kann.