💻 computer science

Hybrid Imbalanced Regression Through Unified Data-Level and Algorithm-Level Balancing

Dit artikel stelt een verenigd hybride raamwerk voor voor ongebalanceerde regressie dat adaptieve balans op gegevensniveau (via doelvoorwaardelijk representatie-leren en clustering in de feature-ruimte) combineert met een nieuw algoritme-niveau Latent-Density Weighted Loss om de beperkingen van bestaande zelfstandige methoden effectief aan te pakken en de voorspellende prestaties op zeldzame doelwaarden te verbeteren.

Oorspronkelijke auteurs: Shermin Shahbazi, Hossein Mohammadi, Mohsen Afsharchi

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shermin Shahbazi, Hossein Mohammadi, Mohsen Afsharchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om de prijs van huizen te voorspellen. In een perfecte wereld zou je het de robot laten zien met 1.000 voorbeelden van huizen van $100.000, 1.000 voorbeelden van huizen van $200.000 en 1.000 voorbeelden van huizen van $300.000. De robot zou het patroon perfect leren.

Maar in de echte wereld is data rommelig. Misschien heb je 1.000 voorbeelden van huizen van $100.000, maar slechts één voorbeeld van een landhuis van $10 miljoen. Dit is het probleem van Imbalanced Regression (ongebalanceerde regressie). De robot wordt zo goed in het voorspellen van de veelvoorkomende huizen van $100k dat hij de zeldzame huizen van $10M volledig negeert. Wanneer hij dan eindelijk een landhuis ziet, gokt hij "$100k" omdat dat is wat hij het beste kent.

Dit paper stelt een "Hybrid Framework" voor om dit op te lossen. Zie dit als een vijfstappen-coachingprogramma dat is ontworpen om de robot te helpen aandacht te besteden aan de zeldzame, dure huizen, zonder dat hij zijn verstand verliest op de veelvoorkomende huizen.

Hier is hoe de vijf stappen werken, met eenvoudige analogieën:

Stap 0: De "Slimme Kaart" (Adaptive Bin Partitioning)

Het Probleem: Je kunt niet simpelweg zeggen "zeldzame huizen", want prijzen zijn een vloeiende lijn, geen aparte boxen zoals "Rood Huis" versus "Blauw Huis".
De Oplossing: Het team maakt een dynamische kaart. In plaats van het prijsbereik in gelijke segmenten te snijden (zoals een liniaal), kijken ze naar de data om te zien waar de "klonters" zitten. Als er een enorme kloof is tussen $100k en $1M, trekken ze daar een lijn. Als de data vloeiend is, snijden ze hem niet door.
De Analogie: Stel je voor dat je een bibliotheek organiseert. In plaats van boeken in de schappen te zetten op basis van exact aantal pagina's (wat rommelig is), kijk je naar de verhalen. Je groepeert alle "kortverhalen" samen en alle "romans" samen op basis van hoe de verhalen daadwerkelijk stromen. Dit helpt de robot om de "zeldzame" secties duidelijk te zien.

Stap 1: De "Vertaler" (Representation Learning)

Het Probleem: De ruwe data (vierkante meters, aantal kamers) is te ruizig en complex voor de robot om de zeldzame patronen te vinden.
De Oplossing: Ze gebruiken een speciaal hulpmiddel genaamd een CVAE (Conditional Variational Autoencoder). Denk aan dit als een vertaler die de rommelige huisdata omzet in een "geheime taal" (een latente ruimte) waar de zeldzame huizen heel duidelijk verschillen van de veelvoorkomende huizen.
De Analogie: Stel je voor dat de robot een vreemde taal probeert te begrijpen. Deze stap vertaalt de data naar een taal die de robot vloeiend spreekt, waardoor de "zeldzame" woorden duidelijk afsteken tegen de "veelvoorkomende" woorden.

Stap 2: De "Kopiëren & Plakken & Polijsten" (Data-Level Balancing)

Het Probleem: Zelfs met de geheime taal is er nog steeds te weinig voorbeelden van de zeldzame huizen. De robot heeft meer oefening nodig.
De Oplossing: Ze kopiëren en plakken niet gewoon de zeldzame huizen (wat valsspelen en verwarrend zou zijn). In plaats daarvan zoeken ze de "buurten" van de zeldzame huizen in de geheime taal en creëren ze nieuwe, synthetische voorbeelden die perfect in die buurt passen.
De Analogie: Stel je voor dat je een chef bent die probeert een zeldzaam recept te leren, maar je hebt slechts één ingrediëntenlijst. Je maakt niet gewoon een fotokopie van de lijst; je gebruikt de lijst om het smaakprofiel te begrijpen en creëert vervolgens een paar nieuwe, lichtelijk verschillende versies van het gerecht die precies de juiste smaak hebben. Nu heb je genoeg oefengerechten om het recept te leren.

Stap 3: De "Strenge Coach" (Algorithm-Level Balancing)

Het Probleem: Zelfs met meer oefendata kan de robot de zeldzame voorbeelden nog steeds negeren omdat hij lui is en zijn algemene fouten wil minimaliseren.
De Oplossing: Ze veranderen het scorebord (de loss function). Als de robot een fout maakt bij een veelvoorkomend huis, krijgt hij een kleine straf. Als hij een fout maakt bij een zeldzaam huis, krijgt hij een enorme straf.
De Analogie: Stel je een videogame voor. Normaal krijg je 10 punten voor het verslaan van een goblin. Maar als je een zeldzame draak verslaat, krijg je 1.000 punten. De robot realiseert zich: "Hé, ik moet beter opletten bij de draken!" Dit dwingt de robot om aandacht te besteden aan de zeldzame datapunten.

Stap 4: De "Mixer" (Final Fusion)

Het Problelem: De robot heeft nu twee verschillende manieren van denken: één gebaseerd op de extra oefendata (Stap 2) en één gebaseerd op het strenge scoresysteem (Stap 3). Hoe combineren we die?
De Oplossing: Ze gebruiken een Gated Fusion mechanisme. Dit is als een slimme manager die naar elk specifiek huis kijkt en beslist: "Voor dit huis vertrouw ik de oefendata meer," of "Voor dat huis vertrouw ik de strenge scoring meer."
De Analogie: Het is als een rechter die luistert naar twee advocaten. Voor sommige zaken luistert de rechter naar Advocaat A; voor andere zaken naar Advokaat B. De rechter (de fusie) weet precies wanneer hij naar welke expert moet luisteren om het beste vonnis te krijgen.

Wat hebben ze gevonden?

De auteurs hebben dit "coachingprogramma" getest op 16 verschillende datasets (zoals het voorspellen van huizenprijzen, wijnkwaliteit en machinekoppel).

Het Resultaat: De hybride aanpak (het gebruik van alle 5 stappen) was significant beter dan alleen de "Kopiëren & Plakken"-methode of alleen de "Strenge Coach"-methode alleen. Het was ook veel beter dan standaard robots die geen speciale coaching kregen.
De Kanttekening: Dit programma werkt het beste wanneer je veel data hebt (duizenden voorbeelden). Als je slechts een kleine dataset hebt (zoals 100 voorbeelden), kan het programma in de war raken en daadwerkelijk slechter presteren dan een simpele robot. Het heeft genoeg "studenten" nodig om effectief te kunnen onderwijzen.

Samenvatting

Dit paper bouwt een universeel trainingssysteem voor het voorspellen van continue getallen (zoals prijzen of temperaturen) wanneer de data scheef verdeeld is. Het combineert het maken van meer data (om de gaten op te vullen) en het veranderen van de regels (om aandacht op de gaten te vestigen) tot één krachtige pipeline. Het is alsof je een student zowel een beter tekstboek als een strengere leraar geeft om ervoor te zorgen dat hij de moeilijke, zeldzame onderwerpen net zo goed leert als de makkelijke.

Technische Samenvatting: Hybride Imbalanced Regressie door Unified Data-Level en Algoritme-Level Balancering

Probleemstelling

Imbalanced learning is een kritieke uitdaging in machine learning waarbij ondervertegenwoordigde doelwaarden leiden tot bevooroordeelde modellen die slecht presteren op zeldzame maar impactvolle fenomenen. Hoewel dit uitgebreid is bestudeerd bij classificatietaken met scheve klassenverdelingen, blijft imbalanced regression—gekenmerkt door niet-uniforme dichtheden in continue doelruimtes—onderbelicht.

Bestaande benaderingen in imbalanced regression vallen doorgaans uiteen in twee categorieën, elk met duidelijke beperkingen:

Data-level methoden: Deze synthetiseren samples (bijv. via oversampling) om schaarse regio's te verrijken. Hoewel intuïtief en model-agnostisch, lopen ze het risico op het introduceren van synthetische ruis of overfitting, met name bij complexe distributies.
Algoritme-level methoden: Deze passen verliesfuncties aan om zeldzame doelbereiken te prioriteren zonder de data te wijzigen. Hoewel principieel, hebben ze vaak moeite met extreme onevenwichtigheden en complexe distributies, omdat ze de complementaire voordelen van data-verrijking missen.

De huidige literatuur mist een werkelijk hybride benadering die data-level sample-synthese strak integreert met expliciete, sample-gewijze cost-sensitive of reweighting losses tijdens de training van een enkele neurale regressor. De meeste bestaande "hybride" pogingen vertrouwen op ensemble-strategieën of zijn beperkt tot niet-tabulaire domeinen, waardoor ze falen in het verenigen van deze strategieën in een end-to-end pipeline voor standaard regressietaken.

Methodologie

De auteurs stellen een vijffasige, regressor-agnostische hybride framework voor die data-level en algoritme-level strategieën synergetisch integreert in een uniforme pipeline. Het framework is ontworpen om upstream van elke standaard regressor te worden toegepast.

Fase 0: Adaptieve Target-Space Bin Partitioning

Om het gebrek aan discrete klassenlabels in regressie aan te pakken, segmenteert het framework de continue doelruimte eerst in statistisch coherente bins.

Mechanisme: Het maakt gebruik van adaptieve bin partitioning gestuurd door lokale $R^2$ coherentiescores. Een eenvoudige lineaire regressor wordt gefit binnen kandidaat-intervallen; als de $R^2$ -score een drempelwaarde ( $\tau$ ) overschrijdt en de bin-grootte voldoet aan een datagedreven minimum ( $M$ ), wordt de bin geaccepteerd. Zo niet, dan wordt het interval recursief gesplitst.
Betekenis: Dit transformeert het continue probleem naar een class-achtige structuur, wat lokale bewustwording van schaarste mogelijk maakt en de daaropvolgende balancing-operaties faciliteert. De minimale bin-grootte $M$ wordt dynamisch berekend met een combinatie van een proportie van de datasetgrootte en een invers van de piek Kernel Density Estimation (KDE) dichtheid om statistische betrouwbaarheid te garanderen.

Fase I: Representatie-leren

Ruwe kenmerken in schaarse regio's slagen er vaak niet in om noodzakelijke latente structuren te vangen.

Mechanisme: Een Conditional Variational Autoencoder (CVAE) wordt getraind, geconditioneerd op de continue doelvariabele $y$ . De encoder brengt inputkenmerken $x$ en doelvariabele $y$ in kaart naar een latente ruimte $z$ , terwijl de decoder $x$ reconstrueert vanuit $z$ en $y$ .
Betekenis: Dit produceert target-bewuste latente embeddings die voorspellende patronen vastleggen die uitgelijnd zijn met de outputdistributie, inclusief schaars bevolkte regio's. De probabilistische aard van de CVAE faciliteert ook onzekerheid-bewuste representaties.

Fase II: Data-Level Balancing

Deze fase adresseert de schaarste aan samples in zowel de doel- als de kenmerkruimte via een multistage strategie.

Stap 1 (Clustering): Binnen elke adaptieve bin uit Fase 0 wordt DBSCAN toegepast op de latente representaties om schaarse, minderheidsclusters te identificeren.
Stap 2 (Oversampling): Een gelokaliseerde SMOGN (Synthetic Minority Oversampling Technique for Regression with Gaussian Noise) techniek wordt toegepast op deze minderheidsclusters. In tegenstelling tot globale oversampling, wordt dit gestuurd door een cluster-specifieke relevantiefunctie $\phi_C(y)$ om zeldzame doelwaarden binnen de specifieke clustercontext te prioriteren.
Output: Een ondiepe MLP wordt getraind op de uitgebreide dataset (origineel + synthetisch), en de verborgen activaties van de originele samples ( $h_{data}$ ) worden geëxtraheerd. Dit zorgt ervoor dat de kenmerken profiteren van de geometrie van de synthetische buren, terwijl de exacte correspondentie met de originele instanties behouden blijft.

Fase III: Algoritme-Level Balancing

Deze fase past het leerdoel aan om ondervertegenwoordigde regio's te benadrukken zonder verdere modificatie van de data.

Mechanisme: Een nieuwe Latent-Density Weighted Loss (LDWL) wordt geïntroduceerd. De verliesfunctie weegt samples op basis van hun gezamenlijke zeldzaamheid in twee ruimtes:
1. Latente Ruimte ( $Z$ ): Dichtheid geschat via KDE over de CVAE latente representaties.
2. Doelruimte ( $Y$ ): Dichtheid geschat via KDE binnen de adaptieve bins gedefinieerd in Fase 0.
Formule: De gewicht $w_i$ voor een sample is omgekeerd evenredig aan het product van de latente dichtheid en de bin-geconditioneerde doel-dichtheid. Een regularisatieterm straft excessief grote gewichten af om overfitting op uitschieters te voorkomen.
Output: Een MLP wordt getraind met behulp van LDWL, en de verborgen activaties van de originele samples ( $h_{alg}$ ) worden geëxtraheerd.

Fase IV: Finale Fusie

De laatste fase integreert de complementaire sterktes van de data-level en de algoritme-level representaties.

Mechanisme: Een attention-based gated fusion mechanisme concateneert $h_{data}$ en $h_{alg}$ . Een gating-netwerk leert dynamisch instantie-specifieke gewichten ( $\alpha_i$ ) om de twee featurestromen te mengen: $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$ .
Betekenis: Dit stelt het model in staat om adaptief de meest informatieve kenmerken voor elk sample te prioriteren, wat resulteert in een robuuste, verrijkte representatie die klaar is voor elke downstream regressor.

Belangrijkste Bijdragen

Unified Hybrid Framework: De eerste end-to-end pipeline die data-level sample-synthese (via gelokaliseerde SMOGN) strak integreert met expliciete, sample-wise cost-sensitive reweighting (via LDWL) voor imbalanced regression.
Adaptive Bin Partitioning: Een nieuwe preprocessing stap die gebruikmaakt van lokale $R^2$ coherentie om continue doelruimtes dynamisch te segmenteren, waardoor class-achtige structuren worden nagebootst voor effectieve imbalance handling.
Latent-Density Weighted Loss (LDWL): Een nieuwe verliesfunctie die zeldzame samples prioriteert door de dichtheid in de latente kenmerkruimte (geleerd via CVAE) en de doelruimte (binnen adaptieve bins) gezamenlijk te overwegen.
Multistage Data Balancing: Een strategie die feature-ruimte clustering (DBSCAN) combineert met gelokaliseerde oversampling om schaarse regio's te verrijken terwijl synthetische bias wordt geminimaliseerd.
Regressor-Agnostic Design: Het framework geeft een gefuseerde feature vector uit die naadloos kan worden geïntegreerd met elk standaard regressie-algoritme (lineair, boom-gebaseerd of neuraal).

Experimentele Resultaten

Het framework werd geëvalueerd op 16 benchmark regressiedatasets (bijv. California Housing, Wine Quality, Abalone) over zes verschillende regressoren (MLP, XGBoost, Lineaire Regressie, KNN, SVR, Ridge).

Prestaties: De hybride pipeline presteerde consistent beter dan zowel standalone data-level als algoritme-level methoden, evenals standaard baseline regressoren zonder imbalance handling.
Metrieken: Verbeteringen werden waargenomen in Root Mean Squared Error (RMSE), Mean Absolute Error (MAE) en de Coëfficiënt van Determinatie ( $R^2$ ). Bijvoorbeeld, in de airfoild dataset leverde de hybride benadering een verbetering van 568,71% in $R^2$ op vergeleken met de standalone regressor.
Skewness Correlatie: Analyse toonde een significante positieve correlatie aan tussen de absolute skewness van de doelvariabele en de prestatieverbetering van de hybride pipeline. Het framework is het meest effectief in scenario's met een hoge target skewness.
Beperkingen: Het framework vertoont een afhankelijkheid van datavolume. In datasets met minder dan ~1.000 samples presteerde de pipeline incidenteel minder goed dan standalone regressoren door overfitting in de adaptieve binning en CVAE-fasen, en instabiliteit in de dichtheidschatting.

Betekenis en Claims

Het artikel beweert dat het voorgestelde hybride framework een kritieke kloof in de imbalanced regression literatuur aanpakt door verder te gaan dan geïsoleerde data- of algoritme-level interventies. Door deze strategieën te verenigen, biedt het framework een meer uitgebreide oplossing voor het voorspellen van zeldzame maar cruciale doelwaarden.

De auteurs stellen dat hun aanpak:

Synergetisch combineert de diversiteitsvoordelen van data-augmentatie met de principiële optimalisatie van cost-sensitive learning.
Generalisatie verbetert in schaarse regio's zonder de ruisrisico's van naïeve oversampling of de distributionele blindheid van standaard verliesfuncties.
Effectief schaalt naar grootschalige imbalanced regression taken, waarbij wordt aangetoond dat de mate van target skewness een betrouwbare proxy is voor de effectiviteit van het framework.

De studie concludeert dat hoewel het framework voldoende datavolume vereist om zijn vijffasige architectuur te stabiliseren, het een robuuste, schaalbare en regressor-agnostische verbetering biedt voor real-world toepassingen zoals extreme weersvoorspelling, anomaliedetectie en medische of financiële risicovoorspelling waar zeldzame gebeurtenissen van groot belang zijn.