🤖 machine learning

An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

Oorspronkelijke auteurs: Mustafa Cavus, Przemysław Biecek

Gepubliceerd 2026-05-18

📖 6 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Mustafa Cavus, Przemysław Biecek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Probleem van "Veel Juiste Antwoorden"

Stel je voor dat je probeert te voorspellen wie een schaakpartij gaat winnen. Je hebt een dataset van eerdere partijen, maar er is een probleem: 90% van de partijen werd gewonnen door Wit, en slechts 10% door Zwart. Dit noemen we een ongebalanceerde dataset.

Als je een computermodel traint op deze data zonder het probleem op te lossen, wordt de computer lui. Het leert dat "Wit altijd wint", dus voorspelt het "Wit" voor elke nieuwe partij. Het behaalt 90% nauwkeurigheid, maar faalt volledig in het voorspellen van de overwinningen van Zwart.

Om dit op te lossen, gebruiken datawetenschappers balanceringsmethoden. Ze gedragen zich als een kok die ingrediënten aan een soep toevoegt:

Oversampling: Ze kopiëren de zeldzame "Zwart-wint"-partijen om er meer van te maken (zoals het toevoegen van meer zout).
Undersampling: Ze gooien wat van de gebruikelijke "Wit-wint"-partijen weg om de pot kleiner te maken (zoals het verwijderen van overtollig water).

Het doel is om de computer aandacht te laten schenken aan de minderheidsklasse. Maar dit artikel stelt een eng vraag: Creëert het corrigeren van de data een nieuw soort verwarring?

Het Rashomon-effect: Het Fenomeen van "Veel Waarheden"

Het artikel maakt gebruik van een concept dat het Rashomon-effect wordt genoemd. Stel je een misdaadplek voor waar vijf verschillende getuigen vijf verschillende verhalen vertellen. Alle vijf de verhalen zijn aannemelijk en passen even goed bij de feiten, maar ze staan in tegenspraak met elkaar.

Bij machine learning is de Rashomon-set een groep verschillende computermodellen die allemaal bijna exact even goed presteren (ze zijn allemaal "aannemelijk"), maar die verschillende voorspellingen doen voor dezelfde persoon of situatie.

Model A zegt: "Deze kredietaanvrager is veilig."
Model B zegt: "Deze kredietaanvrager is risicovol."
Beide modellen hebben dezelfde algehele nauwkeurigheidscore.

Als je willekeurig één model kiest (blinde selectie), kun je per ongeluk degene kiezen die een goede persoon een krediet weigert, terwijl een ander even nauwkeurig model het zou hebben goedgekeurd. Dit noemen we Predictieve Multipliciteit.

Het Experiment: Wat Er Gebeurt Wanneer We De Data Balanceren

De auteurs wilden weten: Maakt het gebruik van balanceringsmethoden (oversampling/undersampling) dit probleem van "Veel Waarheden" erger?

Ze namen 21 verschillende real-world datasets (zoals spamdetectie, creditcardfraude en wijnkwaliteit) en voerden ze door een "modelfabriek" (een tool genaamd Forester) die honderden licht verschillende modellen voor elke dataset creëert. Ze deden dit twee keer:

Met de originele, ongebalanceerde data.
Met gebalanceerde data (na toepassing van de balanceringsmethoden).

Vervolgens maten ze drie dingen om te zien hoeveel de modellen het met elkaar oneens waren:

Ambiguïteit: Hoeveel mensen krijgen tegenstrijdige antwoorden? (Bijvoorbeeld: "5 van de 100 mensen krijgen verschillende voorspellingen.")
Discrepantie: Wat is het slechtst mogelijke scenario? (Bijvoorbeeld: "Een specifiek model is het oneens met de anderen over 20 mensen.")
Obscuriteit (Nieuwe Metriek): Dit is het nieuwe idee van het artikel. Het meet de gemiddelde hoeveelheid verwarring. In plaats van alleen te vragen "Is er een conflict?", vraagt het "Hoe rommelig is het conflict gemiddeld?". Denk hierbij aan het meten van de "mist" boven de data.

De Bevindingen: De "Oplossing" Maakte De Mist Dikker

Hier is wat ze ontdekten:

Balanceringsmethoden Verhogen Verwarring: Toen ze balanceringsmethoden gebruikten (zoals SMOTE of willekeurige oversampling), namen de Obscuriteit en Discrepantie toe.
- De Analogie: Stel je voor dat je probeert een verdwaalde hond te vinden in een park. In het originele park (ongebalanceerde data) zijn alle zoekhonden het eens over waar de hond is. Maar wanneer je "balancering" toevoegt (zoals het toevoegen van meer zoekhonden of het veranderen van het terrein), beginnen de zoekhonden in verschillende richtingen te blaffen. Ze zijn allemaal nog steeds "goede" honden, maar ze kunnen het niet eens worden over de locatie.
De "Partiële" Oplossing Werkte Niet: Sommige experts suggereerden het gebruik van "partiële resampling" (de data slechts een beetje balanceren, niet 100%) om deze rommel te voorkomen. De auteurs testten dit, maar ontdekten dat het niet hielp. De verwarring bleef hoog, ongeacht hoeveel ze de data balanceerden.
Variabele Belangrijkheid Veranderde: Ze keken ook of de modellen naar verschillende aanwijzingen keken. Bijvoorbeeld, één model zou kunnen denken dat "inkomen" de belangrijkste factor is, terwijl een ander denkt dat "leeftijd" dat is. Ze ontdekten dat hoewel de volgorde van belangrijkheid statistisch gezien niet drastisch veranderde, de balanceringsmethoden de modellen wel over het algemeen anders deden gedragen.

De Oplossing: Een Nieuw Dashboard

Omdat ze de verwarring niet konden voorkomen, stelden de auteurs een manier voor om het te bewaken.

Ze suggereerden het gebruik van een Uitgebreide Prestatie-verbeteringsgrafiek.

Stel je een dashboard voor met twee wijzers.
Wijzer 1 (Horizontaal): Toont hoe goed het model wordt in het correct voorspellen (Prestatieverbetering).
Wijzer 2 (Verticaal): Toont hoe sterk de modellen het met elkaar oneens zijn (Multipliciteit/Obscuriteit).

De Les: Je moet niet alleen naar Wijzer 1 kijken. Je kunt een methode vinden die de nauwkeurigheid iets verbetert (Wijzer 1 gaat omhoog), maar die zorgt voor een enorme explosie in onenigheid (Wijzer 2 gaat flink omhoog). De auteurs zeggen dat je naar beide wijzers moet kijken om een verantwoordelijke beslissing te nemen.

Samenvatting van de Beweringen van het Artikel

Data balanceren is noodzakelijk voor onbalansproblemen, maar het heeft een verborgen kostprijs.
Balanceringsmethoden verhogen "Predictieve Multipliciteit". Ze creëren een situatie waarin veel modellen even nauwkeurig zijn, maar tegenstrijdige antwoorden geven aan dezelfde mensen.
Nieuwe Metriek: Ze introduceerden "Obscuriteit" om te meten hoe "mistig" of tegenstrijdig deze modelvoorspellingen gemiddeld zijn.
Partiële Resampling is geen wondermiddel. Het lost het probleem van verhoogde verwarring niet op.
Verantwoordelijke AI: Bij het kiezen van een model moet je niet alleen controleren of het nauwkeurig is, maar ook of het stabiel is. Als je blind een model kiest uit een "Rashomon-set" die is gecreëerd door balanceringsmethoden, riskeer je willekeurige beslissingen te nemen die individuen schaden.

Het artikel concludeert dat balanceringsmethoden weliswaar een "toevluchtsoord" zijn voor het oplossen van onbalans in data, maar dat onderzoekers voorzichtig moeten zijn om niet blindelings de mist van tegenstrijdige voorspellingen in te lopen. Ze moeten de nieuwe "dashboard" (de uitgebreide grafiek) gebruiken om de afweging tussen nauwkeurigheid en stabiliteit te zien.

Technische Samenvatting: Een Experimentele Studie naar het Rashomon-effect van Balanceringsmethoden bij Ongelijke Classificatie

Probleemstelling
In data-gedreven AI is class imbalance een wijdverbreide uitdaging waarbij modellen de neiging hebben de meerderheidsklasse te bevoordelen, wat resulteert in slechte prestaties voor de minderheidsklasse. Hoewel balanceringsmethoden (bijvoorbeeld oversampling, undersampling) standaard data-gedreven benaderingen zijn om dit te mitigeren, blijft hun impact op modelgedrag onderbelicht. Er is met name een gebrek aan inzicht in hoe deze methoden het Rashomon-effect beïnvloeden – een fenomeen waarbij meerdere modellen ongeveer gelijke voorspellende nauwkeurigheid bereiken, maar voor dezelfde observaties mogelijk conflicterende voorspellingen leveren. Dit leidt tot predictieve multipliciteit, waarbij blinde modelselectie uit een set van even nauwkeurige modellen kan resulteren in tegenstrijdige uitkomsten, wat risico's oplevert voor modelvalidatie, verklaring en rechtvaardigheid. Het artikel onderzoekt of balanceringsmethoden deze predictieve multipliciteit opblazen en de volgorde van variabele belangrijkheid veranderen.

Methodologie
De auteurs voerden experimenten uit met een dataset van 21 ongelijke benchmarkdatasets met ongelijkheidsverhoudingen variërend van 1,54 tot 129,53. De studie hanteerde het volgende methodologische raamwerk:

Balanceringsmethoden: Vier technieken werden geëvalueerd: Random Oversampling, SMOTE (Synthetic Minority Over-sampling Technique), Random Undersampling en Near Miss.
Constructie van de Rashomon-set: De Forester (een op bomen gebaseerde AutoML-tool) werd gebruikt om de Rashomon-set te genereren. Deze aanpak maakt het mogelijk de grootte van de set te controleren via Bayesian-optimatieparameters, waardoor een empirische hypothese-ruimte van modellen wordt gecreëerd met verlieswaarden binnen een specifieke drempel ( $\epsilon = 0,05$ ) van het referentiemodel.
Metrieken voor Predictieve Multipliciteit:
- Bestaande Metrieken: Ambiguïteit (ratio van observaties met conflicterende voorspellingen) en Discrepantie (maximale ratio van conflicterende observaties tussen het referentiemodel en elk concurrerend model).
- Voorgestelde Metriek: Obscuriteit, gedefinieerd als de gemiddelde ratio van conflicterende voorspellingen voor observaties over alle modellen in de Rashomon-set. Deze metriek beoogt de overvloed aan observatieconflicten granularer te vatten dan binaire ambiguïteit.
- Discrepantie in Volgorde van Variabele Belangrijkheid (VIOD): Een nieuwe metriek voorgesteld om de dissimilariteit in volgorde van variabele belangrijkheid tussen het referentiemodel en andere modellen in de set te meten, gebaseerd op de Kendall's $\tau$ -correlatiecoëfficiënt.
Experimentele Variabelen: De studie varieerde resampling-ratio's (resultante ongelijkheidsverhoudingen van 1,0 tot 1,25) om partiële resampling te testen als een potentiële mitigeringsstrategie.
Statistische Analyse: Resultaten werden samengevat met statistische plots en geëvalueerd via Kruskal-Wallis-, Friedman- en Dunnetts paarsgewijze toetsen.

Belangrijkste Resultaten
De experimenten richtten zich op vier specifieke onderzoeksvragen (RQ's):

RQ1 (Impact op Predictieve Multipliciteit): Er werd vastgesteld dat balanceringsmethoden predictieve multipliciteit opblazen. Visuele analyse en statistische toetsing (Kruskal-Wallis, $p < 0,05$ ) toonden aan dat modellen getraind op gebalanceerde datasets significant hogere obscuriteit en discrepantie vertoonden dan die getraind op originele, ongelijke data. De zones van balanceringsmethoden op de obscuriteitsas overlapten niet met de zones van de originele dataset, wat wijst op een duidelijke toename van conflicterende voorspellingen.
RQ2 (Impact op Variabele Belangrijkheid): Wat betreft de Discrepantie in Volgorde van Variabele Belangrijkheid (VIOD), vond de studie geen statistisch significant verschil in de mediane VIOD-waarden tussen modellen getraind op gebalanceerde versus originele datasets. Dit staat in contrast met sommige eerdere bevindingen op kleinere datasets, wat suggereert dat hoewel voorspellingconflicten toenemen, de fundamentele rangschikking van variabele belangrijkheid relatief stabiel blijft binnen de Rashomon-set in deze bredere experimentele context.
RQ3 (Partiële Resampling): De hypothese dat partiële resampling (bijvoorbeeld gericht op een ongelijkheidsverhouding van 1,25) veranderingen in modelgedrang kon mitigeren, werd verworpen. Statistische toetsen (Friedman-toets) toonden geen significant verschil in Rashomon-metrieken over variërende resampling-ratio's, wat aangeeft dat partiële resampling het multipliciteitsprobleem geïntroduceerd door balancering niet oplost.
RQ4 (Monitoring van Trade-offs): De studie valideerde de bruikbaarheid van een uitgebreid performance-gain plot. Deze visualisatie in kaart de trade-off tussen prestatiewinst (gemeten door AUC-verbetering) en multipliciteit (obscuriteit/discrepantie). De resultaten benadrukten dat terwijl oversampling-methoden (Oversampling, SMOTE) over het algemeen de prestaties verbeterden, ze ook de multipliciteit verhoogden. Omgekeerd slaagden undersampling-methoden er soms niet in de prestaties te verbeteren, terwijl ze toch de multipliciteit verhoogden.

Betekenis en Beweringen
Het artikel beweert de eerste studie te zijn die het Rashomon-effect specifiek onderzoekt in de context van balanceringsmethoden voor ongelijke classificatie. De belangrijkste bijdragen zijn:

Empirisch Bewijs van Opblazing: Het levert bewijs dat balanceringsmethoden, hoewel bedoeld om de nauwkeurigheid te verbeteren, onbedoeld de predictieve multipliciteit (conflicterende voorspellingen) binnen de Rashomon-set opblazen.
Nieuwe Metriek (Obscuriteit): De introductie van obscuriteit biedt een genuanceerder beeld van predictieve multipliciteit door de gemiddelde ratio van conflicten te meten in plaats van alleen het bestaan van een conflict.
Weerspreking van Partiële Resampling: Het daagt de opvatting uit dat partiële resampling een voldoende oplossing is voor door balancering veroorzaakte veranderingen in modelgedrag.
Verantwoord Modelleringkader: De auteurs stellen voor de uitgebreide performance-gain plot te gebruiken als een praktisch hulpmiddel voor data-gedreven AI-praktici. Dit hulpmiddel maakt het mogelijk de trade-off tussen prestatiewinst en de risico's verbonden aan predictieve multipliciteit te monitoren, en pleit voor een verantwoordelijker modelselectieproces dat niet alleen rekening houdt met nauwkeurigheid, maar ook met de stabiliteit en consistentie van modelvoorspellingen.

Het artikel concludeert dat hoewel balanceringsmethoden een "toevluchtsoord" zijn voor ongelijke classificatie, onderzoekers rekening moeten houden met het verhoogde risico op multipliciteit. Blinde selectie uit de resulterende Rashomon-set is riskant; daarom is de uitgebreide performance-gain plot essentieel voor het verantwoord uitvoeren van modelleringprocessen.