🤖 machine learning

Focused PU learning from imbalanced data

Dit artikel stelt een nieuwe gefocuste empirisch risico-schatter voor voor Positive-Unlabeled (PU)-learning die state-of-the-art prestaties bereikt op sterk onbalans datasets door effectief binaire classifiers te trainen met zowel positieve als ongelabelde voorbeelden, met gevalideerd succes in zowel gecontroleerde scenario's als in de praktijk voor detectie van financiële fouten in de verslaggeving.

Oorspronkelijke auteurs: Elias Zavitsanos, Georgios Paliouras

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elias Zavitsanos, Georgios Paliouras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een paar zeldzame, verborgen edelstenen (de "positieven") te vinden in een enorme, chaotische hoop gewone stenen (de "onbemande" data). Het probleem is dat je slechts een klein, onvolledig lijstje hebt met edelstenen die iemand anders eerder heeft gevonden. De rest van de hoop is een mysterie: het bestaat voornamelijk uit stenen, maar bevat ook veel meer edelstenen die nog niet zijn opgemerkt.

Dit is de wereld van PU Learning (Positive-Unlabeled learning). Het is een veelvoorkomende puzzel in de echte wereld, van het opsporen van fraude in de bankwereld tot het signaleren van ziektegenen. Meestal hebben machine learning-detectives een lijst nodig met zowel "goede jongens" als "slechte jongens" om te leren ze uit elkaar te houden. Maar hier hebben ze alleen een lijst met "goede jongens" en een enorme zak met gemengde items.

Het Probleem: De "Moeilijk Te Zien" Edelstenen

De auteurs van dit artikel hebben een specifieke, lastige situatie opgemerkt:

De Edelstenen zijn Zeldzaam: De hoop is overweldigend vol met stenen (ongelijke data).
De Edelstenen zijn Gecamoufleerd: Sommige van de verborgen edelstenen lijken zo veel op stenen dat zelfs de makers van het originele lijstje ze hebben gemist. Ze waren te moeilijk om op te sporen.

De meeste bestaande detective-methoden gaan ervan uit dat de verborgen edelstenen willekeurig verspreid zijn of makkelijk te vinden zijn. Maar in werkelijkheid zijn de moeilijkst te vinden edelstenen vaak diegene die het meest op stenen lijken. Wanneer de data ongelijk is en de "goede" items gecamoufleerd zijn, raken standaardmethoden in de war en falen ze.

De Oplossing: Een "Gerichte" Vergrootglas

De auteurs stellen een nieuwe methode voor genaamd iFPU (Imbalanced Focused PU). Denk hierbij aan het geven van een speciale, "gerichte" vergrootglas aan de detective dat verandert hoe ze naar het bewijs kijken.

In plaats van elke fout gelijk te behandelen, gebruikt deze nieuwe methode een hulpmiddel genaamd Focal Loss. Hier is de analogie:

Standaard Leren: Stel je een leraar voor die een toets corrigeert. Als een student een makkelijke vraag goed heeft, geeft de leraar een klein "goed zo". Als ze een moeilijke vraag fout hebben, geeft de leraar een klein "probeer het opnieuw". De leraar behandelt alle vragen hetzelfde.
De iFPU-Aanpak: Deze nieuwe leraar is slimmer. Ze beseft dat het goed krijgen van de makkelijke vragen saai is en niet veel helpt. Maar het goed (of fout) krijgen van de moeilijke vragen is cruciaal. Dus, ze negeert het makkelijke materiaal en richt al hun energie op de moeilijke vragen.

In technische termen "down-weights" de methode de makkelijke voorbeelden (de voor de hand liggende stenen) en "up-weights" de moeilijke voorbeelden (de gecamoufleerde edelstenen). Dit dwingt de computer om extra aandacht te besteden aan de lastige gevallen die het meest waarschijnlijk de verborgen edelstenen zijn.

Hoe Ze Het Testten

De auteurs spraken niet alleen over theorie; ze stelden hun nieuwe detective op de proef op twee manieren:

Het Oefenterrein (14 Datastels): Ze namen 14 verschillende real-world datasets (zoals medische dossiers, creditcardgegevens en satellietbeelden) en verberden kunstmatig enkele van de "goede" items om het probleem te simuleren. Ze testten hun methode tegen andere toptier detective-tools.
- Het Resultaat: Hun "gerichte" methode vond consistent meer verborgen edelstenen dan de anderen, vooral wanneer de data zeer ongelijk was en de "goede" items moeilijk te spotten waren. Het presteerde bijna even goed als de beste bestaande methoden, maar ging beter om met de "gecamoufleerde" edelstenen.
De Real-World Case (Financiële Fraude): Ze pasten hun methode toe op een reëel scenario: het vinden van financiële onjuistheden (fouten of leugens in bedrijfsrapporten).
- De Uitdaging: Auditors weten vaak pas jaren later dat een rapport verkeerd is. Dus, bij het trainen van de AI, worden veel "verkeerde" rapporten nog steeds gelabeld als "onbekend" (onbemand), en de "verkeerde" die wel bekend zijn, zijn zeer zeldzaam.
- Het Resultaat: Hun methode presteerde beter dan eerdere state-of-the-art modellen. Het was beter in het rangschikken van rapporten zodat menselijke auditors de meest verdachte er eerst konden vinden.

De Conclusie

Dit artikel introduceert een slimmere manier om computers te leren zeldzame, verborgen dingen te vinden in een zee van gewone items, specifiek wanneer die verborgen dingen moeilijk te onderscheiden zijn van de gewone items. Door een "gerichte" aanpak te gebruiken die het makkelijke materiaal negeert en zich concentreert op de moeilijke, gecamoufleerde gevallen, bereikt de methode betere resultaten in zowel gecontroleerde tests als in de detectie van financiële fraude in de echte wereld.

Kernboodschap: Als je naar een naald in een hooiberg zoekt, en de naald ziet er precies uit als een stuk hooi, scan dan niet zomaar de hele hooiberg willekeurig. Gebruik een hulpmiddel dat specifiek de delen van de hooiberg markeert die misschien een naald zijn, en negeer het voor de hand liggende hooi. Dat is wat dit artikel doet.

Technische Samenvatting: Gefocust PU-leren vanuit onevenwichtige data

1. Probleemstelling

Het artikel behandelt de uitdaging van Positive-Unlabeled (PU) leren in scenario's die gekenmerkt worden door ernstige class-imbalance en moeilijk te detecteren positieve voorbeelden. In veel real-world toepassingen (bijvoorbeeld fraudeopsporing, identificatie van ziektegenen, detectie van financiële fouten) bestaat de trainingsdata uit een kleine set gelabelde positieve instanties en een grote pool van ongelabelde instanties. De ongelabelde pool wordt gedomineerd door negatieve instanties, maar bevat verborgen positieve instanties.

Bestaande PU-leringsmethoden vertrouwen vaak op vereenvoudigende aannames die in praktische situaties falen:

Class Imbalance: Veel methoden veronderstellen evenwichtige verdelingen of vertrouwen op voldoende gelabelde positieven, wat zelden het geval is wanneer de positieve klasse ondervertegenwoordigd is.
Labelingsmechanismen: De meeste methoden veronderstellen de Selected Completely At Random (SCAR)-aanname, waarbij gelabelde positieven een willekeurige subset vormen van alle positieven. Echter, real-world data volgt vaak de Selected At Random (SAR)-aanname of de Probabilistic Gap (PG)-aanname, waarbij positieve voorbeelden die op negatieven lijken, minder waarschijnlijk gelabeld worden.
Moeilijke Positieven: Wanneer positieve voorbeelden aanzienlijk overlappen met de negatieve verdeling (het PG-scenario), worstelen standaard risicoschattingen om ze te onderscheiden, wat leidt tot slechte prestaties.

De auteurs betogen dat huidige state-of-the-art methoden (zoals nnPU, PUHDT) ofwel falen onder SAR/PG-aannames, ofwel vertrouwen op datamanipulatie (resampling, tweestapsfiltering) die mogelijk niet robuust is in sterk onevenwichtige situaties.

2. Methodologie

De voorgestelde methode, genaamd iFPU (Imbalanced Focused PU), introduceert een nieuwe niet-negatieve risicoschatting die Focal Loss integreert in het PU-leringskader.

2.1 Theoretische Fundamenten

De aanpak bouwt voort op de onbevooroordeelde risicoschattingen voor PU-lering (uPU) en niet-negatieve risicoschattingen (nnPU). Bij standaard PU-lering wordt het risico $R(g)$ benaderd met behulp van gelabelde positieven ( $P$ ) en ongelabelde data ( $U$ ) door de negatieve risicoterm $R_N^-(g)$ te vervangen door een uitdrukking die $U$ en $P$ omvat:
$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$
waarbij $\pi_P$ de class prior is. Om negatieve empirische risico's te voorkomen (die overfitting in neurale netwerken veroorzaken), past de nnPU-methode een niet-negatieve constraint toe: $\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$ .

2.2 Gefocuste Risicoschatting

De auteurs observeren dat in onevenwichtige situaties het standaardrisico gedomineerd wordt door de ongelabelde data, waardoor het model de weinige moeilijk te onderscheiden positieve voorbeelden negeert. Om dit aan te pakken, vervangen ze de standaard cross-entropy loss door Focal Loss [50].

Focal Loss verlaagt het gewicht van makkelijke voorbeelden (deze met een hoge waarschijnlijkheid van correcte classificatie) en verhoogt het gewicht van moeilijke voorbeelden. De focal loss voor een waarschijnlijkheid $p_t$ wordt gedefinieerd als:
$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$
waarbij $\gamma$ de focusparameter regelt.

De auteurs leiden de iFPU-risicoschatting af door de standaard loss-termen in de PU-risico-vergelijking te vervangen door de focal loss-formulering:
$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$

2.3 Trainingsprocedure

Het trainingsproces maakt gebruik van stochastische optimalisatie (SGD). Een kernkenmerk van het algoritme is de behandeling van de niet-negatieve constraint:

Als de term $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ niet-negatief is, update het model de parameters met behulp van de gradient van het volledige risico.
Als de term negatief is (wat wijst op potentiële overfitting of schending van de niet-negatieve constraint), voert het model een gradient ascent-stap uit op het verschilterm om deze terug te duwen naar niet-negativiteit, in plaats van de gradient simpelweg te negeren.

De methode is ontworpen om end-to-end te zijn, compatibel met elke classifier gebaseerd op kostenminimalisatie (bijvoorbeeld MLP's, XGBoost), zonder dat datapreprocessing of resampling vereist is.

3. Belangrijkste Bijdragen

Nieuwe Risicoschatting: De afleiding van een niet-negatieve risicoschatting die specifiek is toegesneden op onevenwichtige PU-data met behulp van Focal Loss, die expliciet gericht is op moeilijk te classificeren positieve voorbeelden.
Verzwakking van Aannames: De methode wordt geëvalueerd onder zowel SCAR- als SAR-aannames, waarbij robuustheid wordt aangetoond in scenario's waar labelbias bestaat (d.w.z. positieven die op negatieven lijken, worden minder vaak gelabeld).
End-to-End Integratie: In tegenstelling tot tweestapsmethoden die eerst betrouwbare negatieven moeten identificeren, integreert iFPU direct in de trainingslus van standaard classifiers (MLP en XGBoost).
Real-world Validatie: De methode wordt toegepast op een uitdagend real-world probleem: detectie van financiële fouten, waarbij PU-data van nature ontstaat door vertraagde detectie van fouten.

4. Experimentele Resultaten

De auteurs hebben iFPU geëvalueerd op 14 publiek beschikbare onevenwichtige datasets en een real-world financiële dataset.

4.1 Benchmark Datasets

Opzet: 14 datasets met variërende imbalance ratios. Experimenten werden uitgevoerd onder SCAR- en SAR-aannames met 25%, 50% en 75% van de positieve voorbeelden gelabeld.
Vergelijkers: Vergelijking met uPU, nnPU, i-nnPU, NNIF (tweestaps), PUHDT, PUHRF, LBE en SAREM.
Prestaties:
- Onder SCAR behaalde iFPU (met XGBoost) resultaten die vergelijkbaar waren met de state-of-the-art PUHRF (PU Hellinger Random Forest), zonder statistisch significante verschillen in de meeste gevallen.
- Onder de uitdagendere SAR-aanname presteerde iFPU significant beter dan de meeste concurrenten. In het moeilijkste scenario (25% gelabelde positieven) overtrof iFPU PUHRF met 5 procentpunten in PR-AUC.
- De methode toonde robuustheid tegen onjuiste schattingen van de class prior, waarbij de prestaties behouden bleven zelfs wanneer de prior aanzienlijk onderschat werd.

4.2 Real-world Toepassing: Detectie van Financiële Fouten

Context: Detectie van financiële fouten in jaarverslagen (2003–2014) waarbij fouten zeldzaam zijn en vaak jarenlang onopgemerkt blijven (SAR/PG-scenario).
Opzet: Vergelijking met supervised baselines (TabTransformer met gekalibreerde focal loss, Fin-SVM, RUSBoost) en PU-methoden (PUHRF).
Resultaten:
- De voorgestelde iFPUXGB behaalde de hoogste R-precision van 19,95%, waarmee het de vorige state-of-the-art TabTransformer-model (17,63%) en PUHRF (18,22%) overtrof.
- De resultaten geven aan dat het modelleren van het probleem als PU-lering (erkenning van verborgen positieven) aanzienlijk betere prestaties oplevert dan het behandelen van ongelabelde data als negatief.

5. Betekenis en Claims

Het artikel claimt dat iFPU een state-of-the-art oplossing vertegenwoordigt voor PU-lering in onevenwichtige situaties, met name waar de Probabilistic Gap-aanname geldt.

Robuustheid: Het vermogen van de methode om goed te presteren onder SAR-aannames zonder complexe datamanipulatie of resampling, wordt benadrukt als een groot voordeel ten opzichte van bestaande boom-gebaseerde of tweestapsmethoden.
Praktijktoepasbaarheid: De succesvolle toepassing op detectie van financiële fouten demonstreert de bruikbaarheid van de methode in hoog-risico, real-world domeinen waar gelabelde data schaars en bevooroordeeld is.
Flexibiliteit: Door te vertrouwen op een risicominimalisatiekader dat compatibel is met diverse classifiers (MLP, XGBoost), biedt de aanpak een flexibel alternatief voor gespecialiseerde PU-algoritmen.

De auteurs merken bescheiden op dat hoewel ze hyperparameter-tuning hebben vermeden om een eerlijke vergelijking te garanderen, verdere optimalisatie van de XGBoost- en focal loss-parameters potentieel nog sterkere resultaten zou kunnen opleveren. Zij identificeren temperatuurschaling voor kalibratie en uitbreidingen naar multi-class situaties als toekomstige onderzoeksrichtingen.