📊 statistics

Neyman-Pearson multiclass classification under label noise via empirical likelihood

Dit artikel introduceert een empirische-likelihood-methode voor Neyman-Pearson multiclass-classificatie die, door gebruik te maken van een exponentieel gekanteld dichtheidsverhoudingsmodel, effectief labelruis in de trainingsdata corrigeert en zo consistente schatters en asymptotische oracle-ongelijkheden garandeert.

Oorspronkelijke auteurs: Qiong Zhang, Qinglong Tian, Pengfei Li

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qiong Zhang, Qinglong Tian, Pengfei Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een dokter bent die diagnoses stelt voor een ziekte, of een bankier die beslist of een lening veilig is. In deze wereld zijn fouten niet allemaal even erg.

Als je een kwaadaardige tumor (kanker) per ongeluk als onschuldig bestempelt, is dat rampzalig.
Als je een onschuldig persoon per ongeluk verdacht maakt, is dat vervelend, maar minder ernstig dan het eerste scenario.

Normale computerprogramma's voor classificatie proberen alleen het totale aantal fouten zo laag mogelijk te houden. Ze behandelen alle fouten als gelijkwaardig. Dat is als een dokter die zegt: "Ik maak 5% fouten, en dat is prima," zonder te kijken welke fouten het zijn.

De Neyman-Pearson methode is slimmer. Die zegt: "Ik mag maximaal 1% fouten maken bij het over het hoofd zien van kanker, maar ik mag wel meer fouten maken bij het onterecht verdenken van gezonde mensen." Het is een manier om veiligheid te garanderen voor de belangrijkste categorieën.

Het Probleem: De "Vervuilde" Boodschappenlijst

Maar hier zit een addertje onder het gras. Om deze slimme beslissingen te leren, moet de computer trainen op voorbeelden. En dat is waar het misgaat in de echte wereld: de labels (de antwoorden) zijn vaak fout.

Misschien was de radioloog die de röntgenfoto bekeek moe.
Misschien was de data-annotator niet goed opgeleid.
Misschien is er een foutje in de database geslopen.

Stel je voor dat je een kok bent die een recept moet leren. Maar de boodschappenlijst die je hebt, is door een gekke gast beschreven. Soms staat er "appel" waar "peer" had moeten staan. Als je probeert te koken op basis van die verkeerde lijst, wordt je gerecht een ramp.

Bestaande methoden voor veilige classificatie gaan er vaak van uit dat de boodschappenlijst (de data) perfect is. Als er ruis (fouten) in zit, worden ze extreem voorzichtig (conservatief). Ze zeggen dan: "Ik durf geen enkele diagnose te stellen, want de data is misschien fout." Dat is veilig, maar nutteloos, want je lost het probleem dan niet op.

De Oplossing: De "Empirische Likelihood" Detectives

De auteurs van dit paper (Qiong Zhang, Qinglong Tian en Pengfei Li) hebben een nieuwe methode bedacht die werkt als een detective. Ze weten dat de data vies is, maar ze hoeven niet te weten hoe vies het precies is.

Hun methode heet Empirische Likelihood (EL) en werkt met een slimme wiskundige truc die ze een "Dichtheidsverhoudingsmodel" noemen.

Hier is de analogie:

Stel je voor dat je twee groepen mensen hebt:

De Echte Groep: Mensen die echt ziek zijn of echt gezond.
De Verkeerde Groep: Mensen die door een foutje in de lijst verkeerd zijn ingedeeld.

Deze twee groepen lijken op elkaar, maar niet helemaal. De verhouding tussen hoe vaak ze voorkomen en hoe ze eruitzien, volgt een bepaald patroon (een wiskundige curve).

De nieuwe methode doet het volgende:

Kijken naar het patroon: In plaats van te proberen de fouten één voor één te vinden (wat onmogelijk is zonder extra informatie), kijkt de methode naar het algemene patroon van de data.
De "Tilting" Truc: Ze gebruiken een wiskundige techniek die ze "exponentiële tilting" noemen. Denk hierbij aan het kantelen van een balans. Als je weet hoe de balans kantelt door de fouten, kun je de oorspronkelijke, rechte balans (de ware waarheid) terugrekenen.
De EM-Algorithm: Ze gebruiken een slimme iteratieve cyclus (een Expectation-Maximization algoritme).
- Stap 1 (Gissen): "Laten we aannemen dat deze data-punten waarschijnlijk echt ziek zijn."
- Stap 2 (Leren): "Op basis van dat giswerk, hoe ziet de echte verdeling eruit?"
- Stap 3 (Aanpassen): "Oké, op basis van die nieuwe verdeling, waren mijn gissingen wel goed? Laten we het opnieuw doen."
- Ze herhalen dit tot het patroon perfect klopt.

Waarom is dit zo geweldig?

Geen vooraf kennis nodig: De meeste andere methoden vragen: "Weet je precies hoe vaak de radioloog fouten maakt?" (Bijvoorbeeld: "Hij verwisselt 10% van de gevallen"). In de echte wereld weet je dat nooit. Deze nieuwe methode heeft dat niet nodig. Ze leren het patroon uit de data zelf.
Veiligheid behouden: Zelfs met de vuile data, garandeert hun methode dat je niet meer dan het toegestane aantal fouten maakt bij de belangrijke categorieën (bijv. kanker over het hoofd zien).
Bijna perfect: In hun tests bleek dat hun methode bijna net zo goed presteerde als een methode die perfecte, schone data had. Dat is alsof je een gerecht kookt dat net zo lekker smaakt als het origineel, terwijl je alleen maar met een beschadigde recept had gewerkt.

Samenvatting in één zin

Dit paper introduceert een slimme, wiskundige manier om een computer te leren hoe hij veilige beslissingen moet nemen (waarbij bepaalde fouten verboden zijn), zelfs als de trainingsdata vol zit met fouten, zonder dat je van tevoren weet waar die fouten zitten.

Het is alsof je een kompas hebt dat je altijd de juiste richting wijst, zelfs als de kaart waar je naar kijkt een paar verkeerde wegen aangeeft.

Titel: Neyman-Pearson multiclass classificatie onder labelruis via empirische waarschijnlijkheid

Auteurs: Qiong Zhang, Qinglong Tian en Pengfei Li.
Publicatiedatum: 24 maart 2026 (voorgesteld).

1. Probleemstelling

In veel kritieke machine learning-toepassingen (zoals medische diagnose en fraudeopsporing) zijn de kosten van verschillende classificatiefouten niet gelijk. De Neyman-Pearson multiclass classificatie (NPMC) framework lost dit op door een gewogen misclassificatierisico te minimaliseren, terwijl er bovengrenzen worden opgelegd aan de foutkansen voor specifieke klassen.

Het fundamentele probleem dat in dit artikel wordt aangepakt, is de aanname van schone labels. In de praktijk zijn trainingslabels vaak vervuild door meetfouten, inconsistente annotatie of adversariale ruis. Bestaande NPMC-methoden falen vaak onder deze omstandigheden omdat ze er van uitgaan dat de trainingslabels correct zijn.

Gevolg van ruis: Het negeren van labelruis leidt tot een te conservatieve schatting van de Type I-fout (valse alarmen), wat resulteert in een onnodig hoge Type II-fout (gemiste detecties).
Bestaande beperkingen: Eerdere oplossingen voor binaire classificatie vereisten vaak vooraf bekende informatie over de "noise transition matrix" (de kans dat een label wordt verward met een ander label), wat in de praktijk zelden beschikbaar is.
Doel: Een methode ontwikkelen voor NPMC onder labelruis die geen voorafgaande kennis van de ruisparameters vereist, en die zowel voor binaire als multiclass problemen werkt.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor op basis van Empirische Waarschijnlijkheid (Empirical Likelihood - EL) en Dichtheidsverhoudingsmodellen (Density Ratio Models - DRM).

A. Modellering van de Ruis

De methode maakt gebruik van de aanname van instance-onafhankelijke ruis: de ruis in het label is conditioneel onafhankelijk van de kenmerken $X$ gegeven het ware label $Y$ .
Er wordt een relatie gelegd tussen de verdeling van de waargenomen (ruisbehalde) labels $\tilde{Y}$ en de ware labels $Y$ via een exponentiële tilting (exponential tilting) relatie:
$\frac{dP^*_k}{dP^*_0}(x) = \exp(\gamma^*_k + \langle \beta^*_k, g(x) \rangle)$
Hierbij stellen $P^*_k$ de conditionele verdeling voor van $X$ gegeven $Y=k$ . De ruis wordt gemodelleerd als een mengsel van deze ware verdelingen, gekoppeld aan een onbekende verwaringsmatrix (confusion matrix) $M^*$ of een ruisovergangsmatrix $T^*$ .

B. Empirische Waarschijnlijkheid (EL) Schatting

In plaats van parametrische aannames te doen over de onderliggende verdeling $P^*_0$ , gebruiken de auteurs een niet-parametrische EL-benadering.

Ze maximaliseren een profiel-log-EL functie om de parameters te schatten: de ware klassenproporties ( $w^*$ ), de ruisparameters ( $T^*$ of $M^*$ ), en de regressiecoëfficiënten ( $\gamma, \beta$ ) van het DRM.
Identificeerbaarheid: Het artikel bewijst dat het model strikt identificeerbaar is onder milde voorwaarden (zoals linear onafhankelijkheid van de kenmerken en een vol-rang verwaringsmatrix), wat betekent dat de ware parameters uniek kunnen worden hersteld uit de ruisbehalde data.

C. EM-Algorithm

Omdat de ware labels $Y$ niet worden waargenomen, worden ze behandeld als latente variabelen. De auteurs ontwikkelen een Expectation-Maximization (EM) algoritme om de EL-schattingen numeriek te berekenen:

E-stap: Bereken de posterieure kansen dat een observatie tot een bepaalde ware klasse behoort, gegeven de huidige parameterschatters.
M-stap: Update de parameters ( $w, T, \gamma, \beta$ ) door de verwachte complete data log-likelihood te maximaliseren. Dit omvat het oplossen van een gewogen multinomiale logistische regressie.
Het algoritme convergeert monotoon naar een lokaal maximum.

D. Classificatie en Foutcontrole

Zodra de ware klassenproporties en posterieure kansen ( $\pi^*_k(x)$ ) zijn hersteld, worden deze ingevoerd in de bestaande NPMC-oplosser (gebaseerd op het werk van Tian & Feng, 2025).

Voor binair: De classifier wordt bepaald door een drempelwaarde op de likelihood-ratio te leggen om de Type I-fout te controleren.
Voor multiclass: Een duaal optimalisatieprobleem wordt opgelost om de Lagrange-multiplicatoren te vinden die de klassenspecifieke fouten binnen de limieten houden.

3. Belangrijkste Bijdragen

Geen voorafgaande kennis vereist: De methode schat de ruisparameters en de ware verdelingen direct uit de data, zonder kennis van de ruisovergangsmatrix.
Theoretische garanties:
- De schatters zijn consistent en asymptotisch normaal met optimale convergentiesnelheden ( $O(n^{-1/2})$ ).
- De resulterende classifier voldoet asymptotisch aan Neyman-Pearson orakel-ongelijkheden. Dit betekent dat de foutcontrole voor de ware labels (ondanks de ruis in de training) asymptotisch even goed is als die van een classifier die op schone data is getraind.
Universele toepasbaarheid: Het raamwerk is geldig voor zowel binaire als multiclass classificatieproblemen, een gebied dat eerder onderbelicht was in de context van labelruis.
Efficiënte implementatie: De combinatie van EL en EM zorgt voor een robuust en computatieel haalbaar algoritme.

4. Resultaten

De auteurs evalueren hun methode (aangeduid als "Ours" of "EL-CX") via uitgebreide simulaties en real-world datasets.

Simulaties (Binair en Multiclass):
- De methode presteert bijna even goed als de "Oracle" (een methode die de ware labels kent).
- In vergelijking met de "Vanilla" methode (die ruis negeert) en bestaande methoden zoals "NPC" (die bounds op ruis vereist), behaalt de voorgestelde methode een veel betere balans tussen Type I en Type II fouten.
- De "Vanilla" methode is vaak te conservatief (te lage Type I fout, maar zeer hoge Type II fout), terwijl de voorgestelde methode de doelstellingen nauwkeurig haalt.
- De methode is robuust tegen modelmisspecificatie (bijvoorbeeld bij niet-Gaussische data).
Real-world Data:
- Toepassing op het Landsat Satellite dataset en het Dry Bean dataset.
- De resultaten tonen aan dat de methode de doelstellingen voor klassenspecifieke fouten (bijv. $P(\text{fout} | \text{klasse } k) \leq \alpha_k$ ) veel nauwkeuriger haalt dan methoden die ruis negeren, zelfs bij aanzienlijke ruisniveaus ( $\eta$ tot 0.20).

5. Betekenis en Conclusie

Dit artikel vult een belangrijke leemte in de literatuur over veiligheidskritieke machine learning. Het toont aan dat het mogelijk is om strikte Neyman-Pearson foutcontrole te handhaven in realistische scenario's waar trainingsdata onbetrouwbaar is.

Praktische impact: Voor domeinen zoals medische diagnostiek, waar het missen van een ziekte (Type II fout) veel ernstiger is dan een valse alarm (Type I fout), biedt deze methode een manier om betrouwbare modellen te bouwen zonder dat perfecte annotatie nodig is.
Wetenschappelijke bijdrage: Het koppelt empirische waarschijnlijkheid, dichtheidsverhoudingsmodellen en Neyman-Pearson classificatie op een theoretisch onderbouwde manier, en levert bewijzen voor consistentie en asymptotische optimaliteit.

De auteurs concluderen dat hun methode een robuust alternatief biedt voor bestaande benaderingen en een solide basis legt voor toekomstig onderzoek naar instance-afhankelijke ruis en diepe neurale netwerken in dit kader.