📊 statistics

Exact Reformulation and Optimization for Direct Metric Optimization in Binary Imbalanced Classification

Dit artikel introduceert een exact constrained reformulation en optimization (ERO) framework dat de directe en effectieve optimalisatie van precisie, recall en F1-score in binaire ongebalanceerde classificatie mogelijk maakt zonder te vertrouwen op gladde benaderingen, waarbij het een superieure prestatie demonstreert ten opzichte van state-of-the-art methoden over meerdere benchmark-datasets.

Oorspronkelijke auteurs: Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

Gepubliceerd 2026-08-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Le Peng, Yash Travadi, Chuan He, Ying Cui, Ju Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van machine learning leren computers dingen in categorieën te sorteren, vergelijkbaar met een bibliothecaris die boeken per genre organiseert. Dit proces, bekend als classificatie, is een hoeksteen van de moderne technologie en vormt de basis voor alles van medische diagnoses tot fraudedetectie. De werkelijkheid is echter zelden een perfecte balans van categorieën. In veel kritieke situaties is één groep vele malen kleiner dan de andere. Een bank kan miljoenen legitieme transacties zien, maar slechts een handvol frauduleuze; een ziekenhuis kan duizenden gezonde patiënten behandelen, maar slechts enkelen met een zeldzame ziekte. Deze onbalans creëert een valstrik voor standaard computerprogramma's. Als een systeem telkens de meerderheidsklasse gokt, zal het door het enorme volume zeer accuraat lijken, maar zal het volledig falen in zijn belangrijkste taak: het vinden van de zeldzame, kritieke gevallen.

Om dit op te lossen, proberen wetenschappers al lang computers te leren meer om de zeldzame groep te geven. Ze hebben verschillende manieren ontwikkend om succes te meten die verder gaan dan eenvoudige nauwkeurigheid, waarbij de focus ligt op hoe goed het systeem de zeldzame items vindt (een maatstaf genaamd recall) en hoe zeker het is wanneer het claimt een item gevonden te hebben (een maatstaf genaamd precisie). De uitdaging ligt in het feit dat deze doelen vaak tegengestelde richtingen opgaan. Een systeem dat te voorzichtig is, kan veel zeldzame gevallen missen om valse alarmen te vermijden, terwijl een systeem dat te enthousiast is, elk geval kan vangen maar ook te veel onschuldige zaken kan markeren. Decennialang hebben onderzoekers geprobeerd algoritmen te bouwen die deze specifieke doelen direct kunnen optimaliseren, met name wanneer ze een bepaald prestatieniveau moeten garanderen, zoals het vinden van ten minste 95% van alle fraudegevallen terwijl de valse alarmen laag worden gehouden. De wiskundige instrumenten die nodig zijn om dit te doen, zijn berucht moeilijk te gebruiken omdat de regels die deze beslissingen beheersen grillig en discontinu zijn, waardoor ze resistent zijn tegen de vloeiende, stapsgewijze verbeteringen waar de meeste computerleerprocessen op vertrouwen.

Een team van onderzoekers heeft nu een nieuwe aanpak ontwikkeld die door deze wiskundige moeilijkheid heen snijdt om deze problemen direct op te lossen. In plaats van de ruwe randen van de beslissingsregels glad te strijken, zoals eerdere methoden deden, hebben zij een manier gevonden om het probleem te herschrijven zodat de computer de grillige terreinen exact zoals ze zijn kan navigeren. Hun werk richt zich op drie specifieke scenario's die diep van betekenis zijn voor toepassingen in de echte wereld: het maximaliseren van de ontdekking van zeldzame items terwijl een hoog niveau van zekerheid wordt gegarandeerd, het maximaliseren van zekerheid terwijl een hoog niveau van ontdekking wordt gegarandeerd, en het vinden van de best mogelijke balans tussen de twee. Door een precieze wiskundige herformulering van deze taken te creëren, stelden zij het gebruik van krachtige optimalisatietools mogelijk die voorheen niet in staat waren om met de scherpe, binaire aard van deze beslissingen om te gaan.

De onderzoekers testten hun nieuwe methode op een verscheidenheid aan real-world datasets, waaronder medische afbeeldingen, tekstrecords en financiële transactielogboeken. In deze tests vergeleken zij hun aanpak met de beste bestaande instrumenten die momenteel beschikbaar zijn. De resultaten waren opmerkelijk. Terwijl de oudere methoden vaak niet voldeden aan de strikte vereisten die voor hen werden gesteld — soms resulterend in oplossingen die wiskundig gezien onbruikbaar waren in de praktijk — vond de nieuwe methode consistent oplossingen die aan de beperkingen voldeden. Bijvoorbeeld, wanneer de opdracht was om ten minste 90% van de positieve gevallen te vinden met behoud van een hoge precisie, slaagde de nieuwe aanpak daar waar anderen faalden, door modellen te leveren die zowel haalbaar als zeer effectief waren. In scenario's waar het doel was om precisie en recall te balanceren, presteerde de nieuwe methode opnieuw beter dan haar concurrenten, door betere afwegingen te vinden die leidden tot meer betrouwbare systemen.

De kern van dit succes ligt in de manier waarop de onderzoekers de "indicatorfunctie" hebben behandeld, een wiskundige schakelaar die aan of uit gaat afhankelijk van of een voorspelling correct is. Eerdere pogingen om deze problemen op te lossen vervingen deze scherpe schakelaar door een gladde, gebogen benadering, vergelijkbaar met het proberen te tekenen van een cirkelvormige vierkant om de berekening makkelijker te maken. Hoewel dit de wiskunde makkelijker maakte, introduceerde het fouten die de uiteindelijke resultaten onbetrouwbaar maakten, vooral wanneer strikte regels van toepassing waren. De nieuwe methode vermijdt deze valstrik volledig. Het introduceert een set hulpvariabelen die fungeren als een brug, waardoor de computer met de scherpe, exacte regels kan werken zonder het vermogen om gradiënten, of verbeteringsrichtingen, te berekenen te verliezen. Dit stelt het algoritme in staat om naar de beste mog{\textem} oplossing te klimmen zonder uit koers te raken of vast te lopen door benaderingsfouten.

Het team heeft ook aangetoond dat hun methode robuust is over verschillende soorten gegevens. Of het nu gaat om afbeeldingen van botten, teksten die medische condities beschrijven, of gegevens over creditcardgebruik, de aanpak hield stand. In veel gevallen produceerden de oudere methoden modellen die op papier goed leken, maar faalden om aan de basisvereisten te voldoen wanneer ze werden getest op nieuwe, ongeziene data. De nieuwe methode daarentegen behield haar prestaties en vond oplossingen die niet alleen optimaal waren voor de trainingsdata, maar ook standhielden wanneer ze op nieuwe situaties werden toegepast. Dit suggereert dat de methode niet alleen een wiskundige truc vindt om de data te fitten, maar daadwerkelijk een meer betrouwbare manier leert om beslissingen te nemen.

Hoewel de onderzoekers erkennen dat hun huidige werk deterministisch is en verdere ontwikkeling nodig kan hebben om te schalen naar massale datasets, zijn de gepresenteerde resultaten een belangrijke stap voorwaarts. Zij hebben aangetoond dat het mogelijk is om deze moeilijke, real-world metrieken direct te optimaliseren, zonder te vertrouwen op de wankele grond van benaderingen. Dit opent de deur naar meer betrouwbare AI-systemen in sectoren met hoge belangen, waar het missen van een zeldzame gebeurtenis of het geven van een vals alarm ernstige gevolgen kan hebben. Door een raamwerk te bieden dat de exacte, niet-gesmoothte aard van deze problemen kan hanteren, biedt het werk een duidelijk pad voor het bouwen van intelligente systemen die erop kunnen worden vertrouwd om precies te presteren zoals nodig, zelfs wanneer de data sterk scheef verdeeld is en de inzet hoog is.

Technische Samenvatting: Exacte Herformulering en Optimalisatie voor Directe Metrische Optimalisatie in Binaire Imbalanced Classificatie

Probleemstelling
In binaire imbalanced classificatie (IC) zijn standaardmetrieken zoals accuratesse vaak misleidend. Hoewel bestaande methoden vaak gebalanceerde accuratesse optimaliseren of gladde benaderingen gebruiken om de niet-differentieerbare aard van metrieken zoals precisie, recall en de F1-score te behandelen, kampen deze benaderingen met aanzienlijke beperkingen. Specifiek, wanneer de significantie van klassen varieert of specifieke metriekniveaus gegarandeerd moeten worden (bijv. het garanderen van recall $\ge$ 95% terwijl precisie wordt gemaximaliseerd), kunnen gladde benaderingen leiden tot onhaalbare oplossingen of suboptimale werkpunten door numerieke discrepanties en verdwijnende gradiënten (vanishing gradients).

Het artikel behandelt drie Direct Metric Optimization (DMO) problemen voor binaire IC:

FPOR: Fixeer Precisie, Optimaliseer Recall (maximaliseer recall onder de voorwaarde dat precisie $\ge \alpha$ ).
FROP: Fixeer Recall, Optimaliseer Precisie (maximaliseer precisie onder de voorwaarde dat recall $\ge \alpha$ ).
OFOS: Optimaliseer F1-score (maximaliseer de F1-metriek direct).

De kern van de technische uitdaging is dat deze metrieken indicatorfuncties bevatten ( $1\{f_\theta(x) > t\}$ ), die bijna overal een nulgradiënt hebben, waardoor standaard gradiëntgebaseerde optimalisatie onbruikbaar is. Bovendien zijn de restricties in FPOR en FROP niet-convex en niet-lineair, wat het moeilijk maakt om haalbare punten te vinden.

Methodologie
De auteurs stellen een Exact Reformulation and Optimization (ERO) framework voor dat gladde benaderingen volledig vermijdt. De methodologie bestaat uit drie hoofdonderdelen:

Exacte Continue Herformulering:
In plaats van de indicatorfunctie te benaderen met een sigmoid, introduceren de auteurs hulpvariabelen $s \in [0, 1]^N$ en herformuleren zij de indicatorrestrictie $s_i = 1\{f_\theta(x_i) > t\}$ met behulp van een nieuwe equivalentie gebaseerd op stuksgewijs lineaire functies.
- Zij stellen vast dat voor $a \neq t$ , de conditie $s = 1\{a > t\}$ equivalent is aan $s + [s + a - 1 - t]_+ - [s + a - t]_+ = 0$ , waarbij $[\cdot]_+ = \max(\cdot, 0)$ .
- Deze transformatie vervangt de discontinue indicator door een continue, stuksgewijs lineaire functie ( $H_t$ ) die bijna overal niet-nul gradiënten bezit, wat het gebruik van gradiëntgebaseerde methoden mogelijk maakt.
- Om computationele stabiliteit te waarborgen en singuliere punten waar $f_\theta(x_i) = t$ te vermijden, worden de gelijkheidsrestricties versoepeld naar ongelijkheidsrestricties, en wordt een barrière-achtige regularisatieterm (gebaseerd op cross-entropy) toegevoegd aan de doelfunctie om $s$ en $f_\theta$ te stimuleren bij extreme waarden (0 of 1) op elkaar af te stemmen.
Theoretische Equivalentie:
Het artikel bewijst dat onder milde voorwaarden (specifiek niet-singulariteit waarbij $f_\theta(x_i) \neq t$ ), de globale oplossingen van de geherformuleerde problemen equivalent zijn aan de globale oplossingen van de oorspronkelijke DMO-problemen. Dit zorgt ervoor dat het optimaliseren van het geherformuleerde probleem geldige oplossingen oplevert voor de oorspronkelijke metriekrestricties.
Exacte Penalty Optimalisatie:
Om het resulterende beperkte optimalisatieprobleem op te lossen, maken de auteurs gebruik van een exact penalty method met een $\ell_1$ -type penalty functie. In tegenstelling tot kwadratische penalty methoden of Lagrangiaanse methoden (gebruikt in frameworks zoals TFCO), die mogelijk alleen asymptotisch haalbaarheid garanderen of specifieke multiplier-condities vereisen, zorgt de exact penalty method ervoor dat een haalbare oplossing kan worden verkregen voor een voldoende grote (maar eindige) penalty parameter. Het algoritme lost iteratief onbeperkte subproblemen op met behulp van geprojecteerde gradiëntmethoden (bijv. ADAM).

Belangrijkste Bijdragen

Nieuwe Herformulering: De eerste exacte beperkte herformulering voor DMO-problemen die indicatorfuncties behandelt zonder gladde benaderingen, wat niet-triviale gradiënten induceert bijna overal.
Theoretische Garanties: Bewijs van equivalentie tussen de oorspronkelijke DMO-problemen en de geherformuleerde versies, wat vaststelt dat globale oplossingen van de één overeenkomen met globale oplossingen van de ander.
Algoritmisch Framework: Een verenigd optimalisatieramewerk dat gebruikmaakt van exact penalty methoden die betrouwbaar haalbare punten vindt voor niet-convexe, niet-lineaire restricties.
Empirische Superieuriteit: Uitgebreide experimenten op vier benchmark datasets (Eyepacs, MURA, ADE-Corpus-V2 en CreditCard) die beeld-, tekst- en tabelgegevens beslaan.

Resultaten
De ERO-methode werd vergeleken met state-of-the-art (SOTA) methoden, inclusief de TensorFlow Constrained Optimization (TFCO) bibliotheek (die gladde benaderingen en Lagrangiaanse methoden gebruikt) en diverse loss-gebaseerde of sampling-gebaseerde baselines (WCE, Focal Loss, LDAM, etc.).

Optimalisatieprestaties: ERO presteerde consistent beter dan alle concurrerende methoden in het vinden van haalbare oplossingen die de metriekrestricties voldoen (bijv. precisie $\ge$ 0.9). In tegenstelling hiertoe produceerden niet-DMO baselines vaak geen haalbare oplossingen, en bleef TFCO vaak onhaalbaar, met name bij de FPOR-taak.
Generalisatie: ERO bereikte de beste of bijna-beste prestaties op testsets over alle taken. Hoewel er generalisatiekloven bestonden (een veelvoorkomend probleem in IC), behield ERO de meest competitieve trade-offs tussen de doelfunctie en de restricties.
Specifieke Bevindingen:
- Op FPOR (Fix Precision), was ERO de enige methode die consistent haalbaarheid bereikte over alle datasets.
- Op FROP (Fix Recall), bereikte ERO de hoogste doelwaardes onder de haalbare oplossingen.
- Op OFOS (Optimize F1), behaalde ERO consequent de hoogste F1-scores tijdens de training en bleef het top-tier op testsets.

Betekenis en Claims
Het artikel claimt dat het ERO-framework een significante vooruitgang vormt ten opzichte van bestaande DMO-benaderingen door de afhankelijkheid van gladde benaderingen te elimineren, die gevoelig zijn voor numerieke discrepanties en verdwijnende gradiënten. Door een exacte herformulering te bieden, zorgt de methode ervoor dat de geoptimaliseerde metrieken strikt voldoen aan de door de gebruiker gedefinieerde restricties, een cruciale vereiste voor toepassingen met hoge inzet zoals de gezondheidszorg en de financiële sector.

De auteurs merken op dat hoewel hun huidige werk zich richt op binaire IC en drie specifieke metrieken, de onderliggende techniek generaliseerbaar is naar andere metrieken (bijv. accuratesse, NDCG, precision@k) en andere leersettings (multiclass, objectdetectie). Zij identificeren toekomstig werk met betrekking tot het uitbreiden van deze methoden naar stochastische optimalisatie voor grootschalige datasets en het begrijpen van de generalisatie-eigenschappen van constrained deep learning met overgeparameteriseerde modellen. De code wordt beschikbaar gesteld om verder onderzoek te faciliteren.

Meer zoals dit