🤖 machine learning

Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning

Dit artikel stelt een plug-and-play Calibratable Disambiguation Loss (CDL) voor die een marge-gebaseerde doelstelling moduleert om simultaan de classificatienauwkeurigheid en de modelkalibratie in Multi-Instance Partial-Label Learning te verbeteren, waarmee de betrouwbaarheidsproblemen wordt aangepakt die inherent zijn aan bestaande MIPL-benaderingen.

Oorspronkelijke auteurs: Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt twee grote problemen. Ten eerste krijg je de hele plaats delict niet in één keer te zien; je krijgt alleen maar kleine, verspreide aanwijzingen (fragmenten van een foto) en je moet raden wat er in de hele kamer is gebeurd. Ten tweede, wanneer je een menigte mensen vraagt naar de naam van de verdachte, geven ze je niet één naam. Ze geven je een lijst met drie of vier namen en zeggen: "Het zou een van deze kunnen zijn!" maar ze vertellen je niet welke het daadwerkelijk is.

Dit is de rommelige realiteit van Multi-Instance Partial-Label Learning (MIPL). Het is een super lastige manier voor computers om te leren van imperfecte data. Het artikel dat je leest, pakt een specifiek hoofdpijndossier aan dat ermee gepaard gaat: betrouwbaarheid (confidence).

Het Probleem: De Overmoedige (of Onderbewuste) Detective

In het verleden waren computers die deze MIPL-puzzels probeerden op te lossen als detectives die ofwel te bang waren om een beslissing te nemen, ofwel veel te zeker van zichzelf wanneer ze het mis hadden.

De auteurs ontdekten dat bestaande methoden (zoals DEMIPL, ELIMIPL en MIPLMA) vreselijk waren in het weten hoe zeker ze zouden moeten zijn. Als een computer zei: "Ik ben 90% zeker dat dit een tumor is," was hij vaak slechts in 60% van de gevallen juist. Of, als de computer zei: "Ik ben slechts 25% zeker," was hij in werkelijkheid 80% van de tijd juist.

In de echte wereld is dit gevaarlijk. Stel je voor dat een arts een AI gebruikt om naar een pathologie-preparaat (een foto van cellen) te kijken. Als de AI zegt: "Ik ben 90% zeker dat dit kanker is," kan de arts overhaast beginnen met een behandeling. Maar als de AI in werkelijkheid slechts 60% van de tijd gelijk heeft, is dat een ramp. De computer moet gekalibreerd zijn: als hij "90%" zegt, moet hij ook 90% van de tijd gelijk hebben.

Het artikel argumenteert expliciet tegen een eenvoudige oplossing die mensen eerst probeerden: het simpelweg nemen van de standaard "Focal Loss" (een hulpmiddel dat meestal wordt gebruikt wanneer je het exacte juiste antwoord weet) en dit op dit rommelige MIPL-probleem te plakken. De auteurs lieten zien dat het naïef toepassen hiervan de computer ofwel te timide (onderbezinning/onderconfident) ofwel te arrogant (overbezinning/overconfident) maakte, en dat het de computer zelfs slechter maakte in het geven van het juiste antwoord.

De Oplossing: De "Top vs. Concurrent" Marge

Dus, wat hebben de auteurs uitgevonden? Ze creëerden een nieuw hulpmiddel genaamd Calibratable Disambiguation Loss (CDL).

Denk aan het brein van de computer als een student die een meerkeuzetoets maakt waarbij de docent alleen een lijst met mogelijke antwoorden heeft gegeven (de "candidate set"). De student moet de juiste uit die lijst kiezen.

Bij de oude methoden probeerde de student gewoon te roepen: "Ik weet het antwoord!" en hun gekozen antwoord zo snel mogelijk naar 100% zekerheid te duwen. Dit leidde tot het probleem van "overconfidence".

De nieuwe CDL-methode is als een strenge docent die zegt: "Roep niet alleen maar over je antwoord. Kijk naar je concurrenten."

De Concurrent: Dit is de op één na beste gok die de computer maakt.
De Regel: De computer mag alleen heel zeker worden als zijn beste gok duidelijk beter is dan de op één na beste gok.

Als de computer worstelt en zijn beste gok en de tweede beste gok nek aan nek liggen (een kleine "marge"), zegt de CDL: "Oké, werk hard door, word nog niet te zelfverzekerd." Maar als de beste gok ver voorloopt op de concurrent, zegt de CDL: "Goed gedaan! Je kunt ontspannen en zelfverzekerd zijn."

Dit creëert twee smaken van het hulpmiddel:

CDL-CC: Vergelijkt de beste gok met de op één na beste kandidaat (zoals het vergelijken van de nummer 1 en nummer 2 hardlopers in een race).
CDL-CN: Vergelijkt de beste gok met de sterkste niet-kandidaat (zoals het vergelijken van de nummer 1 hardloper met de beste persoon die niet eens mocht meedoen).

De Resultaten: Bewezen door de Cijfers

De auteurs hebben niet alleen gegokt dat dit zou werken; ze hebben het getest op een reeks datasets, waaronder echte pathologiebeelden van colorectale kanker en standaard beeld-datasets zoals MNIST.

Dit is wat ze vonden, met de exacte cijfers uit hun experimenten:

Betere Nauwkeurigheid: Op de Birdsong-MIPL dataset behaalde de oude beste methode (DEMIPL) 74,36% nauwkeurigheid. Hun nieuwe methode (DAMCN) sprong naar 80,38%. Op de SIVAL-MIPL dataset met drie foutieve labels gemengd in, verbeterden ze de nauwkeurigheid met een enorme 18,58% ten opzichte van de oude methode.
Veel Betere Kalibratie: Dit is de grote winst. De oude methoden hadden een verschrikkelijke "Expected Calibration Error" (ECE), die meet hoe ver hun vertrouwen afwijkt van de realiteit.
- Op de Birdsong-MIPL dataset met drie foutieve labels had de oude methode (DEMIPL) een ECE van 53,42%. Dat is een enorme kloof tussen wat ze zeiden en wat waar was.
- Hun nieuwe methode (DAMCN) bracht die fout terug naar 4,52%.
- In totaal, over 60 verschillende testgevallen op benchmark-datasets, verminderde hun methode de kalibratiefout met meer dan 50% in 26 van die gevallen. De gemiddelde reductie was 44,76%.

Het Eindoordeel

Het artikel bewijst dat door deze "marge"-regel toe te voegen — het dwingen van de computer om te controleren hoeveel beter zijn beste gok is vergeleken met de runner-up — je de betrouwbaarheid van de computer kunt herstellen zonder het vermogen om het juiste antwoord te geven te schaden.

Ze lieten zien dat dit werkt op alles van eenvoudige beeldpuzzels tot complexe medische beelden waar ze deep learning gebruikten om beelden op te splitsen in 9, 16 of zelfs 25 kleine fragmenten. Hoe complexer de afbeelding, hoe meer hun nieuwe methode hielp, met sommige versies die de kalibratiefout met 33,32% verminderden op de moeilijkste kanker-datasets.

Dus, de volgende keer dat je een AI een medische diagnose ziet stellen, kun je hopen dat deze een methode zoals deze gebruikt: een methode die precies weet hoe zeker hij is, omdat hij leerde zijn concurrenten te respecteren voordat hij begon te roepen: "Ik heb gelijk!"

Probleemstelling

Het artikel behandelt Multi-Instance Partial-Label Learning (MIPL), een zwak gesuperviseerd framework dat de uitdagingen combineert van Multi-Instance Learning (MIL) en Partial-Label Learning (PLL). In MIPL bestaat elk trainingsvoorbeeld uit een "bag" van instanties waarbij de positieve instanties niet geïdentificeerd zijn (MIL-uitdaging), en het ware label verborgen is binnen een set kandidaat-labels (PLL-uitdaging).

Terwijl bestaande MIPL-methoden zich richten op label-disambiguatie (het identificeren van het ware label uit de kandidaat-set), identificeren de auteurs een kritiek gat: deze methoden lijden vaak aan slechte modelkalibratie. Bestaande benaderingen produceren betrouwbaarheidsscores die niet de empirische waarschijnlijkheid van correctheid weerspiegelen. Dit is bijzonder problematisch in beslissingsgevoelige toepassingen zoals pathologische beeldclassificatie, waar betrouwbaarheidsscores triage en diagnose sturen. De auteurs demonstreren dat het naïef aanpassen van kalibratietechnieken uit volledig gesuperviseerd leren (zoals Focal Loss of Inverse Focal Loss) aan MIPL faalt, omdat de afwezigheid van grondwaarheid-labels leidt tot onder-gekalibreerde of over-gekalibreerde voorspellingen en verminderde classificatienauwkeurigheid.

Methodologie

De auteurs stellen een plug-and-play Calibratable Disambiguation Loss (CDL) voor, ontworpen om zowel de classificatienauwkeurigheid als de kalibratie te verbeteren zonder het disambiguatieproces te compromitteren.

1. Kernmechanisme:
CDL moduleert een momentum-gebaseerd disambiguatie-objectief met behulp van een top-versus-competitor voorspellingsmarge. De verliesfunctie wordt gedefinieerd als:
$L_{CDL} = -\sum_{c \in S_i} w^{(t)}_{i,c} (1 - q^{(t)}_i + \Phi(\hat{p}^{(t)}_i))^\gamma \log(\hat{p}^{(t)}_{i,c})$
Waarbij:

$q^{(t)}_i$ de voorspelde waarschijnlijkheid is van het hoogst gerangschikte kandidaat-label.
$\Phi(\hat{p}^{(t)}_i)$ de waarschijnlijkheid van een "competitor" (concurrent) vertegenwoordigt.
De term $(1 - \beta_i)^\gamma$ fungeert als een modulerende factor, waarbij $\beta_i = q^{(t)}_i - \Phi(\hat{p}^{(t)}_i)$ de marge is.

2. Twee Varianten:
De methode introduceert twee specifieke instanties gebaseerd op hoe de competitor wordt gedefinieerd:

CDL-CC (Candidate-vs-Competitor): De competitor is het tweede hoogste kandidaat-label. Deze variant legt de nadruk op kandidaat-niveau separatie.
CDL-CN (Candidate-vs-Non-Candidate): De competitor is de hoogste waarschijnlijkheid onder de niet-kandidaat-labels. Deze variant legt de nadruk op kandidaat-versus-niet-kandidaat onderdrukking.

3. Adaptieve Weging:
De loss maakt gebruik van een momentum-gebaseerde gewicht-update strategie voor kandidaat-labels. Bags met een lage marge (ambigue gevallen) behouden sterke disambiguatie-signalen (hoge loss-gewicht), terwijl goed gescheiden bags minder stimulans krijgen voor excessieve waarschijnlijkheidsverscherping, waardoor over-confidentie wordt beperkt.

4. Integratie:
CDL is ontworpt om naadloos te worden geïntegreerd in bestaande embedded-space MIPL-frameworks. De auteurs combineren CDL met drie gevestigde aandachtmechanismen:

Disambiguation Attention Mechanism (DAM)
Scaled additive Attention Mechanism (SAM)
Margin-aware Attention Mechanism (MAM)
Dit levert zes varianten op (bijv. DAMCC, SAMCN, MAMCC, etc.).

Theoretische Analyse

Het artikel biedt een rigoureuze theoretische analyse van CDL vanuit drie perspectieven:

Loss-niveau: Er wordt aangetoond dat CDL een marge-gemoduleerde versie is van de Momentum-based Disambiguation Loss (MDL). Theoretische grenzen bewijzen dat CDL het MDL-fitting signaal behoudt voor laag-marge (ambigue) bags, terwijl het goed gescheiden voorspellingen down-weight.
Kalibratie-niveau: De auteurs leiden een ondergrens en een pseudo-label betrouwbaarheids-alignment bound af. Ze tonen aan dat het minimaliseren van de CDL-risk de alignment tussen modelbetrouwbaarheid en pseudo-label gewichten controleert, wat een sleutelcomponent is van de Expected Calibration Error (ECE).
Optimalisatie-niveau: Gradiëntanalyse onthult dat CDL een extra "marge-vormende" term introduceert. Deze term bevordert expliciet een toename van de actieve top-versus-competitor marge tijdens optimalisatie. Bovendien worden deze gevormde marges, via momentum-updates, recursief overgedragen naar toekomstige pseudo-label gewichten, waardoor het kalibratie-effect over de epochs heen blijft bestaan.

Experimentele Resultaten

De auteurs evalueerden hun benadering op vier benchmark-datasets (MNIST-MIPL, FMNIST-MIPL, Birdsong-MIPL, SIVAL-MIPL) en zeven real-world datasets (inclusief diverse configuraties van CRC-MIPL voor colorectale kankerclassificatie).

Classificatienauwkeurigheid: De voorgestelde methoden presteerden beter dan zes state-of-the-art MIPL-baselines (MIPLGP, DEMIPL, ELIMIPL, MIPLMA, PROMIPL, FASTMIPL) in 67 van de 72 benchmark-gevallen. De verbeteringen waren bijzonder significant in uitdagende scenario's met een hoger aantal fout-positieve labels (bijv. tot 23% verbetering op MNIST-MIPL met $r=3$ ).
Kalibratieprestaties: De methoden verminderden de Expected Calibration Error (ECE) aanzienlijk. Op benchmark-datasets verminderde CDL de ECE met meer dan 50% in 26 van de 60 gevallen, met een gemiddelde reductie van 44,76%. Op real-world datasets bereikten de methoden een reductie in ECE van meer dan 10% in 33 van de 42 gevallen.
Betrouwbaarheidsdiagrammen (Reliability Diagrams): Visuele analyse bevestigde dat, terwijl baseline-methoden voorspellingen clusterden rond lage betrouwbaarheidswaarden (bijv. 0,25) ondanks hoge nauwkeurigheid, de CDL-varianten betrouwbaarheidsdiagrammen produceerden waarbij de voorspelde betrouwbaarheid nauw overeenkwam met de empirische nauwkeurigheid.

Betekenis en Bijdragen

Het artikel claimt vier primaire bijdragen:

Probleemidentificatie: Het is het eerste werk dat de problemen met modelkalibratie in MIPL identificeert en karakteriseert, waarbij wordt aangetoond dat bestaande disambiguatie-gecentreerde methoden slecht gekalibreerde betrouwbaarheidsschattingen produceren.
Methodologische Innovatie: De voorstel van CDL, een plug-and-play loss functie met twee complementaire instanties (CC en CN) die balans bieden tussen disambiguatie en kalibratie via marge-modulatie.
Theoretische Fundering: Een uitgebreide theoretische analyse die CDL vestigt als een marge-gemoduleerde MDL, waarbij kalibratie-bounds worden afgeleid en de optimalisatiedynamiek wordt uitgelegd via gradiënt- en momentumanalyse.
Empirische Validatie: Uitgebreide experimenten die bevestigen dat CDL consistent zowel de classificatienauwkeurigheid als de kalibratieprestaties verbetert over diverse benchmark- en real-world datasets, inclusclusief pathologische beeldclassificatie.

De auteurs concluderen dat CDL een robuuste oplossing biedt voor MIPL, waardoor de constructie van voorspellende modellen mogelijk wordt die niet alleen accuraat zijn, maar ook betrouwbaar in hun betrouwbaarheidsschattingen, wat cruciaal is voor de inzet in de echte wereld, zoals in de medische diagnostiek.