🤖 machine learning

Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning

Dieses Paper schlägt einen Plug-and-Play Calibratable Disambiguation Loss (CDL) vor, der eine margin-basierte Zielfunktion moduliert, um gleichzeitig die Klassifizierungsgenauigkeit und die Modellkalibrierung im Multi-Instance Partial-Label Learning zu verbessern und damit die inhärenten Zuverlässigkeitsprobleme bestehender MIPL-Ansätze zu adressieren.

Ursprüngliche Autoren: Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie haben zwei große Probleme. Erstens können Sie den Tatort nicht auf einmal sehen; Sie sehen nur winzige, verstreute Hinweise (Teilbereiche eines Fotos) und müssen raten, was im gesamten Raum passiert ist. Zweitens, wenn Sie eine Menge Menschen nach dem Namen des Verdächtigen fragen, geben sie Ihnen nicht einen Namen. Sie geben Ihnen eine Liste von drei oder vier Namen und sagen: „Es könnte einer von diesen sein!“, aber sie sagen Ihnen nicht, welcher davon tatsächlich der Täter ist.

Dies ist die chaotische Realität des Multi-Instance Partial-Label Learning (MIPL). Es ist eine super komplizierte Art und Weise, wie Computer aus unvollständigen Daten lernen. Das Papier, das Sie gerade lesen, befasst sich mit einem spezifischen Kopfschmerz, der mit dieser Art von MIPL einhergeht: der Konfidenz (der Sicherheit).

Das Problem: Der über- oder unterkonfidente Detektiv

In der Vergangenheit waren Computer, die versuchten, diese MIPL-Rätsel zu lösen, wie Detektive, die entweder zu viel Angst hatten, eine Entscheidung zu treffen, oder sich ihrer Sache viel zu sicher waren, obwohl sie falsch lagen.

Die Autoren fanden heraus, dass bestehende Methoden (wie DEMIPL, ELIMIPL und MIPLMA) schrecklich darin waren, zu wissen, wie sicher sie sein sollten. Wenn ein Computer sagte: „Ich bin mir zu 90 % sicher, dass dies ein Tumor ist“, lag er oft nur in 60 % der Fälle richtig. Oder wenn er sagte: „Ich bin mir nur zu 25 % sicher“, war er in Wirklichkeit zu 80 % richtig.

In der realen Welt ist das gefährlich. Stellen Sie sich vor, ein Arzt nutzt eine KI, um ein pathologisches Präparat (ein Bild von Zellen) zu untersuchen. Wenn die KI sagt: „Ich bin mir zu 90 % sicher, dass dies Krebs ist“, könnte der Arzt überstürzt mit der Behandlung beginnen. Aber wenn die KI in Wirklichkeit nur in 60 % der Fälle richtig liegt, ist das eine Katastrophe. Der Computer muss kalibriert sein: Wenn er „90 %“ sagt, sollte er auch in 90 % der Fälle richtig liegen.

Das Papier argumentiert explizit gegen eine einfache Lösung, die Menschen zuerst versuchten: einfach die standardmäßige „Focal Loss“ (ein Werkzeug, das normalerweise verwendet wird, wenn man die exakte richtige Antwort kennt) auf dieses chaotische MIPL-Problem zu stülpen. Die Autoren zeigten, dass dies den Computer naiv entweder zu zaghaft (unterkonfident) oder zu arrogant (überkonfident) machte und seine Fähigkeit, die richtige Antwort zu finden, sogar verschlechterte.

Die Lösung: Die „Top vs. Konkurrent“-Marge

Was haben die Autoren also erfunden? Sie haben ein neues Werkzeug namens Calibratable Disambiguation Loss (CDL) entwickelt.

Stellen Sie sich das Gehirn des Computers wie einen Schüler vor, der eine Multiple-Choice-Prüfung ablegt, bei der der Lehrer ihm nur eine Liste möglicher Antworten (das „Candidate Set“) gegeben hat. Der Schüler muss die richtige Antwort aus dieser Liste auswählen.

Bei den alten Methoden versuchte der Schüler einfach zu schreien: „Ich kenne die Antwort!“ und seine gewählte Antwort so schnell wie möglich auf 100 % Konfidenz zu treiben. Dies führte zum Problem der „Überkonfidenz“.

Die neue CDL-Methode ist wie ein strenger Lehrer, der sagt: „Schrei nicht einfach nur über deine Antwort herum. Schau dir deine Konkurrenten an.“

Der Konkurrent: Das ist die zweitbeste Vermutung, die der Computer anstellt.
Die Regel: Der Computer darf nur dann extrem selbstbewusst werden, wenn seine beste Vermutung deutlich besser ist als die zweitbeste Vermutung.

Wenn der Computer Schwierigkeiten hat und seine erste und zweite Vermutung Kopf an Kopf liegen (eine kleine „Marge“), sagt die CDL: „Okay, arbeite weiter hart, werde noch nicht überheblich.“ Aber wenn die beste Vermutung weit vor dem Konkurrenten liegt, sagt die CDL: „Gute Arbeit! Du kannst dich jetzt entspannen und selbstbewusst sein.“

Dies schafft zwei Varianten des Werkzeugs:

CDL-CC: Vergleicht die beste Vermutung mit dem zweitbesten Kandidaten (wie den Vergleich zwischen dem Erst- und Zweitplatzierten in einem Rennen).
CDL-CN: Vergleicht die beste Vermutung mit dem stärksten Nicht-Kandidaten (wie den Vergleich zwischen dem Erstplatzierten und der besten Person, die gar nicht erst am Rennen teilnehmen durfte).

Die Ergebnisse: Bewiesen durch Zahlen

Die Autoren haben nicht nur geraten, dass dies funktionieren würde; sie haben es auf einer Reihe von Datensätzen getestet, einschließlich realer pathologischer Bilder von Darmkrebs und Standard-Bilddatensätzen wie MNIST.

Hier ist das, was sie herausgefunden haben, mit den exakten Zahlen aus ihren Experimenten:

Bessere Genauigkeit: Auf dem Birdsong-MIPL-Datensatz erreichte die alte beste Methode (DEMIPL) eine Genauigkeit von 74,36 %. Ihre neue Methode (DAMCN) sprang auf 80,38 %. Auf dem SIVAL-MIPL-Datensatz mit drei beigemischten falschen Labels verbesserte sie die Genauigkeit im Vergleich zur alten Methode um massive 18,58 %.
Viel bessere Kalibrierung: Das ist der große Sieg. Die alten Methoden hatten einen schrecklichen „Expected Calibration Error“ (ECE), der misst, wie weit ihre Konfidenz von der Realität abweicht.
- Auf dem Birdsong-Mائل-Datensatz mit drei falschen Labels hatte die alte Methode (DEMIPL) einen ECE von 53,42 %. Das ist eine riesige Lücke zwischen dem, was sie sagten, und dem, was wahr war.
- Ihre neue Methode (DAMCN) senkte diesen Fehler drastisch auf 4,52 %.
- Insgesamt reduzierte ihre Methode den Kalibrierungsfehler in 26 von 60 verschiedenen Testfällen auf Benchmark-Datensätzen um mehr als 50 %. Die durchschnittliche Reduktion lag bei 44,76 %.

Das Urteil

Das Papier beweist, dass durch das Hinzufügen dieser „Marge“-Regel – die den Computer dazu zwingt, zu prüfen, wie viel besser seine beste Vermutung im Vergleich zum Zweitplatzierten ist – man die Konfidenz des Computers korrigieren kann, ohne seine Fähigkeit zu beeinträchtigen, die richtige Antwort zu finden.

Sie zeigten, dass dies bei allem funktioniert, von einfachen Bildrätseln bis hin zu komplexen medizinischen Bildern, bei denen sie Deep Learning nutzten, um Bilder in 9, 16 oder sogar 25 winzige Teilbereiche zu zerlegen. Je komplexer das Bild, desto mehr half ihre neue Methode, wobei einige Versionen den Kalibrierungsfehler bei den schwierigsten Krebs-Datensätzen um 33,32 % reduzierten.

Wenn Sie das nächste Mal eine KI bei einer medizinischen Diagnose sehen, können Sie hoffen, dass sie eine Methode wie diese verwendet: eine, die genau weiß, wie sicher sie sich ist, weil sie gelernt hat, ihre Konkurrenten zu respektieren, bevor sie anfängt zu schreien: „Ich habe recht!“

Problemstellung

Die Arbeit befasst sich mit Multi-Instance Partial-Label Learning (MIPL), einem schwach überwachten Framework, das die Herausforderungen aus Multi-Instance Learning (MIL) und Partial-Label Learning (PLL) kombiniert. In MIPL besteht jedes Trainingsbeispiel aus einem „Bag“ (Beutel) von Instanzen, wobei die positiven Instanzen nicht identifiziert sind (MIL-Herausforderung), und das wahre Label innerhalb einer Menge von Kandidaten-Labels verborgen ist (PLL-Herausforderung).

Während bestehende MIPL-Methoden sich auf die Label-Disambiguierung (Identifizierung des wahren Labels aus der Menge der Kandidaten) konzentrieren, identifizieren die Autoren eine kritische Lücke: Diese Methoden leiden oft unter einer schlechten Modellkalibrierung. Bestehende Ansätze erzeugen Konfidenzwerte, die nicht die empirische Wahrscheinlichkeit der Korrektheit widerspiegeln. Dies ist besonders problematisch in entscheidungsintensiven Anwendungen wie der pathologischen Bildklassifizierung, bei denen Konfidenzwerte die Triage und Diagnose leiten. Die Autoren zeigen, dass die naive Anpassung von Kalibrierungstechniken aus dem voll überwachten Lernen (wie Focal Loss oder Inverse Focal Loss) an MIPL fehlschlägt, da das Fehlen von Ground-Truth-Labels zu unterkonfidenten oder überkonfidenten Vorhersagen und reduzierter Klassifizierungsgenauigkeit führt.

Methodik

Die Autoren schlagen einen Plug-and-Play Calibratable Disambiguation Loss (CDL) vor, der darauf ausgelegt ist, sowohl die Klassifizierungsgenauigkeit als auch die Kalibrierung zu verbessern, ohne den Disambiguierungsprozess zu beeinträchtigen.

1. Kernmechanismus:
CDL moduliert eine momentum-basierte Disambiguierungs-Zielgröße mittels einer Top-vs.-Competitor-Vorhersagemarge. Die Verlustfunktion ist definiert als:
$L_{CDL} = -\sum_{c \in S_i} w^{(t)}_{i,c} (1 - q^{(t)}_i + \Phi(\hat{p}^{(t)}_i))^\gamma \log(\hat{p}^{(t)}_{i,c})$
Wobei:

$q^{(t)}_i$ die vorhergesagte Wahrscheinlichkeit des top-gerankten Kandidaten-Labels ist.
$\Phi(\hat{p}^{(t)}_i)$ die Wahrscheinlichkeit eines „Competitors“ (Konkurrenten) darstellt.
Der Term $(1 - \beta_i)^\gamma$ als Modulationsfaktor fungiert, wobei $\beta_i = q^{(t)}_i - \Phi(\hat{p}^{(t)}_i)$ die Marge ist.

2. Zwei Varianten:
Die Methode führt zwei spezifische Instanziierungen ein, basierend darauf, wie der Competitor definiert wird:

CDL-CC (Candidate-vs-Competitor): Der Competitor ist das zweithöchste Kandidaten-Label. Diese Variante betont die Separation auf Kandidatenebene.
CDL-CN (Candidate-vs-Non-Candidate): Der Competitor ist die höchste Wahrscheinlichkeit unter den Nicht-Kandidaten-Labels. Diese Variante betont die Unterdrückung von Kandidaten gegenüber Nicht-Kandidaten.

3. Adaptive Gewichtung:
Der Verlust verwendet eine momentum-basierte Gewichtungsaktualisierungsstrategie für Kandidaten-Labels. Bags mit geringer Marge (ambivalente Fälle) behalten starke Disambiguierungssignale (hohes Verlustgewicht) bei, während gut getrennte Bags weniger Anreize für eine übermäßige Wahrscheinlichkeitsverschärfung erhalten, wodurch Überkonfidenz gemildert wird.

4. Integration:
CDL ist so konzipiert, dass es nahtlos in bestehende Embedded-Space-MIPL-Frameworks integriert werden kann. Die Autoren kombinieren CDL mit drei etablierten Aufmerksamkeitsmechanismen:

Disambiguation Attention Mechanism (DAM)
Scaled additive Attention Mechanism (SAM)
Margin-aware Attention Mechanism (MAM)
Dies ergibt sechs Varianten (z. B. DAMCC, SAMCN, MAMCC usw.).

Theoretische Analyse

Die Arbeit liefert eine rigorose theoretische Analyse von CDL aus drei Perspektiven:

Loss-Ebene: Es wird gezeigt, dass CDL eine margen-modulierte Version des Momentum-basierten Disambiguierungs-Loss (MDL) ist. Theoretische Schranken beweisen, dass CDL das MDL-Fitting-Signal für Bags mit geringer Marge (ambivalente Fälle) bewahrt, während es gut getrennte Vorhersagen abwertet.
Kalibrierungs-Ebene: Die Autoren leiten eine untere Schranke und eine Pseudo-Label-Konfidenz-Alignment-Schranke ab. Sie zeigen, dass die Minimierung des CDL-Risikos die Ausrichtung zwischen Modellkonfidenz und Pseudo-Label-Gewichten kontrolliert, was eine Schlüsselkomponente des Expected Calibration Error (ECE) ist.
Optimierungs-Ebene: Die Gradientenanalyse zeigt, dass CDL einen zusätzlichen „Margin-Shaping“-Term einführt. Dieser Term fördert explizit die Erhöhung der aktiven Top-vs.-Competitor-Marge während der Optimierung. Darüber hinaus werden diese geformten Margen durch Momentum-Updates rekursiv auf zukünftige Pseudo-Label-Gewichte übertragen, wodurch sichergestellt wird, dass der Kalibrierungseffekt über die Epochen hinweg anhält.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz auf vier Benchmark-Datensätzen (MNIST-MIPL, FMNIST-MIPL, Birdsong-MIPL, SIVAL-MIPL) und sieben realen Datensätzen (einschließlich verschiedener Konfigurationen von CRC-MIPL für die Klassifizierung von Darmkrebs).

Klassifizierungsgenauigkeit: Die vorgeschlagenen Methoden übertrafen sechs State-of-the-Art MIPL-Baselines (MIPLGP, DEMIPL, ELIMIPL, MIPLMA, PROMIPL, FASTMIPL) in 67 von 72 Benchmark-Fällen. Die Verbesserungen waren besonders signifikant in anspruchsvollen Szenarien mit einer hohen Anzahl an False-Positive-Labels (z. B. bis zu 23 % Verbesserung bei MNIST-MIPL mit $r=3$ ).
Kalibrierungsleistung: Die Methoden reduzierten den Expected Calibration Error (ECE) signifikant. Auf Benchmark-Datensätzen reduzierte CDL den ECE in 26 von 60 Fällen um über 50 %, mit einer mittleren Reduktion von 44,76 %. Auf realen Datensätzen erreichten die Methoden in 33 von 42 Fällen eine Reduktion des ECE um über 10 %.
Reliability Diagrams (Zuverlässigkeitsdiagramme): Die visuelle Analyse bestätigte, dass Baseline-Methoden Vorhersagen trotz hoher Genauigkeit um niedrige Konfidenzwerte (z. B. 0,25) gruppierten, während die CDL-Varianten Zuverlässigkeitsdiagramme erzeugten, in denen die vorhergesagte Konfidenz eng mit der empirischen Genauigkeit übereinstimmte.

Bedeutung und Beiträge

Die Arbeit beansprucht vier primäre Beiträge:

Problemidentifikation: Es ist die erste Arbeit, die Probleme der Modellkalibrierung in MIPL identifiziert und charakterisiert und zeigt, dass bestehende, auf Disambiguierung fokussierte Methoden schlecht kalibrierte Konfidenzschätzungen erzeugen.
Methodische Innovation: Der Vorschlag von CDL, einem Plug-and-Play-Loss mit zwei komplementären Instanziierungen (CC und CN), die Disambiguierung und Kalibrierung mittels Margen-Modulation ausbalancieren.
Theoretische Fundierung: Eine umfassende theoretische Analyse, die CDL als margen-moduliertes MDL etabliert, Kalibrierungsschranken ableitet und die Optimierungsdynamik durch Gradienten- und Momentum-Analyse erklärt.
Empirische Validierung: Umfangreiche Experimente, die bestätigen, dass CDL die Klassifizierungsgenauigkeit und die Kalibrierungsleistung über verschiedene Benchmark- und reale Datensätze hinweg, einschließlich der pathologischen Bildklassifizierung, konsistent verbessert.

Die Autoren kommen zu dem Schluss, dass CDL eine robuste Lösung für MIPL bietet, die den Bau prädiktiver Modelle ermöglicht, die nicht nur genau, sondern auch in ihren Konfidenzschätzungen zuverlässig sind, was für den Einsatz in der realen Welt, wie etwa in der medizinischen Diagnostik, entscheidend ist.