🤖 machine learning

Enhancing Deep Neural Network Reliability with Refinement and Calibration

Dieser Artikel stellt RefCal vor, ein einheitliches Trainingsframework, das einen neuartigen überwachten kontrastiven Verlust einführt, um Genauigkeit, Kalibrierung und Verfeinerung gemeinsam zu optimieren und damit den gängigen Zielkonflikt zu überwinden, bei dem bestehende Methoden die Kalibrierung auf Kosten der Fähigkeit des Modells verbessern, zwischen korrekten und inkorrekten Vorhersagen zu unterscheiden.

Ursprüngliche Autoren: Ramya Hebbalaguppe, Ajay Shastry, Soumya Suvra Ghosal, Chetan Arora

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ramya Hebbalaguppe, Ajay Shastry, Soumya Suvra Ghosal, Chetan Arora

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler, der einen Multiple-Choice-Test schreibt. Dieser Schüler ist unglaublich gut darin, die richtigen Antworten zu finden (hohe Genauigkeit). Es gibt jedoch ein Problem: Manchmal liegt der Schüler falsch, ist sich aber absolut sicher, dass er recht hat. Zu anderen Zeiten liegt er richtig, klingt aber unsicher.

In der Welt der Künstlichen Intelligenz wird diese „Sicherheit" als Vertrauen (Confidence) bezeichnet. Wenn das Vertrauen einer KI nicht mit der Häufigkeit übereinstimmt, mit der sie tatsächlich richtig liegt, sagen wir, sie ist unzuverlässig. Diese Arbeit stellt eine neue Trainingsmethode namens RefCal vor, um dieses Problem zu beheben und die KI nicht nur klug, sondern auch ehrlich bezüglich dessen zu machen, was sie weiß.

Hier ist eine Aufschlüsselung der Ideen der Arbeit mit einfachen Analogien:

1. Das Problem: Der „übermütige" Schüler

Tiefe Neuronale Netze (die „Schüler") sind hervorragend im Raten von Antworten, leiden jedoch oft unter zwei spezifischen Problemen:

Schlechte Kalibrierung: Der Schüler sagt: „Ich bin zu 90 % sicher, dass dies eine Katze ist", aber in Wirklichkeit liegt er nur in 60 % der Fälle richtig, wenn er das sagt. Sein Vertrauen stimmt nicht mit der Realität überein.
Schlechte Verfeinerung (Refinement): Dies ist der Hauptfokus der Arbeit. Stellen Sie sich vor, der Schüler versucht, den Unterschied zwischen einer „Katze" und einem „Hund" zu erkennen.
- Gute Verfeinerung: Wenn er eine Katze sieht, sagt er: „Das ist definitiv eine Katze!" (Hohes Vertrauen). Wenn er einen Hund sieht, sagt er: „Das ist definitiv ein Hund!" (Hohes Vertrauen). Es gibt eine enorme Lücke zwischen seinem Vertrauen für die richtige Antwort im Vergleich zur falschen Antwort.
- Schlechte Verfeinerung: Der Schüler ist „weichgespült". Er könnte sagen: „Es ist zu 55 % eine Katze, zu 45 % ein Hund", selbst wenn es eindeutig eine Katze ist. Er trennt die richtige Antwort nicht scharf genug von der falschen Antwort.

Die Entdeckung der Arbeit: Die Autoren stellten fest, dass viele bestehende Methoden versuchen, die „schlechte Kalibrierung" (den Schüler ehrlich zu machen), indem sie einfach die Endzahlen nach dem Test anpassen. Dies verschlimmert jedoch oft die „schlechte Verfeinerung"! Es ist, als würde man dem Schüler sagen, er solle einfach bei allem „50/50" raten, um auf der sicheren Seite zu sein. Der Schüler wird ehrlich, verliert aber seine Fähigkeit, zwischen einer Katze und einem Hund zu unterscheiden.

2. Die Lösung: RefCal (Verfeinerung + Kalibrierung)

Die Autoren schlagen ein zweistufiges Trainingslager namens RefCal vor, um beide Probleme gleichzeitig zu beheben.

Schritt 1: Das „Schärfe"-Training (Verfeinerung)

Zuerst trainieren sie die KI mit einer speziellen Technik namens Supervised Contrastive Loss.

Die Analogie: Stellen Sie sich vor, ein Lehrer zeigt dem Schüler zwei Fotos: eines von einer Katze und eines von einem Hund. Der Lehrer zwingt den Schüler, auf die Katze zu schauen und zu sagen: „Das ist zu 100 % eine Katze!", und auf den Hund zu schauen und zu sagen: „Das ist zu 100 % ein Hund!".
Das Ziel hier ist es, die „richtigen" Antworten im Kopf des Schülers weit von den „falschen" Antworten wegzuschieben. Dies erzeugt eine breite, klare Lücke (hohe Verfeinerung). Die Arbeit beweist mathematisch, dass diese spezifische Trainingsmethode als „Proxy" dient, um die Vorhersagen der KI viel schärfer zu machen.

Schritt 2: Das „Ehrlichkeits"-Training (Kalibrierung)

Sobald die KI gelernt hat, scharf und deutlich zu sein, friert die zweite Stufe dieses „Gehirn" ein und fügt eine einfache „Ehrlichkeitsschicht" darauf hinzu.

Die Analogie: Jetzt, wo der Schüler genau weiß, wie eine Katze und ein Hund aussehen, lehren wir ihn, seine Stimme anzupassen. Wenn er zu 90 % sicher ist, stellen wir sicher, dass er tatsächlich in 90 % der Fälle recht hat. Wir ändern nicht was er weiß; wir stimmen nur wie er es meldet ab.

3. Die Ergebnisse: Der „perfekte" Schüler

Die Arbeit testete dies an verschiedenen Bilddatensätzen (wie CIFAR und ImageNet), einschließlich schwierigerer, bei denen einige Tiere selten sind (Long-Tailed-Datensätze).

Das Ergebnis: Die mit RefCal trainierte KI wurde zu einer „Dreifach-Bedrohung":
1. Genauer: Sie beantwortete mehr Fragen richtig.
2. Verfeinerter: Sie konnte richtige Antworten klar von falschen trennen (sie klang nicht „weichgespült").
3. Besser kalibriert: Ihre Vertrauenswerte stimmten mit ihrer tatsächlichen Erfolgsrate überein.

Visueller Beweis: Die Arbeit enthält „Grad-CAM"-Bilder (Wärmebilder, die zeigen, worauf die KI schaut).

Ohne RefCal: Die KI könnte auf den Hintergrund (wie das Gras) schauen, um ein Tier zu erraten.
Mit RefCal: Die KI fokussiert sich scharf auf das Tier selbst. Da sie gezwungen wird, in ihrem Denken „scharf" zu sein, lernt sie auf natürliche Weise, Hintergrundrauschen zu ignorieren und sich auf die wichtigen Merkmale zu konzentrieren.

Zusammenfassung

Denken Sie an RefCal als Trainingsprogramm, das verhindert, dass KI ein „wankelmütiger" Rater ist. Es lehrt die KI, zuerst entschlossen (Verfeinerung) und dann ehrlich (Kalibrierung) zu sein. Das Ergebnis ist ein Modell, das nicht nur intelligenter, sondern auch vertrauenswürdig genug ist, um in realen Situationen eingesetzt zu werden, in denen Fehler kostspielig sind.

Die Arbeit behauptet, dass diese Methode besser funktioniert als frühere „state-of-the-art"-Methoden, die sich oft zwischen Genauigkeit oder Ehrlichkeit entscheiden mussten. Mit RefCal erhalten Sie beides.

Technische Zusammenfassung: Verbesserung der Zuverlässigkeit tiefer neuronaler Netze durch Verfeinerung und Kalibrierung (RefCal)

1. Problemstellung

Tiefe neuronale Netze (DNNs) erreichen häufig eine hohe Vorhersagegenauigkeit, leiden jedoch unter unzuverlässigen Konfidenzschätzungen und liefern oft übermäßig selbstbewusste Vorhersagen, selbst wenn diese falsch sind. Dieses Manko an Zuverlässigkeit untergräbt das Vertrauen der Nutzer, insbesondere in sicherheitskritischen Bereichen wie Gesundheitswesen und autonomes Fahren.

Die Arbeit identifiziert eine kritische Einschränkung bestehender Ansätze: Standard-Kalibrierungsmethoden verbessern oft die Kalibrierungsmetriken (z. B. Expected Calibration Error, ECE) auf Kosten der Verfeinerung (Refinement). Verfeinerung, ein von DeGroot und Fienberg (1982) eingeführtes Konzept, misst die „Schärfe" von Vorhersagen – spezifisch den Grad, in dem ein Modell korrekten Vorhersagen eine hohe Konfidenz und falschen Vorhersagen eine niedrige Konfidenz zuweist. Die Autoren beobachten, dass Nachbearbeitungs-Kalibrierungstechniken oder bestimmte Verlustfunktionen während des Trainings zwar Unsicherheit während des Trainings imitieren können, ohne jedoch tatsächlich die diskriminierende Kraft des Modells zu verbessern, was effektiv die Trennung zwischen korrekten und falschen Vorhersagen verringert.

2. Methodik: RefCal

Die Autoren schlagen RefCal vor, ein einheitliches zweistufiges Trainingsframework, das darauf ausgelegt ist, Genauigkeit, Kalibrierung und Verfeinerung gemeinsam zu optimieren.

2.1 Theoretische Grundlage: Verfeinerungsverlust

Die Kerninnovation ist eine neue surrogate Verlustfunktion für Verfeinerung ( $\mathcal{L}_{ref}$ ). Die Autoren definieren Verfeinerung als die Trennung zwischen der Konfidenz korrekter Vorhersagen und der Konfidenz falscher Vorhersagen.

Formulierung: $\mathcal{L}_{ref}$ ist so definiert, dass sie den Abstand zwischen einer Ankerprobe und ihrem nächsten positiven Nachbarn (gleiche Label) minimiert, während sie gleichzeitig den Abstand zu ihrem nächsten negativen Nachbarn (unterschiedliches Label) maximiert.
Verbindung zum Contrastive Learning: Durch mathematische Analyse (Lemma 1 und 2) beweisen die Autoren, dass der von Khosla et al. (2020) vorgeschlagene Supervised Contrastive Loss (SupCon) eine obere Schranke für ihren vorgeschlagenen Verfeinerungsverlust darstellt ( $\mathcal{L}_{SC} \geq \mathcal{L}_{ref}$ ). Dieses theoretische Ergebnis ermöglicht es den Autoren, bestehende, skalierbare SupCon-Optimierungsframeworks zu nutzen, um Verfeinerung zu erreichen, ohne eine neue, komplexe Verlustfunktion von Grund auf neu zu entwerfen.

2.2 Das RefCal-Trainingsregime

RefCal arbeitet in zwei distincten Phasen:

Verfeinerungsphase (Pre-Training): Ein Encoder wird mit Supervised Contrastive Loss vortrainiert. Diese Phase konzentriert sich auf das Erlernen diskriminierender Repräsentationen, die Proben derselben Klasse eng zusammenclustern und Proben unterschiedlicher Klassen trennen, wodurch die Verfeinerung (Schärfe) des Modells maximiert wird.
Kalibrierungsphase (Fine-Tuning): Die Encoder-Gewichte werden eingefroren. Ein linearer Klassifikationskopf wird dann mit einer Kombination aus Standard-Klassifikationsverlusten (z. B. Cross-Entropy) und spezifischen Kalibrierungsverlusten (z. B. MMCE, Temperature Scaling, Label Smoothing) trainiert. Diese Phase optimiert die Wahrscheinlichkeitsausgaben, um sie mit empirischen Häufigkeiten abzugleichen, ohne die in der ersten Phase erlernte Verfeinerung zu verschlechtern.

3. Hauptbeiträge

Neue surrogate Verlustfunktion für Verfeinerung: Die Arbeit führt ein Verfeinerungsziel ein und zeigt theoretisch auf, dass Supervised Contrastive Loss ein gültiger und handhabbarer Surrogat für die Minimierung dieses Ziels ist.
Skalierbarkeit auf Mehrklassenprobleme: Im Gegensatz zu früheren Verfeinerungsmethoden (z. B. Correctness Ranking Loss oder AUC-Maximierung), die oft auf binäre Klassifikation beschränkt sind oder One-vs-All-Schemata erfordern, erstreckt sich die vorgeschlagene Formulierung auf Basis von SupCon natürlich auf Mehrklassenklassifikation.
RefCal-Framework: Ein zweistufiges Trainingsverfahren, das erfolgreich Verfeinerung, Kalibrierung und Genauigkeit gleichzeitig optimiert und die traditionelle Ansicht herausfordert, dass diese Ziele sich gegenseitig ausschließen.
Empirische Validierung von Trade-offs: Die Autoren widerlegen die Annahme eines inhärenten Trade-offs zwischen Kalibrierung und Verfeinerung (oft abgeleitet aus der Brier-Score-Zerlegung unter Annahme konstanter Fehler) und zeigen empirisch, dass Verfeinerung parallel zu Kalibrierung und Genauigkeit verbessert werden kann.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RefCal auf mehreren Datensätzen, darunter CIFAR-10, CIFAR-100, CIFAR-100-LT (Long-Tailed), ImageNet-1K, ImageNet-LT, STL-10 und TinyImageNet.

Leistungsmetriken: Die Evaluation nutzte Top-1-Genauigkeit, die Fläche unter der ROC-Kurve (AUC) als Proxy für Verfeinerung sowie Kalibrierungsmetriken einschließlich ECE, SCE, ACE und smECE.
Wichtige Erkenntnisse:
- CIFAR-100-LT: RefCal erreichte eine Genauigkeit von 58,81 %, eine Verfeinerung (AUC) von 95,67 % und einen ECE von 0,08 und übertraf damit deutlich die Correctness Ranking Loss (CRL)-Basislinie, die 46,27 % Genauigkeit, 93,7 % AUC und 0,22 ECE erzielte.
- CIFAR-10-LT: RefCal erzielte die beste kombinierte Leistung mit ECE: 1,05, AUC: 99,04 und Genauigkeit: 88,11 und übertraf die SOTA-Basislinie (Liu et al., 2022).
- Robustheit: RefCal zeigte eine überlegene Robustheit gegenüber Out-of-Distribution (OOD)-Daten und natürlichen Korruptionen (z. B. Gaußsches Rauschen, Helligkeitsverzerrung) und wies im Vergleich zu SOTA-Methoden eine geringere Varianz in AUC und ECE auf.
- Visuelle Interpretierbarkeit: Grad-CAM-Visualisierungen zeigten, dass Modelle, die mit RefCal trainiert wurden, sich stärker auf saliente Objektmerkmale konzentrierten als auf Hintergrundrauschen, was darauf hindeutet, dass der Verfeinerungsverlust das Modell zwingt, robustere semantische Merkmale zu erlernen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass RefCal einen prinzipiellen Ansatz zur Verbesserung der Zuverlässigkeit von DNNs bietet, indem sie die oft übersehene Dimension der Verfeinerung adressiert.

Überwindung des Trade-offs: Die Autoren behaupten, dass ihre Arbeit klärt, dass der Konflikt zwischen Kalibrierung und Verfeinerung nur unter spezifischen Annahmen (konstanter Fehler) entsteht und dass in der Praxis beide gleichzeitig verbessert werden können.
Praktische Relevanz: Das Framework ist auf reale Vision-Systeme anwendbar (unter Verwendung von Architekturen wie ResNet und EfficientViT), bei denen sowohl Genauigkeit als auch vertrauenswürdige Konfidenzschätzungen entscheidend sind.
Effizienz vs. Kosten: Obwohl der Ansatz aufgrund des zweistufigen Prozesses im Vergleich zur nachträglichen Kalibrierung höhere Trainingskosten verursacht, erzielt er erhebliche Zuverlässigkeitsgewinne ohne zusätzlichen Inferenz-Overhead. Die Autoren stellen fest, dass die Methode bestehende Frameworks (SupCon und Standard-Kalibrierungsverluste) nutzt, was sie zu einer praktischen und wiederverwendbaren Lösung macht.

Die Arbeit schließt, dass RefCal durch die gemeinsame Optimierung von Verfeinerung und Kalibrierung Modelle hervorbringt, die nicht nur genau sind, sondern auch hohe Konfidenz bei korrekten Vorhersagen und angemessene Unsicherheit bei Fehlern aufweisen, wodurch die allgemeine Vertrauenswürdigkeit tiefer neuronaler Netze verbessert wird.