🤖 machine learning

Rethinking Calibration for Early-Exit Neural Networks

Dieser Beitrag hinterfragt die Annahme, dass allein die Kalibrierung von Klassifikatoren für Early-Exit-Neuronale Netze ausreicht, und schlägt eine neue Metrik zur Vorhersage von Early-Exit-Fehlern (EEFP) sowie ein leichtgewichtiges Trainingsverfahren vor, die gemeinsam die Vorhersagekorrektheit und die Rechenkosten optimieren, um eine überlegene Leistung zu erzielen.

Ursprüngliche Autoren: Piotr Kubaty, Filip Szatkowski, Grzegorz Choczyński, Eric Nalisnick, Bartosz Wójcik

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Piotr Kubaty, Filip Szatkowski, Grzegorz Choczyński, Eric Nalisnick, Bartosz Wójcik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine belebte Restaurantküche. Sie haben ein Team von Köchen, das von einem schnellen, jungen Lehrling (der schnell arbeitet, aber Fehler machen könnte) bis hin zu einem langsamen, weltberühmten Sternekoch (der viel Zeit benötigt, aber fast immer perfekt ist) reicht.

In einem herkömmlichen „Early-Exit"-neuronalen Netzwerk funktioniert die Küche so:

Der Lehrling probiert das Gericht und sagt: „Ich bin zu 90 % sicher, dass dies eine Lasagne ist!"
Wenn der Lehrling sicher genug ist, hört die Küche auf zu kochen und serviert das Gericht sofort.
Wenn der Lehrling unsicher ist, wandert das Gericht zum nächsten Koch weiter, und so weiter.

Jahrelang glaubten Informatiker, dass man, um diese Küche effizient zu machen, die Köche einfach nur ehrlich bezüglich ihres Vertrauens trainieren müsse. Wenn ein Koch sagt: „Ich bin zu 80 % sicher", sollte er in 80 % der Fälle recht haben. Dies nennt man Kalibrierung. Die Logik war: „Wenn unsere Köche ehrlich sind, können wir ihnen vertrauen, frühzeitig aufzuhören, was Zeit und Energie spart."

Die große Entdeckung des Papers:
Die Autoren dieses Papers sagen: „Moment mal. Ehrlich zu sein reicht nicht aus. Tatsächlich könnte das perfekt Ehrlichsein die Küche sogar langsamer und verschwendender machen."

Hier ist der Grund, unter Verwendung ihrer Analogie:

Das Problem: Der „ehrliche" Lehrling

Stellen Sie sich ein sehr schwieriges Gericht vor (eine „aussichtslose Probe"), das kein Koch in der gesamten Küche korrekt zubereiten kann.

Der kalibrierte Koch: Weil er darauf trainiert ist, ehrlich zu sein, betrachtet der Lehrling dieses unmögliche Gericht, denkt: „Ich habe keine Ahnung, was das ist", und sagt: „Ich bin nur zu 30 % sicher."
Das Ergebnis: Da 30 % unter der „Stopp"-Schwelle liegen, gibt die Küche das Gericht weiter die Reihe entlang. Der Lehrling reicht es an den zweiten Koch weiter, der ebenfalls sagt: „Ich bin nur zu 40 % sicher." Dies geht bis zum Sternekoch weiter.
Die Verschwendung: Die Küche hat eine enorme Menge an Zeit und Energie damit verbracht, ein Gericht zu kochen, das niemand richtig hinbekommen konnte. Die „Ehrlichkeit" zwang das System, Ressourcen für eine aussichtslose Sache zu verschwenden.

Die Lösung: „Failure Prediction" (EEFP)

Die Autoren schlagen eine neue Strategie vor, die Early-Exit Failure Prediction (EEFP) heißt. Anstatt zu fragen: „Wie sicher sind Sie, dass Sie recht haben?", stellen sie eine andere Frage: „Lohnt es sich, mit diesem Gericht weiterzumachen?"

Sie führen einen neuen „Küchenmanager" (ein leichtgewichtiges Meta-Modell) ein, der die Köche beobachtet.

Wenn der Lehrling ein Gericht sieht, das unmöglich aussieht, interessiert es den Manager nicht, ob der Lehrling bezüglich seines geringen Vertrauens „ehrlich" ist.
Stattdessen betrachtet der Manager die Situation und sagt: „Dieses Gericht ist aussichtslos. Egal wie viel Zeit wir investieren, wir werden es nicht reparieren. Sofort stoppen."
Der Manager könnte sogar mit hohem Vertrauen sagen: „Jetzt stoppen!", selbst wenn der Lehrling unsicher ist.

Warum dies besser ist

Kalibrierung (Der alte Weg): Konzentriert sich darauf, ob die Vorhersage korrekt ist. Wenn das Modell unsicher ist, fährt es fort und verschwendet Energie an unmöglichen Aufgaben.
EEFP (Der neue Weg): Konzentriert sich auf Effizienz. Es erkennt, wann eine Aufgabe „aussichtslos" (eine Zeitverschwendung) ist, und schneidet die Verluste sofort ab.

Die Ergebnisse

Die Autoren testeten dies in einer virtuellen Küche mit vielen verschiedenen Arten von Rezepten (Datensätze wie CIFAR-100 und ImageNet).

Bessere Abwägung: Ihre neue Methode (EEFP) sparte mehr Rechenleistung (FLOPs), während sie die Genauigkeit hoch hielt. Sie war besser darin zu wissen, wann man aufhören sollte.
Die Metrik-Falle: Sie stellten fest, dass die alte Art, den Erfolg zu messen (zu prüfen, ob die Köche „kalibriert" waren), irreführend war. Man könnte eine Küche mit „perfekt kalibrierten" Köchen haben, die tatsächlich sehr verschwenderisch war.
Der neue Score: Sie entwickelten einen neuen Score (den EEFP-Score), der tatsächlich vorhersagt, wie gut die Küche performt. Hat eine Küche einen hohen EEFP-Score, ist sie effizient. Hat sie einen niedrigen Score, verschwendet sie Zeit, selbst wenn die Köche „kalibriert" wirken.

Das Fazit

Das Paper argumentiert, dass für Systeme, die schnelle Entscheidungen treffen und Ressourcen sparen müssen, zu wissen, wann man aufgeben muss, wichtiger ist als zu wissen, wie sicher man ist.

Genau wie ein guter Manager weiß, wann er aufhören muss, an einem kaputten Projekt zu arbeiten, um Geld zu sparen, muss eine effiziente KI wissen, wann eine Probe zu schwer zu lösen ist, anstatt nur zu versuchen, bezüglich ihrer Unsicherheit „ehrlich" zu sein. Die Autoren stellen ein einfaches, leichtgewichtiges Werkzeug bereit, um der KI diese wertvolle Fähigkeit beizubringen.

Technische Zusammenfassung: Neubewertung der Kalibrierung für Neural Networks mit Early Exit

1. Problemstellung

Neural Networks mit Early Exit (EENN) beschleunigen die Inferenz, indem sie es Zwischenklassifizierern ermöglichen, die Berechnung zu beenden, sobald eine Vorhersage als hinreichend sicher eingestuft wird. Die vorherrschende Annahme in diesem Bereich besagt, dass die Verbesserung der Kalibrierung dieser Zwischenklassifizierer – also die Sicherstellung, dass die vorhergesagten Konfidenzwerte mit der empirischen Genauigkeit übereinstimmen – den Kosten-Genauigkeits-Trade-off des Netzwerks inhärent verbessert.

Die Autoren stellen diese Annahme in Frage und argumentieren, dass herkömmliche Kalibrierungskonzepte für EENN unzureichend sind. Sie gehen davon aus, dass:

Strukturelle Fehljustierung: Die herkömmliche Kalibrierung behandelt Klassifizierer als isolierte Einheiten und ignoriert die sequenzielle Struktur von EENN, bei der spätere Ausgänge über mehr Rechenressourcen und potenziell höhere Genauigkeit verfügen.
Verschwendete Berechnung: Ein gut kalibrierter Klassifizierer kann dennoch „futile" Proben (Proben, die von keinem Ausgang im Netzwerk korrekt klassifiziert werden können) mit einer niedrigen Konfidenz versehen. Dies zwingt die Probe, die gesamte Architektur zu durchlaufen, und verschwendet Rechenressourcen.
Versagen von Metriken: Kalibrierungsmetriken (wie der Expected Calibration Error, ECE) korrelieren nicht mit der Gesamtleistung eines EENN und scheitern oft daran, Netzwerke mit unterschiedlichen Fähigkeiten zur adaptiven Berechnung zu unterscheiden.

2. Theoretische Analyse

Die Arbeit liefert eine theoretische Untersuchung des Zusammenhangs zwischen Kalibrierung und adaptiver Berechnung:

Trivialität der kanonischen Kalibrierung: Die Autoren beweisen, dass ein EENN „trivial" ist, wenn alle darin enthaltenen Modelle kanonisch kalibriert sind (d. h., sie stimmen perfekt mit der wahren bedingten Wahrscheinlichkeit $P(y|x)$ überein). In diesem Szenario liefern alle Ausgänge identische Vorhersagen, wodurch die Zwischenausgänge überflüssig werden.
Grenzen der Konfidenzkalibrierung: Obwohl die Konfidenzkalibrierung (Kalibrierung bezüglich der maximalen vorhergesagten Wahrscheinlichkeit) üblich ist, zeigen die Autoren, dass sie das Exzessrisiko unter Log-Verlust nicht kontrolliert. Ein Modell kann perfekt konfidenzkalibriert sein und dennoch ein unbegrenztes Exzessrisiko aufweisen, wenn die Wahrscheinlichkeitsmasse schlecht auf nicht-modale Klassen verteilt ist.
Notwendigkeit struktureller Ordnung: Damit ein EENN eine „Anytime"-Berechnung unterstützt (bei der das Risiko strikt mit der Tiefe abnimmt), müssen die Gruppierungsfunktionen, die die Kalibrierung definieren, eine Verfeinerungskette bilden ( $\Phi_1 \preceq \dots \preceq \Phi_M$ ). Die herkömmliche Konfidenzkalibrierung garantiert diese strukturelle Ordnung nicht.

3. Methodik: Vorhersage des Early-Exit-Fehlers (EEFP)

Um die Unzulänglichkeit der Kalibrierung zu adressieren, schlagen die Autoren die Early-Exit Failure Prediction (EEFP) vor.

3.1. Konzept

Anstatt die Klassenbezeichnung vorherzusagen oder die Konfidenz zu kalibrieren, sagt das System die optimale Stoppentscheidung voraus. Für einen gegebenen Ausgang $m$ wird die Zielvariable $\otimes_m$ wie folgt definiert:

$\otimes_m = 1$ (Exit): Wenn die aktuelle Vorhersage korrekt ODER wenn kein nachfolgender Ausgang jemals korrekt sein wird.
$\otimes_m = 0$ (Weiter): Wenn die aktuelle Vorhersage falsch ist, aber ein zukünftiger Ausgang als korrekt erwartet wird.

Diese Formulierung berücksichtigt explizit die Rechenkosten der Fortsetzung der Inferenz.

3.2. Implementierung

Die Autoren führen ein leichtgewichtiges, nach dem Training durchgeführtes Verfahren zur Implementierung von EEFP ein:

Meta-Klassifizierer: Ein leichtgewichtiges Multi-Layer Perceptron (MLP) wird für jeden Ausgang $m$ trainiert, um die Wahrscheinlichkeit $P(\otimes_m = 1 | x)$ vorherzusagen.
Eingaben:
- Variante 1 (Aktuell): Verwendet die Top- $k$ -Konfidenzwerte des aktuellen Klassifizierers $f_m$ .
- Variante 2 (Historie): Verwendet die Top- $k$ -Konfidenzwerte des aktuellen Klassifizierers und aller vorherigen Ausgänge ( $f_1, \dots, f_m$ ). Dies ermöglicht es dem Meta-Klassifizierer, die Entwicklung der Konfidenz über das Netzwerk hinweg zu beobachten.
Training: Die Gewichte des EENN werden eingefroren. Die Meta-Klassifizierer werden unter Verwendung des binären Kreuzentropieverlusts auf einem zurückgehaltenen Datensatz trainiert, wobei der Ground-Truth für $\otimes_m$ durch den Abgleich des wahren Labels mit allen Vorhersagen in der Sequenz berechnet wird.
Inferenz: Das Netzwerk beendet den Prozess bei Schritt $m$ , wenn die vom Meta-Klassifizierer ausgegebene Wahrscheinlichkeit einen Schwellenwert $\tau$ überschreitet.

4. Hauptbeiträge

Theoretische Widerlegung: Ein formaler Beweis zeigt, dass die herkömmliche Kalibrierung für EENN unzureichend ist, da sie die sequenzielle Natur der Ausgänge und die Rechenkosten futile Proben nicht berücksichtigt.
EEFP-Score: Die Einführung einer neuen Metrik, des EEFP-Scores (AUROC der Fehlervorhersageaufgabe), der im Gegensatz zum ECE zuverlässig die Qualität der adaptiven Berechnungsfähigkeiten eines EENN widerspiegelt.
Verfahren zur Konfidenzkorrektur: Eine leichte, EEFP-motivierte Methode zum Ersatz der herkömmlichen konfidenzbasierten Exit-Entscheidung. Dieses Verfahren verbessert den Kosten-Genauigkeits-Trade-off über mehrere Benchmarks hinweg, ohne dass eine Neu-Trainierung des Basis-EENN erforderlich ist.

5. Experimentelle Ergebnisse

Die Autoren bewerteten ihren Ansatz an ResNet-34, ViT-Tiny, ViT-Small, EfficientNet und MSDNet über CIFAR-100, TinyImageNet und ImageNet-1k.

Kosten-Genauigkeits-Trade-off: Netzwerke, die die EEFP-basierte Konfidenzkorrektur verwendeten, erzielten konsistent überlegene Kosten-Genauigkeits-Eigenschaften im Vergleich sowohl zu Baseline-Modellen als auch zu temperaturkalibrierten Modellen.
Zuverlässigkeit der Metriken:
- EEFP-Score: Höhere EEFP-Scores in internen Klassifizierern korrelierten stark mit einer besseren End-zu-End-Leistung des EENN.
- ECE: Der ECE sagte die Leistung nicht voraus. In mehreren Fällen performten Modelle mit niedrigerem ECE (besser kalibriert) in Bezug auf den Kosten-Genauigkeits-Trade-off schlechter als Modelle mit höherem ECE.
Fehlfälle: Die Autoren zeigten, dass „überkonfidente" Modelle (bewusst fehlkalibriert) „kalibrierte" Modelle in Bezug auf die Effizienz übertreffen können. Die EEFP-Metrik identifizierte korrekt die überlegene Leistung des überkonfidenten Modells, während der ECE fälschlicherweise das kalibrierte Modell als besser einstuft.
Rechen-Overhead: Die zusätzlichen Kosten der Meta-Klassifizierer sind vernachlässigbar (ca. 0,001% Erhöhung der FLOPs).

6. Bedeutung und Behauptungen

Die Arbeit behauptet, die Perspektive darauf, wie EENN optimiert werden sollten, grundlegend zu verschieben.

Paradigmenwechsel: Sie argumentiert, dass das Ziel von EENN nicht „gut kalibrierte Klassifizierer", sondern vielmehr „effektive Fehlervorhersage" sein sollte.
Praktischer Nutzen: Die vorgeschlagene EEFP-basierte Korrektur bietet eine praktische, leichte Alternative zu bestehenden Kalibrierungsmethoden und verbessert direkt die Effizienz von Systemen zur adaptiven Berechnung.
Breitere Anwendbarkeit: Die Autoren deuten an, dass diese Erkenntnisse auf andere Szenarien adaptiver Berechnung ausgedehnt werden könnten, einschließlich Large Language Models (LLMs) und Chain-of-Thought-Reasoning, bei denen die Bestimmung des Zeitpunkts zum Beenden der Berechnung entscheidend ist.

Die Autoren bleiben bezüglich der theoretischen Grenzen bescheiden und räumen ein, dass sie keine Methode bereitstellen, um die notwendige strukturelle Ordnung der Gruppierungsfunktionen ( $\Phi$ ) zu erzwingen, die für eine ideale Anytime-Berechnung erforderlich ist, und dass die Messung der Granularität dieser Funktionen in hochdimensionalen Räumen weiterhin eine Herausforderung darstellt.