📊 statistics

Density-Ratio Losses for Post-Hoc Learning to Defer

Dieser Artikel schlägt ein nachgelagertes Learning-to-Defer-Rahmenwerk vor, das Verzögerungsentscheidungen als Dichteverhältnis-Schätzung zwischen den idealen Verteilungen des Modells und des Experten formuliert und damit einstellbare Verzögerungsraten ohne erneutes Training ermöglicht, während es Chows Regel, experten-gewichtete bayessche Inferenz und Anomalieerkennung vereint.

Ursprüngliche Autoren: Alexander Soen, Ragnar Thobaben, Joakim Jaldén, Richard Nock

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Soen, Ragnar Thobaben, Joakim Jaldén, Richard Nock

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Assistenzarzt in einem belebten Krankenhaus. Sie sind klug und ausgebildet, aber Sie wissen, dass Sie nicht perfekt sind. Manchmal sind die Symptome eines Patienten so verwirrend oder selten, dass selbst Ihre beste Vermutung falsch sein könnte. In solchen Momenten ist die klügste Handlung nicht zu raten, sondern zu sagen: „Ich bin mir nicht sicher, lassen Sie uns den Chefarzt fragen."

Dieser Artikel handelt davon, Computerprogrammen (KI-Modellen) beizubringen, genau das zu tun: zu wissen, wann sie zurücktreten und einen menschlichen Experten übernehmen lassen sollen. Dieser Prozess wird als Learning to Defer (Lernen des Verzögerns) bezeichnet.

Hier ist die einfache Aufschlüsselung dessen, was die Autoren getan haben, unter Verwendung alltäglicher Analogien.

Das Problem: Das „Post-Hoc"-Dilemma

Normalerweise trainieren wir eine KI von Grund auf neu, um in allem perfekt zu sein. Aber in der realen Welt haben wir oft bereits ein leistungsfähiges KI-Modell, das wir nicht leicht ändern können (vielleicht ist es zu groß oder es wurde bereits eingesetzt). Wir nennen dies ein „festes" Modell.

Die Herausforderung lautet: Wie bringen wir dieses feste Modell bei, zu wissen, wann es um Hilfe bitten soll, ohne das Ganze neu zu trainieren?

Die meisten bestehenden Methoden versuchen dies zu erraten, indem sie schauen, wie „zuversichtlich" sich die KI fühlt. Wenn die KI zu 99 % sicher ist, antwortet sie. Wenn sie zu 50 % sicher ist, bittet sie um Hilfe. Aber das ist wie ein Schüler, der errät, ob er die Antwort weiß, basierend darauf, wie laut er sich fühlt. Dies scheitert oft, wenn die Daten unordentlich sind oder wenn der Experte bei spezifischen, seltsamen Fällen wirklich gut ist.

Die Lösung: Die „Ideale Welt"-Analogie

Die Autoren schlagen einen neuen Weg vor, darüber nachzudenken. Anstatt zu fragen: „Wie zuversichtlich ist die KI?", fragen sie: „In welcher Art von Welt funktioniert diese KI perfekt?"

Sie stellen sich zwei verschiedene „Ideale Welten" vor (die sie Ideale Verteilungen nennen):

Die ideale Welt der KI: Eine Version der Realität, in der die KI ein Genie ist. In dieser Welt macht die KI sehr wenige Fehler.
Die ideale Welt des Experten: Eine Version der Realität, in der der menschliche Experte ein Genie ist. In dieser Welt macht der Experte sehr wenige Fehler.

Der magische Trick:
Die Autoren erkannten, dass man diese beiden Welten vergleichen kann.

Wenn ein spezifischer Patientenfall der idealen Welt der KI sehr ähnlich sieht, sollte die KI antworten.
Wenn derselbe Fall der idealen Welt des Experten mehr ähnelt, sollte die KI verzögern (um Hilfe bitten).

Sie verwenden ein mathematisches Werkzeug namens Dichteverhältnis, um dies zu messen. Stellen Sie es sich wie einen „Wahrscheinlichkeitsmesser" vor. Er fragt: „Ist diese Situation wahrscheinlicher in der perfekten Welt der KI oder in der perfekten Welt des Experten?"

Die „Punktetafel" (Der DR CPE-Verlust)

Um dies in der Praxis funktionsfähig zu machen, mussten die Autoren eine neue Methode erfinden, um einen „Punktezähler" (ein kleines, einfaches Programm) zu trainieren, diesen Messer abzulesen.

Sie erkannten, dass das Herausfinden des Unterschieds zwischen diesen beiden „Idealen Welten" mathematisch einem Spiel des Gewinner-Verrätens ähnelt.

Stellen Sie sich vor, Sie haben zwei Teams: Team KI und Team Experte.
Sie zeigen dem Punktezähler ein Spiel (einen Datenpunkt).
Der Punktezähler muss erraten: „Ist dieses Spiel in einer Welt passiert, in der Team KI normalerweise gewinnt, oder Team Experte?"

Indem sie den Punktezähler trainierten, dieses Erratenspiel zu spielen, schufen die Autoren eine neue „Verlustfunktion" (eine Bewertungsregel für das Training) namens DR CPE. Dies ermöglicht es dem System, genau zu lernen, wann es zum Experten wechseln soll, ohne die Antwort des Experten vor der Entscheidung kennen zu müssen.

Warum dies besser ist (Die Ergebnisse)

Die Autoren testeten dies an verschiedenen unordentlichen Datensätzen (wie medizinischen Bildern mit Fehlern oder Daten, bei denen einige Krankheiten sehr selten sind).

Der alte Weg: Scheiterte oft, wenn die Daten unordentlich waren. Es war wie ein Schüler, der in Panik gerät, wenn die Testfragen etwas anders sind als die Übungsfragen.
Der neue Weg (DR CPE): War viel robuster. Er ging besser mit den unordentlichen Daten um und traf konsistent die richtige Wahl: antworten, wenn es sicher war, und um Hilfe bitten, wenn es nicht sicher war.

Der „Temperatur"-Regler

Ein cooles Merkmal ihrer Methode ist eine „Temperatur"-Einstellung (genannt $\gamma$ ).

Hohe Temperatur: Die KI ist eher bereit, Risiken einzugehen und zu antworten, selbst wenn sie sich etwas unsicher ist.
Niedrige Temperatur: Die KI ist sehr vorsichtig und wird öfter um Hilfe bitten.

Das ist großartig, denn es bedeutet, dass Sie anpassen können, wie oft die KI um Hilfe bittet, nachdem das System gebaut wurde, ohne das Ganze neu trainieren zu müssen. Sie drehen einfach den Regler.

Zusammenfassung

Kurz gesagt lehrt dieser Artikel KI-Modelle, bescheiden zu sein. Anstatt nur zu raten, wie zuversichtlich sie sind, vergleichen sie die aktuelle Situation mit zwei „perfekten Welten": einer, in der sie perfekt sind, und einer, in der der menschliche Experte perfekt ist. Wenn die Situation der perfekten Welt des Experten mehr ähnelt, tritt die KI höflich zurück und sagt: „Sie kümmern sich um diesen Fall."

Dies macht KI-Systeme sicherer und effizienter, insbesondere in hochriskanten Bereichen wie der Medizin, indem sichergestellt wird, dass schwierige Fälle immer von dem besten verfügbaren Verstand (menschlich oder maschinell) behandelt werden.

Problemstellung
Learning to Defer (L2D) adressiert die Herausforderung, Machine-Learning-Modelle (ML) in hochriskanten Domänen (z. B. Gesundheitswesen, Finanzen) einzusetzen, in denen Zuverlässigkeit von höchster Priorität ist. Das Ziel besteht darin, einem Modell zu ermöglichen, von einer Vorhersage abzusehen und stattdessen an einen Experten (potenziell menschlich) zu verweisen, wenn die Ausgabe des Modells als unzuverlässig eingestuft wird. Während Learning to Reject (L2R) Modellen erlaubt, basierend auf ihrem eigenen Vertrauen abzusehen, integriert L2D explizit einen Experten in den Trainingsprozess, um zu lernen, wann der Experte das Modell wahrscheinlich übertreffen wird.

Eine kritische Einschränkung im modernen ML ist das „post-hoc"-Setting, bei dem ein vortrainiertes Basismodell $h$ festgelegt ist und nur der Verweismechanismus (Rejector) $r$ gelernt wird. Das Nachtrainieren großer Modelle ist oft prohibitiv teuer. Bestehende post-hoc-Ansätze verlassen sich häufig auf einfache Heuristiken (z. B. Vertrauensschwellen) oder versuchen, punktuelle Expertenvergleichsziele zu schätzen (Vorhersage, wann der Experte korrekt und das Modell falsch ist). Diese Methoden können jedoch bei Verteilungsverschiebungen oder wenn Experten spezialisiert sind, versagen. Darüber hinaus erfordern viele bestehende Methoden ein Nachtrainieren, um die Verweisrate anzupassen, was ihre Anpassungsfähigkeit einschränkt.

Methodik
Die Arbeit schlägt ein neuartiges Framework für post-hoc L2D vor, das auf idealen Verteilungen und Dichteverhältnis-Schätzung basiert.

Ideale Verteilungen: Die Autoren definieren eine „ideale Verteilung" als eine durch Divergenz regularisierte Umgewichtung der wahren Datenverteilung $P$ , unter der ein spezifisches Klassifikator-Verlust-Paar einen niedrigen Verlust erreicht. Sie führen zwei Typen ein:
- Marginales Ideal ( $Q_m$ ): Optimiert über den Beobachtungsraum $X$ .
- Gemeinsames Ideal ( $Q_j$ ): Optimiert über den gemeinsamen Raum $X \times Y$ .
  Für die Kullback-Leibler-Divergenz (KL) wird gezeigt, dass diese Ideale multiplikative Umgewichtungen der Datenverteilung sind, wobei die Gewichte vom erwarteten Verlust des Klassifikators (oder Experten) unter der Bayes'schen Klassenposterior abhängen.
Dichteverhältnis-Verweisregel: Anstatt einen binären Rejector direkt zu lernen, definieren die Autoren den Verweis durch den Vergleich der idealen Verteilungen des Modells $h$ und des Experten $h^{(e)}$ . Die Verweisentscheidung wird durch Schwellenwertbildung des Dichteverhältnisses $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$ getroffen.
- Wenn die Beobachtung $x$ besser durch die ideale Verteilung des Experten erklärt wird (d. h. das Verhältnis ist niedrig), verweist das Modell.
- Dieser Ansatz trennt natürlich den Scorer (den Dichteverhältnis-Schätzer) vom Verweis-Schwellenwert, sodass die Verweisrate nach dem Training angepasst werden kann, ohne den Scorer nachtrainieren zu müssen.
Theoretische Zusammenhänge:
- Chow-Regel: Für marginale KL-Ideale gewinnt die abgeleitete Regel unter der ursprünglichen Datenverteilung die klassische Chow-Regel zurück.
- Experten-geneigte Posterior: Für gemeinsame KL-Ideale entspricht die Regel einer Chow-artigen Entscheidung unter einer „experten-geneigten" Verteilung. Diese Verteilung gewichtet Labels basierend auf dem Verlust des Experten neu und integriert effektiv den vergleichenden Vorteil des Experten in die Verweisentscheidung.
- Hypothesentest: Die Verweisregel wird als Neyman-Pearson-Hypothesentest formuliert, der zwischen der idealen Verteilung des Modells und der idealen Verteilung des Experten unterscheidet.
DR CPE-Verluste: Da die idealen Verteilungen von der unbekannten Bayes'schen Posterior abhängen und einen punktweisen Experten-Zugriff erfordern (der zur Testzeit nicht verfügbar ist), können die Autoren keine geschlossenen Lösungen verwenden. Stattdessen reduzieren sie die Dichteverhältnis-Schätzung (DRE) auf die Klassenwahrscheinlichkeitsschätzung (CPE).
- Sie leiten eine Familie von DR CPE-Verlusten ( $L_m$ und $L_j$ ) ab, die das Lernen des Dichteverhältnisses zwischen den idealen Verteilungen des Modells und des Experten über eine binäre Klassifikationsaufgabe ermöglichen.
- Der gemeinsame DR CPE-Verlust ( $L_j$ ) erweist sich als praktisch schätzbar und dient als obere Schranke für den marginalen Verlust ( $L_m$ ).
- Die Arbeit stellt Verbindungen zwischen diesem Ansatz und bestehenden Expertenvergleichsschätzmethode (z. B. Regression auf die Differenz der Null-Eins-Genauigkeit) sowie Anomalieerkennung her.

Hauptbeiträge

Verteilungsbasierte Formulierung: Die Arbeit führt ein post-hoc L2D-Framework ein, das auf dem Vergleich idealer Verteilungen des Modells und des Experten basiert, anstatt auf einer direkten punktweisen Leistungsschätzung.
Marginale vs. gemeinsame Ideale: Sie analysiert den Unterschied zwischen marginalen und gemeinsamen idealen Verteilungen und zeigt, dass die gemeinsame Regel einer Verweisung unter einer experten-geneigten Verteilung entspricht, was in der Praxis bedeutsam ist, da sie die spezifischen Stärken des Experten berücksichtigt.
DR CPE-Verluste: Die Autoren leiten eine neue Familie von Verlustfunktionen (DR CPE) ab, die das Lernen von Verweisregeln über eine Standard-Klassenwahrscheinlichkeitsschätzung ermöglichen und so die Lücke zwischen theoretischen idealen Verteilungen und praktischem Lernen schließen.
Anpassungsfähigkeit: Die Methode entkoppelt den Scorer vom Schwellenwert und ermöglicht die Anpassung der Verweisraten ohne Nachtrainieren.

Experimentelle Ergebnisse
Die Autoren bewerten ihren DR CPE-Ansatz auf den Datensätzen CIFAR-100 und MedMNIST unter verschiedenen Korruptionsbedingungen (Label-Rauschen, Long-Tail-Verteilungen und spezialisierte Teilmengen).

Wettbewerbsfähigkeit: Der DR CPE-Ansatz schneidet im Vergleich zu gängigen Baselines, einschließlich vertrauensbasierter Heuristiken, zweistufiger Surrogatverlust-Methoden und Expertenvergleichsschätzern, wettbewerbsfähig ab.
Robustheit: Die Methode zeigt eine überlegene Robustheit über verschiedene Kombinationen von Datensatzkorruptionen hinweg im Vergleich zu Baselines. Während andere Methoden beispielsweise bei spezialisierten Teilmengen (z. B. DermaMNIST-Spezialist) erheblich Schwierigkeiten haben, behält DR CPE eine stabile Leistung bei.
Ablation: Experimente zeigen, dass die Wahl der Verlustfunktion (z. B. Generalized Cross-Entropy vs. Probabilistic Zero-One) und des Temperaturparameters $\gamma$ die Leistung beeinflusst, der gemeinsame DR CPE-Ansatz jedoch robust bleibt.

Bedeutung und Behauptungen
Die Arbeit behauptet, post-hoc L2D als Problem des Dichteverhältnis-Lernens zwischen idealen Verteilungen zu formulieren. Diese Perspektive:

Überbrückt die Lücke zwischen klassischen Chow-artigen Regeln und modernen Expertenvergleichsmethoden.
Erklärt Zusammenhänge zu verwandten Lernsettings wie der Anomalieerkennung.
Bietet eine theoretisch fundierte Methode, die in der Praxis robust und anpassungsfähig ist, und adressiert die Einschränkungen des Nachtrainierens großer Modelle sowie die Instabilität einfacher Heuristiken in hochriskanten, verschobenen Umgebungen.

Die Autoren stellen fest, dass ihr Ansatz zwar derzeit keine Konsistenzgarantien für Surrogatverluste bietet (eine theoretische Einschränkung im Vergleich zu einigen End-to-End-Methoden), er jedoch eine praktische, robuste Lösung für post-hoc-Verweisung bietet, die Experteninformationen effektiv nutzt, ohne ein vollständiges Nachtrainieren des Modells zu erfordern.