🤖 machine learning

Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

Dieses Paper schlägt ein praktisches bilevel-optimierungbasiertes Framework vor, das die prädiktive Entropie während des Trainings maximiert, um große Sprachmodelle zu kalibrieren, wodurch die Domänengrenzen der traditionellen Post-hoc-Temperaturskalierung effektiv überwunden und die Generalisierung auf Out-of-Domain-Daten verbessert werden.

Ursprüngliche Autoren: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

Veröffentlicht 2026-08-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten Schüler, der jedes Buch in der Bibliothek gelesen hat. Dieser Schüler ist ein großes Sprachmodell (LLM), eine Art künstliche Intelligenz, die Geschichten schreiben, Matheaufgaben lösen und wie ein Mensch chatten kann. Aber es gibt einen Haken: Der Schüler ist ein schrecklicher Richter über sein eigenes Wissen. Er ist oft maßlos überheblich. Wenn er die Antwort auf eine Frage nicht weiß, sagt er vielleicht: „Ich bin mir zu 99 % sicher, dass ich recht habe!“, obwohl er eigentlich falsch liegt. In der realen Welt ist das gefährlich. Wenn eine medizinische KI sich zu 99 % sicher bei einer Diagnose ist, aber falsch liegt, könnten Menschen zu Schaden kommen.

Um dies zu beheben, haben Wissenschaftler einen Trick namens „Temperature Scaling“ ausprobiert. Stellen Sie sich das Vertrauen der KI wie einen Lautstärkeregler an einem Stereoanlage vor. Wenn die Musik zu laut und verzerrt ist (zu selbstbewusst), drehen Sie den Regler leiser, um sie sanfter und realistischer zu machen. Das funktioniert gut, wenn Sie nur ein einziges Lied hören (einen spezifischen Datensatz). Aber hier liegt das Problem: Die Einstellung des „Lautstärkereglers“, die für ein Rocklied funktioniert, passt nicht zu einem Jazzsong. Wenn Sie versuchen, dieselbe Einstellung für eine andere Art von Frage zu verwenden, bleibt die KI entweder zu laut oder wird zu leise. Die alte Methode ist wie der Versuch, ein Radio für eine ganze Stadt mit nur einem Regler abzustimmen; das funktioniert nirgendwo gleichermaßen.

Hier setzt eine neue Studie ein, die als Konferenzarbeit bei COLM 2026 veröffentlicht wurde, mit einer klugen neuen Idee. Anstatt den Regler erst nachdem der Schüler fertig gelernt hat, zu drehen, entschieden sich die Forscher dafür, das Wie des Lernens von vornherein zu ändern. Sie entwickelten eine spezielle Trainingsmethode namens CALM (Calibration for Large Models via Bilevel Optimization).

So funktioniert CALM, erklärt anhand einer einfachen Analogie: Stellen Sie sich einen Trainer vor, der einen Athleten trainiert.

Der alte Weg (Post-Hoc Scaling): Der Athlet läuft ein Rennen, wird müde und dann sagt der Trainer: „Okay, beim nächsten Mal lauf ein bisschen langsamer.“ Der Trainer versucht, die Geschwindigkeit im Nachhinein anzupassen. Aber wenn sich das Gelände ändert (ein anderer Datensatz), passt der alte Rat nicht mehr.
Der CALM-Weg (Bilevel Optimization): Der Trainer richtet ein Training mit zwei Ebenen ein.
- Ebene 1 (Der Athlet): Der Athlet übt das Rennen, um schneller und klüger zu werden (dies ist das Lernen des Modells, um Fragen zu beantworten).
- Ebene 2 (Der Coach): Während der Athlet läuft, beobachtet der Trainer und passt die Trainingsregeln in Echtzeit an. Das Ziel des Trainers ist nicht nur, den Athleten schnell zu machen; es geht darum, sicherzustellen, dass der Athlet genau weiß, wie schnell er läuft. Wenn der Athlet anfängt zu prahlen („Ich bin der Schnellste!“), schubst der Trainer ihn sanft dazu, etwas bescheidener und realistischer zu sein.

Die Forscher fanden heraus, dass das Training des Modells mit diesem „Zwei-Ebenen-System“ dazu führt, dass die KI von Natur aus selbstbewusst, aber nicht übermäßig selbstbewusst ist. Sie testeten dies an vier populären KI-Modellen (wie Llama-3.1, Vicuna, OLMo und Mistral) und zwei Arten von Tests: Multiple-Choice-Fragen und freies kreatives Schreiben.

Die Ergebnisse waren sehr vielversprechend. Wenn die KI mit Fragen getestet wurde, die sie noch nie zuvor gesehen hatte (der „Out-of-Domain“-Test, wie ein Jazzsong für einen Rock-trainierten Studenten), funktionierte CALM viel besser als die alte „Lautstärkeregler“-Meth Methode. Die alte Methode führte oft dazu, dass die KI bei neuen Themen noch verwirrter oder überheblicher wurde. CALM hingegen hielt das Selbstvertrauen der KI in Schach. Beispielsweise hinterließ die alte Methode bei einem Modell namens Mistral-7B einen Kalibrierungsfehler von 0,335 (sehr überheblich), während CALM diesen auf 0,0822 senkte (viel genauer).

Entscheidend war, dass die Forscher zeigten, dass dies die KI nicht „dümmer“ macht. Die Modelle beantworteten die Fragen weiterhin korrekt; sie hörten nur auf, so zu lügen, wie sicher sie sich waren. Das Papier legt nahe, dass dieser Ansatz ein starker Schritt nach vorne ist, insbesondere für Situationen, in denen die KI unerwartete Fragen bewältigen muss, ohne dass jedes Mal ein Mensch ihre Einstellungen manuell anpassen muss. Es ist ein Weg, der KI beizubringen, bescheiden, ehrlich und zuverlässig zu sein, egal welches Thema sie gerade bespricht.

Technisches Resümee: Jenseits von Post-hoc Temperature Scaling: Bilevel-Optimierung für die Kalibrierung von LLMs

Problemstellung

Große Sprachmodelle (LLMs), insbesondere solche, die mittels Reinforcement Learning from Human Feedback (RLHF) oder Direct Preference Optimization (DPO) ausgerichtet wurden, weisen häufig eine schlechte Kalibrierung auf, was sich in einer Überkonfidenz äußert. Während Konfidenz oft als Proxy für Zuverlässigkeit verwendet wird, können falsch kalibrierte Modelle in hochsensiblen Bereichen (z. B. Gesundheitswesen, Recht) zu falschem Vertrauen und Fehlentscheidungen führen.

Bestehende Lösungen verlassen sich primär auf Post-hoc Temperature Scaling (TS), bei dem ein einzelner Skalarwert für die Temperatur auf einem Validierungsdatensatz angepasst wird, um die Logits nach dem Training zu skalieren. Das Paper identifiziert jedoch eine kritische Einschränkung: TS ist inhärent datensatzabhängig. Eine für ein bestimmtes Domain optimierte Temperatur versagt oft bei anderen Domains, was es schwierig macht, eine „universelle“ Temperatur zu finden, die über verschiedene Aufgaben hinweg gut kalibriert ist. Darüber hinaus lassen Post-hoc-Methoden die Modellparameter fixiert, wodurch die Chance verpasst wird, ein Modell zu lernen, das intrinsisch besser kalibrierbar ist.

Methodik: CALM (Calibration for Large Models via Bilevel Optimization)

Die Autoren schlagen CALM vor, einen Framework zur Trainingszeit, der die Kalibrierung als Bilevel-Optimierungsproblem formuliert. Anstatt einen Post-hoc-Parameter anzuppassen, optimiert CALM die Modellparameter und „temperaturähnliche“ Verlusthyperparameter gemeinsam, um die prädiktive Entropie zu maximieren und gleichzeitig die Aufgabenleistung zu bewahren.

1. Bilevel-Formulierung

Das Problem ist wie folgt strukturiert:

Untere Ebene (Aufgabenoptimierung): Trainiert die Modellparameter $\theta$ , um einen Standard-parametrischen Verlust (Cross-Entropy) auf dem Trainingsdatensatz $S_T$ unter Berücksichtigung eines Satzes von Hyperparametern $\alpha$ zu minimieren.
$\theta(\alpha) \in \arg\min_{\theta'} \mathcal{L}_{tr}(\theta'; \alpha)$
Obere Ebene (Kalibrierungsoptimierung): Optimiert die Hyperparameter $\alpha$ , um die Entropie der prädiktiven Verteilung auf einem gehaltenen Kalibrierungsdatensatz $S_V$ zu maximieren, unter der Bedingung, dass $\theta$ für die untere Ebene optimal bleibt.
$\min_{\alpha} \mathcal{L}_{ent}(\alpha, \theta(\alpha))$

Die Hyperparameter $\alpha$ generalisieren das Konzept des Temperature Scalings. Anstatt eines einzelnen Skalars $\tau$ verwendet CALM einen höherdimensionalen Parameter $\alpha = (l, \tau)$ , wobei $l \in \mathbb{R}^K$ additive Logit-Shifts einführt und $\tau \in \mathbb{R}^K_{>0}$ klassenabhängige Temperaturen bereitstellt. Dies ermöglicht Anpassungen pro Vokabular anstelle einer globalen Reskalierung.

2. Verlustfunktionen

Obere Ebene (Objective): Maximiert die Shannon-Entropie $H(f_{\alpha, \theta}(\cdot | x))$ , um zu konzentrierte (überkonfidente) Vorhersagen zu verhindern. Dies bietet eine steuerbare Richtung, um das Modell von Überkonfidenz hin zu Unterkonfidenz zu bewegen, und findet potenziell einen Punkt, an dem die Konfidenz mit der Genauigkeit übereinstimmt.
Untere Ebene (Constraint): Stellt sicher, dass das Modell seine diskriminative Fähigkeit beibehält, indem es die Cross-Entropy auf den Trainingsdaten minimiert.

3. Effiziente First-Order-Approximation

Die exakte Bilevel-Optimierung erfordert die Berechnung von Hypergradienten, die Second-Order-Derivate (Hessian-Inversen) beinhalten, was für LLMs mit Milliarden von Parametern rechnerisch prohibitiv ist. Um dies zu adressieren, nutzt CALM eine First-Order-Approximation, inspiriert von BOME (Bilevel Optimization Made Easy):

Es formuliert das Problem als ein beschränktes Optimierungsproblem über die gemeinsame Variable $u = (\alpha, \theta)$ .
Es approximiert die Wertfunktion der unteren Ebene, indem es $T$ innere Gradientenschritte von $\theta$ ausführt, um ein Surrogat $\tilde{\theta}$ zu generieren.
Es konstruiert eine „Plug-in Residual“-Beschränkung und berechnet eine gemeinsame Update-Richtung unter Verwendung von nur First-Order-Derivaten, wodurch die explizite Invertierung der Hessian vermieden wird.

Zentrale Beiträge

Perspektive der Trainingszeit: Das Paper verschiebt das Kalibrierungs-Paradigma von Post-hoc-datensatzspezifischen Anpassungen hin zur Optimierung zur Trainingszeit, mit dem Ziel, Modelle zu lernen, die allgemeine Kalibrierungsanpassungen über Datensätze hinweg zulassen.
Bilevel-Loss-Design: Es formuliert das designorientierte Kalibrierungsproblem als Bilevel-Problem, bei dem die obere Ebene temperaturähnliche Hyperparameter unter Verwendung eines Entropie-basierten Objekts optimiert und die untere Ebene das Modell trainiert.
Entropie-Maximierung: Die Autoren schlagen ein Entropie-Maximierungs-Ziel für die obere Ebene vor, um die Überkonfidenz in ausgerichteten LLMs zu mildern, ohne zusätzliche Hard Labels oder Hilfs-Heads zu benötigen.
Skalierbares Framework: Sie führen ein effizientes First-Order-Bilevel-Optimierungsschema (CALM) ein, das teure Second-Order-Berechnungen vermeidet und somit den Ansatz für das groß angelegte LLM-Fine-Tuning praktikabel macht.

Experimentelle Ergebnisse

Die Methode wurde auf vier ausgerichteten LLMs (Llama-3.1-Tulu-8B, Vicuna-7B, OLMo-2-7B, Mistral-7B) für Multiple-Choice-Fragen (MCQA) und offene generative Beantwortungen evaluiert.

Out-of-Domain (OOD) Generalisierung

Überlegene Kalibrierung: CALM erreichte die beste Confidence Expected Calibration Error (conf-ECE) auf drei der vier Modelle im OOD-Setting und reduzierte den Fehler im Vergleich zu den Baselines signifikant. Beispielsweise reduzierte es bei Llama-3.1 die conf-ECE von 0,1784 auf 0,1050.
Erhalt der Genauigkeit: Im Gegensatz zu einigen Ablationen (z. B. „Iterate“ oder „Regularization“ ohne die Bilevel-Beschränkung), die einen katastrophalen Genauigkeitsverlust erlitten, bewahrte CALM eine hohe Aufgabengenauigkeit bei gleichzeitiger Verbesserung der Kalibrierung.
Robustheit: In der offenen generativen QA (Cross-Domain-Transfer zwischen PopQA und TriviaQA) erreichte CALM den niedrigsten mittleren Semantic-ECE (0,0671) und übertraf damit sowohl die unkalibrierte Baseline als auch starke Trainingszeit-Baselines wie Calibration-Aware Fine-Tuning (CFT).

In-Domain (ID) Leistung

Im ID-Setting, in dem Trainings- und Evaluationsverteilungen übereinstimmen, performte Temperature Scaling am besten hinsichtlich ECE (wie erwartet für Post-hoc-Methoden). CALM war jedoch die einzige trainingsbasierte Methode, die über alle vier Modelle hinweg konsistent sowohl die Genauigkeit als auch die Kalibrierung verbesserte im Vergleich zur Baseline.

Ablationsstudien

Bilevel-Struktur: Das Entfernen der Bilevel-Beschränkung (Regularization) oder des Kopplungsterms (Iterate) führte entweder zu einer schlechteren Kalibrierung oder zu signifikantem Genauigkeitsverlust, was zeigt, dass die Kopplung zwischen Aufgabenleistung und Kalibrierung essenziell ist.
Parametrisierung: Die Verwendung von pro Vokabular Vektorparametern ( $d_y, l_y$ ) war weitaus überlegen gegenüber einem kollabierten Skalarparameter (gelerntes TS), was die Notwendigkeit feingranularer Anpassungen hervorhebt, um asymmetrische Fehlkalibrierungen über Antwortoptionen hinweg zu handhaben.

Bedeutung und Behauptungen

Das Paper behauptet, dass CALM eine robuste Lösung zur Trainingszeit für das Problem der Überkonfidenz in ausgerichteten LLMs bietet. Die primäre Bedeutung liegt in:

Generalisierung: Im Gegensatz zu Post-hoc TS lernt CALM einen Kalibrierungsmechanismus, der über Domänen hinweg generalisiert und damit die „Datensatzabhängigkeit“ aktueller Methoden adressiert.
Trade-off-Management: Es erreicht einen überlegenen Genauigkeits-Kalibrierungs-Trade-off und vermeidet den Nutzen-Kollaps, der oft auftritt, wenn man versucht, die Kalibrierung durch einfache Regularisierung zu verbessern.
Praktikabilität: Durch die Nutzung einer First-Order-Approximation macht es die Bilevel-Optimierung für moderne LLMs praktikabel und bietet einen Weg zu „durch Design kalibrierten“ Modellen statt zu „durch Post-Processing kalibrierten“.

Die Autoren kommen zu dem Schluss, dass ihre Methode besonders vorteilhaft in Out-of-Domain-Settings ist, in denen alternative Methoden oft instabil werden oder einen erheblichen Nutzenverlust erleiden, was sie zu einem lebensfähigen Ansatz für den Einsatz zuverlässiger LLMs in vielfältigen, realen Szenarien macht.