🤖 machine learning

Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs

Die Arbeit schlägt UQ4CT vor, ein Fine-Tuning-Framework auf Basis von Mixture-of-Experts, das einen Kalibrierungsverlust über den funktionalen Raum integriert, um den Expected Calibration Error signifikant zu reduzieren und die Zuverlässigkeit von PEFT-basierten LLMs sowohl unter Standard- als auch unter verschobenen Verteilungen zu verbessern.

Ursprüngliche Autoren: Ruijia Niu, Dongxia Wu, Rose Yu, Yi-An Ma

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruijia Niu, Dongxia Wu, Rose Yu, Yi-An Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, gut informierte Bibliothekarin (das Large Language Model oder LLM). Diese Bibliothekarin hat fast alles in der Welt gelesen, aber wenn Sie sie eine spezifische, knifflige Frage stellen, ratet sie manchmal mit 100-prozentiger Sicherheit, selbst wenn sie falsch liegt. Dies wird als Überzeugung bezeichnet und ist gefährlich, weil Benutzer eine falsche Antwort möglicherweise nur deshalb vertrauen, weil die Bibliothekarin sicher klingt.

Die Arbeit stellt eine neue Methode namens UQ4CT vor, um dies zu beheben. Denken Sie daran als eine Möglichkeit, der Bibliothekarin beizubringen, nur dann zu sagen: „Ich bin ziemlich sicher", wenn sie es tatsächlich ist, und „Ich bin mir nicht sicher", wenn sie rät.

So funktioniert es, aufgeschlüsselt mit einfachen Analogien:

1. Das Problem: Das „Einheits-Tuning"

Normalerweise, wenn wir eine Bibliothekarin auf ein neues Thema spezialisieren wollen (wie Klimawissenschaft), „feinabstimmen" wir sie.

Der alte Weg: Stellen Sie sich vor, Sie geben der Bibliothekarin ein einziges, neues Brillenpaar (genannt LoRA), um ihr zu helfen, das neue Thema besser zu sehen. Aber wenn die Bibliothekarin nicht genügend Übungsbücher (Daten) hat, könnte sie diese Brille aufsetzen und zu selbstbewusst werden, selbst wenn die Brille leicht unscharf ist. Sie kann nicht unterscheiden zwischen „Ich weiß das" und „Ich rate".
Das Problem: Bestehende Methoden versuchen, das Selbstbewusstsein der Bibliothekarin nachdem sie die Brille aufgesetzt hat, zu überprüfen. Aber die Arbeit argumentiert, dass wir die Brille während des Lernens der Bibliothekarin reparieren müssen.

2. Die Lösung: Das „Expertengremium" (Mixture of Experts)

Anstatt der Bibliothekarin nur ein Brillenpaar zu geben, bietet UQ4CT ihr ein Gremium aus 8 verschiedenen Experten (eine „Mixture of Experts" oder MoE).

Das Setup: Stellen Sie sich einen Raum mit 8 verschiedenen Spezialisten vor. Wenn Sie eine Frage stellen, betrachtet ein „Router" (wie ein intelligenter Empfangschef) Ihre Frage und entscheidet, welche 2 Spezialisten am besten geeignet sind, sie zu beantworten.
Die Magie: Da es mehrere Experten gibt, kann das System sehen, ob die Experten übereinstimmen oder sich widersprechen. Wenn der Router zwei Experten auswählt, die sehr unterschiedliche Antworten geben, weiß das System, dass es Unsicherheit gibt. Wenn der Router zwei Experten auswählt, die perfekt übereinstimmen, weiß das System, dass es Sicherheit gibt.

3. Der „Kalibrierungsverlust": Der Wahrheitscoach

Die größte Innovation der Arbeit ist ein spezieller „Coach", der den Router während des Lernprozesses trainiert.

Die Regel des Coaches: Der Coach beobachtet die Experten.
- Wenn die Experten die richtige Antwort wählen, sagt der Coach dem Router: „Gute Arbeit! Seien Sie bei dieser Wahl sehr selbstbewusst."
- Wenn die Experten die falsche Antwort wählen, sagt der Coach dem Router: „Sie waren sich zu sicher! Sie hätten weniger selbstbewusst sein oder andere Experten wählen sollen."
Das Ergebnis: Im Laufe der Zeit lernt der Router, sein „Selbstbewusstseinsniveau" mit dem tatsächlichen „Wahrheitsniveau" abzugleichen. Es hört auf, sich wie ein Experte zu verhalten, wenn es nur rät.

4. Warum dies besser ist als andere Methoden

Keine Verlangsamung: Einige andere Methoden versuchen, die Bibliothekarin dieselbe Frage 10 Mal zu stellen, um zu sehen, ob sie unterschiedliche Antworten erhält (wie wenn man einen Freund 10 Mal um Rat fragt). Dies ist langsam und teuer. UQ4CT erledigt die Arbeit in einem einzigen Durchlauf, da das „Expertengremium" direkt in das System eingebaut ist.
Bessere Generalisierung: Die Arbeit testete dies bei Fragen zum gesunden Menschenverstand und zu spezifischen Bereichen wie der Klimawissenschaft. Selbst wenn die Bibliothekarin nach Themen gefragt wurde, die sie zuvor nicht gesehen hatte (ein „Verteilungswechsel"), bewahrte UQ4CT die Ruhe. Es wurde bei neuen, seltsamen Fragen nicht übermäßig selbstbewusst; es signalisierte korrekt, dass es unsicher war.

Das Fazit

Die Arbeit behauptet, dass durch die Verwendung dieses „Expertengremium"-Ansatzes und das Trainieren des Systems, sein Selbstbewusstsein während der Lernphase mit der Wahrheit abzugleichen, der „Erwartete Kalibrierungsfehler" (ein Maß dafür, wie falsch das Selbstbewusstsein ist) um über 25 % reduziert wurde.

Entscheidend ist, dass dies ohne die Bibliothekarin bei der Beantwortung von Fragen langsamer oder weniger genau zu machen, geschah. Die Bibliothekarin erhält weiterhin die richtigen Antworten, aber sie ist jetzt viel besser darin zu wissen, wann sie recht hat und wann sie nur rät.

Kurz gesagt: UQ4CT verwandelt eine selbstbewusste, aber oft falsche KI in eine bescheidene, aber genaue KI, die die Grenzen ihres eigenen Wissens kennt.

Technische Zusammenfassung: Funktionsniveau-Uncertainty Quantification für kalibriertes Fine-Tuning bei LLMs

Problemstellung
Eine präzise Uncertainty Quantification (UQ) ist für den zuverlässigen Einsatz von Large Language Models (LLMs) entscheidend, insbesondere in sicherheitskritischen Bereichen wie dem Gesundheitswesen und der wissenschaftlichen Argumentation. Allerdings zeigen feinabgestimmte LLMs häufig eine Überzuversicht, wenn sie an Aufgaben mit begrenzten Daten angepasst werden, und versäumen es, die wahre Glaubwürdigkeit ihrer Ausgaben widerzuspiegeln. Bestehende UQ-Methoden für Parameter-Effizientes Fine-Tuning (PEFT), wie etwa solche, die auf Low-Rank Adaptation (LoRA) basieren, sind weitgehend post hoc. Sie schätzen die Unsicherheit nach dem Training des Modells, indem sie den Parameterraum analysieren (z. B. durch Ensembles oder bayessche Approximationen) oder durch Perturbierung von Prompts. Diese Ansätze adressieren oft nicht die Ursache der Überzuversicht: die Unfähigkeit des Modells, während des Anpassungsprozesses selbst durch Fine-Tuning verursachte Unsicherheiten und Generalisierungslücken zu erfassen. Darüber hinaus führen Methoden, die mehrere Vorwärtsdurchläufe oder umfangreiches Sampling erfordern, zu erheblichem Rechenaufwand, was die Skalierbarkeit einschränkt.

Methodik: UQ4CT
Die Autoren schlagen Functional-Level Uncertainty Quantification for Calibrated Fine-Tuning (UQ4CT) vor, ein Framework, das den Fokus vom Parameterraum auf die Unsicherheit im Funktionsraum verlagert. Anstatt die gelernten Parameter nach dem Training zu analysieren, kalibriert UQ4CT die Unsicherheit über den Funktionsraum, der durch promptabhängige Mischungen von LoRA-Experten während des Fine-Tuning-Prozesses induziert wird.

Die Methodik besteht aus drei Kernkomponenten:

Hierarchische Funktionsdekomposition via MixLoRA:
Um die kombinatorische Explosion bei der Modellierung aller möglichen Experten-Kombinationen über die Schichten hinweg zu vermeiden, setzt UQ4CT eine hierarchische Dekomposition ein. Es nutzt eine Mixture-of-Experts (MoE)-Architektur, bei der in jeder Schicht ein sparsamer Router basierend auf dem versteckten Eingabezustand dynamisch eine Teilmenge von LoRA-Experten auswählt. Dies konstruiert einen flexiblen Funktionsraum, in dem die Ausgabe des Modells eine gewichtete Summe verschiedener Basisfunktionen (LoRA-Experten) ist, die vom Eingabezustand abhängen. Der Funktionsraum wird als rekursive Komposition von schichtweisen Mischungen dargestellt, was dem Modell ermöglicht, Berechnungspfade adaptiv zu komponieren.
Schätzung der Funktionsniveau-Vertrauenswürdigkeit (Functional-Level Confidence, FLC):
Das Modell quantifiziert die Unsicherheit durch Analyse der Konzentration der Experten-Auswahl. Konkret wird die Functional-Level Confidence (FLC) aus den Routing-Gewichten der top- $k$ -Experten abgeleitet, die vom Router in jeder Schicht ausgewählt werden. Eine hohe Konzentration der Routing-Gewichte (d. h. der Router ist zuversichtlich bei der Auswahl bestimmter Experten) entspricht einer hohen funktionalen Vertrauenswürdigkeit, während verteilte Gewichte eine höhere Unsicherheit anzeigen. Dies liefert ein prinzipielles, internes Signal für die Gewissheit des Modells, ohne mehrere Sampling-Durchläufe zu erfordern.
Kalibrierungsverlust ( $L_{cal}$ ):
Die Kerninnovation ist ein neuartiger Kalibrierungsverlust, der die Funktionsniveau-Vertrauenswürdigkeit während des Trainings mit der Vorhersagekorrektheit in Einklang bringt. Der Verlust ist definiert als:
$L_{cal} = (1\{\text{MixLoRA}(x) = y^*\} - \text{FLC}(x))^2$
wobei $1\{\cdot\}$ eine Indikatorfunktion für korrekte Vorhersagen ist. Dieses Ziel zwingt die FLC, die Wahrscheinlichkeit zu approximieren, dass die Vorhersage des Modells korrekt ist. Durch die Minimierung dieses Verlusts zusammen mit dem Standard-Cross-Entropy-Verlust und Load-Balancing-Verlusten lernt das Modell, nur dann ein hohes Vertrauen zuzuweisen, wenn es wahrscheinlich korrekt ist, und eine höhere Unsicherheit, wenn dies nicht der Fall ist. Dies ermutigt den Router, bei hoher Unsicherheit alternative Experten-Mischungen zu erkunden, wodurch die Generalisierung verbessert wird.

Hauptbeiträge

Funktionsniveau-Perspektive: Der Artikel führt einen Wechsel von der Unsicherheitsquantifizierung im Parameterraum hin zum Funktionsraum ein und kalibriert explizit das Vertrauen des Modells in die Eingabe-Ausgabe-Zuordnungen, die es während des Fine-Tunings realisieren kann.
Kalibrierungsbewusstes Fine-Tuning: Es wird ein neuer Kalibrierungsverlust vorgeschlagen, der promptabhängige LoRA-Mischungsgewichte dynamisch mit der Vorhersagekorrektheit in Einklang bringt und Überzuversicht mindert, ohne die Genauigkeit zu verschlechtern.
Effiziente Architektur: Die Methode nutzt eine hierarchische MixLoRA-Architektur, die diverse funktionale Beziehungen mit minimalem Rechenaufwand erfasst und während der Inferenz nur einen einzigen Vorwärtsdurchlauf erfordert.
Theoretische Garantie: Die Autoren liefern einen Beweis, dass die Optimierung des Kalibrierungsrisikos über die Datenverteilung eine optimale FLC ergibt, die der wahren Wahrscheinlichkeit der Vorhersagekorrektheit entspricht.

Experimentelle Ergebnisse
Die Autoren bewerteten UQ4CT an vier Multiple-Choice-Benchmarks (ARC-E, ARC-C, OBQA, ClimateQA) und zwei offenen generativen QA-Aufgaben (TruthfulQA, TriviaQA) unter Verwendung von Llama-3.1-8B und Mistral-7B.

In-Distribution-Leistung: UQ4CT reduzierte den Expected Calibration Error (ECE) über alle Benchmarks hinweg um mehr als 25% im Vergleich zu starken Baselines (einschließlich LoRA, MC Dropout, Deep Ensembles und Bayesian LoRA), während gleichzeitig eine wettbewerbsfähige oder überlegene Genauigkeit beibehalten wurde. Bemerkenswert ist, dass UQ4CT diese Ergebnisse mit einem einzigen Vorwärtsdurchlauf erzielte, wohingegen Methoden wie BLoB (N=10) zehn Durchläufe benötigten und dennoch einen höheren ECE aufwiesen.
Verteilungsverschiebung: Unter Verteilungsverschiebungen (getestet an MMLU-Teilaufgaben in den Bereichen Informatik, Ingenieurwesen, Recht und Gesundheit) behielt UQ4CT eine überlegene Kalibrierung und wettbewerbsfähige Genauigkeit bei und zeigte im Vergleich zu Baselines eine verbesserte Robustheit gegenüber Out-of-Distribution-Eingaben.
Generative Aufgaben: Bei der offenen Generierung erzielte UQ4CT den niedrigsten ECE auf TruthfulQA und TriviaQA, was darauf hindeutet, dass sich die Perspektive der Funktionsraum-Kalibrierung über klassifikationsartige Settings hinaus erstreckt.
Effizienz: Die Speicheranalyse zeigt, dass die Spitzen-GPU-Speichernutzung von UQ4CT nur etwa 7,5% höher ist als bei Standard-LoRA, was es für den großflächigen Einsatz rechnerisch machbar macht.

Bedeutung und Behauptungen
Der Artikel behauptet, dass UQ4CT eine grundlegende Einschränkung aktueller Fine-Tuning-Praktiken adressiert: das Fehlen von Unsicherheitsbewusstsein während des Anpassungsprozesses. Durch die direkte Integration der Unsicherheitskalibrierung in das Fine-Tuning-Ziel über Funktionsniveau-Signale stellt die Methode sicher, dass das Vertrauen des Modells seine tatsächliche Vorhersagezuverlässigkeit besser widerspiegelt. Die Autoren positionieren diese Arbeit als einen grundlegenden Schritt hin zu vertrauenswürdigen feinabgestimmten LLMs, insbesondere in datenarmen Umgebungen, in denen Überzuversicht erhebliche Risiken birgt. Sie vermerken bescheiden, dass sich der Ansatz zwar auf die offene Generierung mittels F1-basierter Proxy-Metriken erstreckt, die Skalierung auf langformatiges Reasoning oder mehrstufige Generierung jedoch eine Richtung für zukünftige Arbeiten bleibt.