💬 NLP

Generalization of Fine-Tuned Uncertainty Communication and Metacognition in Large Language Models

Diese Arbeit zeigt, dass das überwachte Fine-Tuning die Fähigkeit großer Sprachmodelle verbessern kann, Unsicherheit zu kommunizieren und Konfidenz mit Genauigkeit in Einklang zu bringen, wobei diese metakognitiven Gewinne über verschiedene Domänen hinweg besser generalisieren als über verschiedene Formate der Konfidenzbewertung, wobei Multitask-Training die robusteste Generalisierung bietet.

Ursprüngliche Autoren: Mark Steyvers, Catarina Belem, Padhraic Smyth

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mark Steyvers, Catarina Belem, Padhraic Smyth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Roboterfreund, der fast jede Frage beantworten kann. Das Problem ist, dass dieser Roboter manchmal falsch liegt, aber es niemals zugibt. Er antwortet mit derselben donnernden, selbstbewussten Stimme, egal ob er über die Hauptstadt von Frankreich oder über eine erfundene Tatsache über Weltraum-Aliens spricht. Das ist gefährlich, denn wenn Sie seiner selbstbewussten Stimme vertrauen, könnten Sie schlechte Entscheidungen treffen.

Diese Arbeit fragt: Können wir diesen Roboter lehren, zu sagen: „Ich bin mir nicht sicher“ oder „Ich bin ziemlich zuversichtlich“, und zwar auf eine Weise, die tatsächlich mit seiner Richtigkeit übereinstimmt?

Die Forscher haben versucht, den Roboter (speziell zwei populäre KI-Modelle) zu trainなieren, um in dieser Selbstwahrnehmung besser zu werden. Hier ist, was sie herausgefunden haben, einfach erklärt:

1. Die zwei Wege, um „Selbstwahrnehmung“ zu testen

Um zu sehen, ob der Roboter lernte, verwendeten die Forscher zwei verschiedene Spiele:

Das „Konfidenz-Score“-Spiel: Der Roboter beantwortet eine Frage und gibt eine Zahl von 0 bis 100 % an, wie sicher er sich ist.
- Das Ziel: Wenn der Roboter sagt „90 % sicher“, sollte er auch 90 % der Zeit richtig liegen.
Das „Welches davon?“-Spiel: Dem Roboter werden zwei Fragen gezeigt. Er muss diejenige auswählen, von der er glaubt, dass er sie korrekt beantworten kann.
- Das Ziel: Er sollte die Frage wählen, deren Antwort er kennt, und diejenige überspringen, bei der er nur rät.

2. Die Trainingsmethode: „Übung macht den Meister“

Die Forscher sagten dem Roboter nicht einfach nur: „Sei ehrlicher.“ Stattdessen gaben sie ihm eine riesige Menge an Übungsaufgaben.

Sie stellten dem Roboter dieselbe Frage 10 Mal.
Wenn der Roboter 9 von 10 Mal die gleiche Antwort gab, lehrten sie ihn: „Du bist konsistent, also solltest du hochgradig zuversichtlich sein.“
Wenn er 10 verschiedene Antworten gab, lehrten sie ihn: „Du bist verwirrt, also solltest du wenig zuversichtlich sein.“
Danach baten sie den Roboter, seine eigene Zuversicht basierend auf diesem Muster vorherzusagen.

3. Die gute Nachricht: Er hat gelernt, ehrlich zu sein (meistens)

Nach diesem Training wurde der Roboter viel besser darin, seine Zuversicht mit seiner tatsächlichen Genauigkeit in Einklang zu bringen.

Vor dem Training: Der Roboter war wie ein übermotivierter Schüler, der bei jedem Test eine „1“ bekommt, aber eigentlich nur die Hälfte des Stoffes beherrscht. Er sagte „95 % sicher“, selbst wenn er falsch lag.
Nach dem Training: Der Roboter wurde eher wie ein vorsichtiger Experte. Wenn er die Antwort wusste, sagte er „90 % sicher“. Wenn er nur rät, sagte er „40 % sicher“.
Die Magie: Diese Fähigkeit blieb nicht nur bei den Themen, an denen er geübt hatte (wie Mathe oder Trivia). Sie half dem Roboter auch dabei, bei neuen, schwierigen Themen, die er noch nicht gesehen hatte, wie etwa medizinischer Beratung und Rechtsfragen, ehrlicher zu sein. Das ist ein großer Durchbruch, denn es bedeutet, dass man dem Roboter in ernsten Situationen mehr vertrauen kann, selbst wenn er nicht speziell für diese speziellen Fälle trainiert wurde.

4. Die schlechte Nachricht: Fähigkeiten übertragen sich nicht immer

Hier wird es knifflig. Die Forscher fanden heraus, dass es nicht automatisch dazu führte, gut in einem Spiel zu sein, wenn man in einem anderen gut war.

„Score“ vs. „Wahl“: Wenn sie den Roboter darauf trainierten, eine Zahl zu geben (z. B. „75 %“), wurde er sehr gut darin, Zahlen zu geben. Aber als sie ihn das „Welches davon?“-Spiel spielen ließen, wurde er nicht wesentlich besser.
Der umgekehrte Fall: Wenn sie ihn darauf trainierten, das „Welches davon?“-Spiel zu spielen, wurde er gut darin, die richtige Frage auszuwählen, konnte aber immer noch keine gute Zahl angeben, wenn er nach einem Wert gefragt wurde.

Die Analogie: Stellen Sie sich einen Basketballspieler vor, der sehr gut im Freiwurf ist (eine Zahl zu geben). Sie trainieren ihn speziell auf Freiwürfe. Er wird fantastisch im Freiwurf. Aber wenn Sie ihn bitten, Verteidigung zu spielen (den richtigen Gegner zu bewachen), ist er dadurch nicht besser geworden. Die Fähigkeiten sind verwandt, aber es sind unterschiedliche Muskeln.

5. Die Lösung: Das „Allrounder“-Training

Die Forscher versuchten noch einen letzten Weg und trainierten den Roboter auf beide Spiele gleichzeitig.

Das Ergebnis: Dies funktionierte viel besser. Der Roboter lernte eine Art „allgemeine Selbstwahrnehmung“, die ihm sowohl im Zahlen-Spiel als auch im Wahl-Spiel half. Er wurde ein flexiblerer, zuverlässigerer Denker über das gesamte Spektrum hinweg.

Das Fazum

Kann man einer KI beibringen, zu wissen, wann sie nur rät? Ja.
Funktioniert das auch bei neuen Themen? Ja, es hilft der KI, bei medizinischen und rechtlichen Fragen ehrlicher zu sein, selbst wenn sie hauptsächlich mit Trivia und Mathe trainiert wurde.
Ist es perfekt? Nein. Einer KI beizubringen, einen Konfidenz-Score zu geben, lehrt sie nicht automatisch, zwei Fragen miteinander zu vergleichen, und umgekehrt.
Die Lösung: Um das beste Ergebnis zu erzielen, muss man die KI gleichzeitig auf mehrere Arten von „Selbstkontroll-Aufgaben“ trainieren.

Kurz gesagt zeigt die Arbeit, dass eine KI lernen kann, ein besserer Richter über ihr eigenes Wissen zu sein, aber sie benötigt eine abwechslungsreiche Auswahl an Trainingsaufgaben, um dies effektiv zu tun. Es geht nicht nur darum, Fakten auswendig zu lernen; es geht darum, zu lernen, wie man sagt: „Das weiß ich“ oder „Das bin ich mir nicht sicher“, auf eine Weise, der Menschen tatsächlich vertrauen können.

Technisches Resümee: Generalisierung von fein abgestimmter Unsicherheitskommunikation und Metakognition in Large Language Models

Problemstellung

Large Language Models (LLMs) werden zunehmend in hochsensiblen Bereichen wie Recht, Medizin und Bildung eingesetzt. Eine kritische Einschränkung in diesen Kontexten besteht darin, dass Modelle oft faktisch falsche Informationen mit hoher Konfidenz generieren, was Nutzer, die über keine klaren Signale für Unsicherheit verfügen, in die Irre führt. Obwohl LLMs interne Unsicherheitssignale (z. B. Token-Likelihoods oder Sampling-Konsistenz) beibehalten können, versäumen sie es häufig, diese Signale explizit in einer kalibrierten, interpretierbaren Weise zu kommunizieren. Die aktuelle explizite Konfidenzberichterstattung ist oft schlecht mit der Korrektheit der Antwort abgestimmt, und implizite Maße (wie sampling-basierte Konsistenz) erfordern den Zugriff auf interne Wahrscheinlichkeiten oder verursachen hohe Rechenkosten. Das zentrale Problem, das adressiert wird, ist, ob ein überwachtes Fine-Tuning (Supervised Fine-Tuning) die Fähigkeit eines LLM verbessern kann, Unsicherheit zu kommunizieren, und ob diese metakognitiven Verbesserungen über verschiedene Wissensdomänen und unterschiedliche metakognitive Aufgabenformate hinweg generalisieren.

Methodik

Modelle und Datensätze

Die Studie nutzte zwei repräsentative Modelle: GPT-4.1-mini und Llama3.1-70B-Instruct.

Trainingsdomänen: Drei Datensätze wurden für das Fine-Tuning verwendet: MMLU-PRO (Experten-Niveau Multiple-Choice), GSM8K (Grundschulmathematik) und TriviaQA (Short-Answer Allgemeinwissen). Diese wurden einzeln sowie in Kombination (M+G+T) verwendet.
Out-of-Domain-Evaluierung: Drei Datensätze wurden exklusiv für die Testung der Generalisierung reserviert: TruthfulQA (Missverständnisse), MetaMedQA (medizinische Argumentation) und LegalBench (juristische Argumentation).

Metakognitive Aufgaben

Es wurden zwei komplementäre Aufgaben evaluiert:

Einzel-Fragen-Konfidenzschätzung (Single-Question Confidence Estimation): Das Modell liefert neben seiner Antwort einen numerischen Konfidenzwert (0–1). Die Leistung wird durch Kalibrierung (Expected Calibration Error, ECE) und Diskriminierung (Area Under the Curve, AUC und Antwort-Ebene Meta-Information, $meta-I^2_{r,ans}$ ) gemessen.
Paarweiser Konfidenzvergleich (Pairwise Confidence Comparison): Gegeben sind zwei Fragen, wobei das Modell diejenige auswählt, die es mit höherer Wahrscheinlichkeit korrekt beantworten wird. Die Leistung wird durch AUCc (Abgleich mit Referenz-Konsistenzwerten) und AUCa (Abgleich mit der tatsächlichen Korrektheit der Antwort) gemessen.

Fine-Tuning-Verfahren

Die Autoren verwendeten Supervised Fine-Tuning unter Verwendung von konsistenzbasierten Unsicherheitssignalen als Trainingsziele.

Zielgenerierung: Für jede Trainingsfrage wurden $N=10$ unabhängige Stichproben generiert. Ein Konsistenzwert wurde basierend auf dem Anteil der Stichproben berechnet, die mit der Modalantwort übereinstimmen.
Kalibrierung: Für Einzel-Fragen-Aufgaben wurden die Konsistenzwerte auf empirische Genauigkeit (faktische Kalibrierung) abgebildet, um Ziel-Konfidenzwerte zu erstellen. Es wurden geringfügige Mengen an Rauschen zu diesen Zielen hinzugefügt, um das Modell daran zu hindern, diskrete Bins auswendig zu lernen, und um eine glattere Berichterstattung zu fördern.
Trainingsvarianten: Die Modelle wurden fein abgestimmt auf:
- Einzel-Fragen-Konfidenz (S).
- Paarweisen Vergleich (C).
- Beide Aufgaben gemeinsam (C+S).

Evaluierungsmetriken

Kalibrierung (ECE): Misst die Lücke zwischen der angegebenen Konfidenz und der beobachteten Genauigkeit.
Diskriminierung (AUC): Misst die Wahrscheinlichkeit, dass eine korrekte Antwort eine höhere Konfidenz erhält als eine inkorrekte Antwort.
Meta-Information: Quantifiziert die Reduktion der Unsicherheit über die Korrektheit der Antwort gegeben die Konfidenz-Bin des Modells.

Zentrale Beiträge und Ergebnisse

1. Verbesserung innerhalb der Trainingsdomänen

Das Supervised Fine-Tuning verbesserte sowohl die Kalibrierung als auch die Diskriminierung innerhalb der für das Training verwendeten Domänen signifikant.

Kalibrierung: Das Fine-Tuning reduzierte die ECE erheblich (z. B. $\Delta ECE = -0,57$ für GPT-4.1-mini bei Within-Domain-Tests). Die Modelle wechselten von überkonfidenten, geclusterten Vorhersagen zu einem breiteren Spektrum an Konfidenzwerten, die mit der empirischen Genauigkeit übereinstimmen.
Diskriminierung: Der AUC stieg signifikant an (z. B. $\Delta AUC = 0,17$ ), was darauf hindeutet, dass die Modelle besser darin wurden, korrekten Antworten eine höhere Konfidenz und inkorrekten Antworten eine niedrigere Konfidenz zuzuweisen.
Genauigkeit: Entscheidend ist, dass die allgemeine Antwortgenauigkeit stabil blieb ( $\Delta Accuracy \approx 0$ ), was bestätigt, dass die Gewinne in der Diskriminierung auf eine bessere Unsicherheitsschätzung zurückzuführen sind und nicht auf eine verbesserte faktische Korrektheit.

2. Generalisierung über Domänen hinweg

Modelle, die auf dem kombinierten Datensatz (M+G+T) fein abgestimmt wurden, zeigten verbesserte Kalibrierung und Diskriminierung bei der Evaluierung auf Out-of-Domain-Benchmarks (TruthfulQA, MetaMedQA, LegalBench).

Obwohl die Gewinne geringer waren als die Verbesserungen innerhalb der Domäne, waren sie statistisch signifikant ( $\Delta AUC = 0,05$ , $\Delta ECE = -0,03$ ).
Dies deutet darauf hin, dass metakognitive Fähigkeiten bezüglich der Unsicherheitskommunikation auf unbekannte Inhalte und Antwortformate, einschließlich komplexer medizinischer und juristischer Argumentationen, übertragen werden können.

3. Begrenzte Übertragung zwischen metakognitiven Aufgaben

Ein Schlüsselergebnis ist die fehlende bidirektionale Übertragung zwischen den beiden metakognitiven Aufgaben, wenn diese isoliert trainiert wurden.

Modelle, die nur auf Einzel-Fragen-Konfidenz trainiert wurden, zeigten keine Verbesserung in paarweisen Vergleichsaufgaben.
Modelle, die nur auf paarweisen Vergleich trainiert wurden, zeigten keine Verbesserung in der Einzel-Fragen-Konfidenzschätzung.
Dies deutet darauf hin, dass absolute Schätzung und relatives Ranking als unterschiedliche metakognitive Routinen gelernt werden und nicht als verschiedene Ausdrücke eines einzigen zugrunde liegenden Unsicherheitssignals.

4. Vorteile des Multitask-Fine-Tunings

Multitask-Fine-Tuning (C+S) produzierte eine breitere Generalisierung als Single-Task-Training.

Modelle, die beide Aufgaben gleichzeitig trainiert wurden, zeigten eine überlegene Leistung in Cross-Domain-Evaluierungen im Vergleich zu Single-Task-Modellen.
Beispielsweise erreichte das Multitask-Modell auf MetaMedQA einen höheren AUC und eine niedrigere ECE als die Single-Task-Modelle.
Dies legt nahe, dass das gemeinsame Training die Entwicklung teilweise geteilter interner Repräsentationen von Unsicherheit fördert und so die Lücke zwischen isolierten metakognitiven Routinen schließt.

5. Unterschiede in der Modellarchitektur

Obwohl sowohl GPT-4.1-mini als auch Llama-3.1-70B ähnliche Trends zeigten, gab es Nuancen. Llama-3.1-70B profitierte vom Multitask-Training für Einzel-Fragen-Aufgaben, zeigte jedoch unter Multitask-Fine-Tuning eine leichte Abnahme der Leistung beim paarweisen Vergleich im Vergleich zum Single-Task-Vergleichstraining. Dies impliziert, dass die Fähigkeit, durch Multitask-Training gemeinsame Unsicherheitsrepräsentationen zu bilden, je nach Modellarchitektur variieren kann.

6. Ablationsstudien

Faktische Kalibrierung: Die Einbeziehung des Schritts, Konsistenzwerte auf die empirische Genauigkeit abzubilden, verbesserte die Kalibrierung signifikant (Reduktion der Überkonfidenz), änderte jedoch die Diskriminierung (AUC) nicht wesentlich.
Rausch-Injektion (Noise Injection): Das Hinzufügen von Rauschen zu den Ziel-Konfidenzwerten änderte die aggregierten Leistungsmetriken nicht, erhöhte jedoch signifikant die Diversität der vom Modell berichteten Konfidenzwerte, was das Ausgeben von lediglich diskreten, runden Zahlen verhinderte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Unsicherheitskommunikation in LLMs trainierbar ist, aber dass der Transfer zwischen metakognitiven Aufgaben ohne spezifische Intervention begrenzt ist.

Trainierbarkeit: Supervised Fine-Tuning unter Verwendung von konsistenzbasierten Signalen richtet die angegebene Konfidenz effektiv an der beobachteten Genauigkeit aus und adressiert das Risiko überkonfidenter Fehler in hochsensiblen Anwendungen.
Domänen-Generalisierung: Diese Verbesserungen übertragen sich auf ungesehene Domänen (Medizin, Recht), was zeigt, dass die Unsicherheitskommunikation nicht strikt an spezifische Wissensbasen gebunden ist.
Aufgabenspezifität: Die Studie stellt die Annahme in Frage, dass metakognitive Fähigkeiten monolithisch sind. Das Scheitern des Single-Task-Trainings beim Transfer auf andere metakognitive Formate deutet darauf hin, dass LLMs unterschiedliche „Routinen“ für verschiedene Arten der Unsicherheitsschätzung lernen.
Multitask-Lösung: Die Arbeit postuliert, dass Multitask-Fine-Tuning eine praktikable Strategie ist, um diese Einschränkungen zu überwinden und gemeinsam genutzte Unsicherheitsrepräsentationen zu fördern, die eine breitere Generalisierung unterstützen.

Die Autoren kommen zu dem Schluss, dass ihre Ergebnisse zwar vielversprechend sind, jedoch auf zwei Modellfamilien und spezifische Aufgaben beschränkt sind. Sie fordern weitere Tests über diverse Modellfamilien und ein breiteres Spektrum an metakognitiven Aufgaben (z. B. Enthaltung/Abstention, Fehlererkennung) hinweg, um die Generalisierbarkeit dieser gemeinsamen Unsicherheitsrepräsentationen vollständig zu verstehen.