🧬 biology

Fine-Tuning Language Models to Know What They Know

Dieser Beitrag stellt ein Rahmenwerk vor, das die Metakognition von Large Language Models mittels der $d'_{\rm type2}$ -Metrik zur Isolierung echter Fähigkeiten misst und verbessert, und schlägt die Evolution Strategy for Metacognitive Alignment (ESMA) vor, die eine robuste Generalisierung über diverse Bedingungen hinweg erreicht und gleichzeitig aufzeigt, dass Verbesserungen aus einer spärlichen Menge von Parametern resultieren.

Ursprüngliche Autoren: Sangjun Park, Elliot Meyerson, Xin Qiu, Risto Miikkulainen

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sangjun Park, Elliot Meyerson, Xin Qiu, Risto Miikkulainen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der fast jede Frage beantworten kann, die Sie stellen. Doch manchmal ist dieser Roboter selbst dann zuversichtlich, wenn er falsch liegt, und manchmal sagt er „Ich weiß es nicht", obwohl er die Antwort tatsächlich kennt. Das ist ein Problem, denn wir wollen, dass der Roboter ehrlich darüber ist, was er weiß und was nicht.

Dieser Artikel handelt davon, diesem Roboter beizubringen, ein besserer Richter über sein eigenes Wissen zu sein. Die Autoren nennen dies „Metakognition", was ein komplizierter Begriff für „über das eigene Denken nachdenken" ist.

Hier ist die Geschichte davon, wie sie es getan haben, einfach erklärt:

Das Problem: Das „falsche" Selbstvertrauen des Roboters

Die Forscher stellten fest, dass der Roboter, wenn sie ihn fragten: „Kennen Sie die Antwort?", nicht wirklich sein internes Gedächtnis überprüfte. Stattdessen nutzte er Abkürzungen.

Die „Ja"-Gewohnheit: Wenn eine Frage einfach aussah, sagte der Roboter einfach „Ja, ich weiß es!" und riet die Antwort, selbst wenn sie falsch war.
Die „Nein"-Gewohnheit: Wenn eine Frage schwer aussah, sagte er „Nein, ich weiß es nicht", selbst wenn er die Antwort tatsächlich in seinem Gehirn hatte.

Es war wie ein Schüler, der eine Prüfung schreibt und bei jeder Frage einfach „Ja" rät, weil er glaubt, der Lehrer mag selbstbewusste Schüler, anstatt das Material tatsächlich zu beherrschen.

Die Lösung: Ein neues Trainingsspiel (ESMA)

Um dies zu beheben, entwickelten die Autoren eine neue Trainingsmethode namens ESMA (Evolution Strategy for Metacognitive Alignment).

Stellen Sie sich das Gehirn des Roboters als eine riesige, komplexe Maschine mit Milliarden winziger Regler (Parameter) vor.

Das Mischen: Anstatt den Roboter mit Standardunterricht zu lehren, nahmen sie das Gehirn des Roboters und „mischten" die Regler sanft, indem sie ein wenig zufälliges Rauschen hinzufügten (wie das Schütteln einer Kugeldose).
Die Doppelprüfung: Sie erstellten ein spezielles Spiel. Für jede Frage stellten sie dem Roboter zwei Dinge:
- Frage 1: „Was ist die Hauptstadt von Frankreich?" (Die Faktenprüfung)
- Frage 2: „Kennen Sie die Antwort?" (Die Selbstprüfung)
Die Punktzahl: Sie gaben dem Roboter nur Punkte, wenn seine Antworten perfekt übereinstimmten:
- Gute Punktzahl: Er beantwortete das Faktum korrekt UND sagte „Ja, ich weiß es." ODER er beantwortete das Faktum falsch UND sagte „Nein, ich weiß es nicht."
- Schlechte Punktzahl: Er beantwortete das Faktum richtig, sagte aber „Nein", oder beantwortete es falsch, sagte aber „Ja".
Die Evolution: Sie behielten die Versionen des Roboters, die hohe Punktzahlen erreichten, und verworfen diejenigen mit niedrigen Punktzahlen. Dann mischten sie die „guten" Regler zusammen, um einen neuen, intelligenteren Roboter zu schaffen. Sie wiederholten diesen Prozess Tausende von Malen.

Die Ergebnisse: Der Roboter weiß endlich, was er weiß

Nach diesem Training veränderte sich der Roboter auf drei große Arten:

Er hörte auf, sich selbst zu belügen: Der Roboter lernte, „Ich weiß es nicht" zu sagen, wenn er tatsächlich riet, und lernte, „Ja, ich weiß es" zu sagen, wenn er tatsächlich sicher war. Er hörte auf, die „einfach/schwer"-Abkürzungen zu nutzen.
Er funktionierte bei neuen Dingen: Die Forscher testeten den Roboter mit Fragen über Dinge, die es nicht gibt (wie fiktive Geschichten), und in verschiedenen Sprachen (wie Spanisch und Koreanisch). Der Roboter wusste immer noch, was er wusste und was nicht. Er hatte nicht nur die spezifischen Fragen auswendig gelernt, mit denen er trainiert wurde; er lernte eine allgemeine Fähigkeit.
Er benötigte nur eine winzige Korrektur: Die Forscher schauten in das Gehirn des Roboters, um zu sehen, was sich verändert hatte. Sie stellten fest, dass sie nicht alle Regler ändern mussten. Nur das Ändern eines winzigen, spezifischen Satzes von Reglern (etwa 10 % der Gesamtmenge) reichte aus, um das Problem zu beheben. Es ist wie das Reparieren eines kaputten Autos, indem man nur ein paar spezifische Schrauben festzieht, anstatt den gesamten Motor neu zu bauen.

Warum das wichtig ist

Der Artikel zeigt, dass wir KI beibringen können, ehrlich über ihr eigenes Wissen zu sein, ohne dass sie nur lernt, besser zu raten. Durch die Verwendung dieses „Misch- und Bewertungs"-Spiels lernte der Roboter, sein tatsächliches Wissen von seinem Selbstvertrauen zu trennen.

Kurz gesagt: Die Forscher brachten der KI bei, aufzuhören, zu bluffen. Wenn die KI jetzt „Ich weiß es" sagt, meint sie es wirklich. Und wenn sie „Ich weiß es nicht" sagt, meint sie es wirklich. Das macht die KI viel zuverlässiger und vertrauenswürdiger.

Technische Zusammenfassung: Feinabstimmung von Sprachmodellen, um zu wissen, was sie wissen

Problemstellung

Die Bewertung echter Metakognition in Large Language Models (LLMs) – insbesondere die Fähigkeit, den eigenen Wissenszustand genau einzuschätzen – wird durch konfundierende Faktoren wie Antwortverzerrungen, Heuristiken und Abhängigkeiten von Prompt-Templates behindert. Sowohl in der menschlichen Psychologie als auch in der LLM-Forschung spiegelt beobachtetes „metakognitives" Verhalten oft Antwortstrategien wider (z. B. übermäßiges Selbstvertrauen bei einfachen Aufgaben oder Verweigerung bei schwierigen), anstatt einen echten introspektiven Zugang zu internen Wissenszuständen zu ermöglichen. Die bestehende Literatur verwechselt häufig funktionale Zuverlässigkeit (z. B. reduzierte Halluzinationen durch Retrieval-Augmented Generation) mit metakognitiver Fähigkeit. Darüber hinaus haben Standard-Lernmethoden auf Gradientenbasis Schwierigkeiten, eine metakognitive Ausrichtung zu optimieren, da sie keine Gradienten über unabhängige Inferenzläufe hinweg berechnen können, die erforderlich sind, um faktische Richtigkeit und selbstberichtete Kenntnisse gemeinsam zu bewerten.

Methodik

Messrahmen

Um die metakognitive Fähigkeit von Antwortverzerrungen zu isolieren, etablieren die Autoren einen verzerrungskontrollierten Messrahmen, der auf psychologischen Paradigmen basiert:

Dual-Frage-Protokoll: Für jeden Datenpunkt beantwortet das Modell eine Direkte Frage (faktischer Abruf) und eine Meta-Frage (Selbsteinschätzung des Wissens, z. B. „Kennen Sie die Antwort?").
Primärer Metrik ( $d'_{type2}$ ): Die Studie verwendet die Signalentdeckungstheorie-Metrik $d'_{type2}$ , definiert als $\Phi^{-1}(\text{Trefferquote}) - \Phi^{-1}(\text{Falschalarmquote})$ . Dies quantifiziert die statistische Trennung zwischen den Konfidenzverteilungen des Modells für richtige und falsche Antworten und kontrolliert effektiv globale Antworttendenzen (z. B. ein Modell, das immer „Ja" sagt).
Ergänzende Metriken: Rohausrichtung, Genauigkeit, Ja-Verhältnis, Ja-Fehler-Verhältnis (YFR) und Nein-Fehler-Verhältnis (NFR) werden verfolgt. Eine kontinuierliche Type-2-AUROC dient zur Validierung der Ergebnisse über das gesamte Konfidenzspektrum hinweg, und eine „All Alignment"-Metrik prüft die Konsistenz über verschiedene Prompt-Formate hinweg.

Evolutionsstrategie für metakognitive Ausrichtung (ESMA)

Die Arbeit schlägt ESMA vor, eine gradientenfreie Optimierungsmethode, die entwickelt wurde, um die Grenzen der Backpropagation bei der metakognitiven Feinabstimmung zu überwinden.

Mechanismus: ESMA erzeugt eine Population von Modellvarianten, indem sie Gaußsches Rauschen zu den Gewichten des Elternmodells hinzufügt. Jede Variante wird an einer Joint Reward-Funktion bewertet, die sowohl die Richtigkeit der direkten Antwort ( $C$ ) als auch die Ausrichtung der Meta-Antwort ( $A$ ) berücksichtigt.
Reward-Design: Die Belohnung $R(C, A)$ $R (C, A)$ ist so strukturiert, dass „Reward Hacking" verhindert wird (z. B. ein Modell, das für alle Fragen Unwissenheit behauptet, um die Ausrichtung zu maximieren).
- $R=2$ , wenn Richtig & Ja (Ausgerichtet).
- $R=1$ , wenn Richtig & Nein (Nicht ausgerichtet, aber richtig).
- $R=1$ , wenn Falsch & Nein (Ausgerichtet, aber falsch).
- $R=0$ , wenn Falsch & Ja (Nicht ausgerichtet und falsch).
Aktualisierungsregel: Die nächste Generation von Parametern wird durch einen gewichteten Durchschnitt der Störungen aktualisiert, wobei Varianten mit höheren Joint Rewards priorisiert werden. Dies ermöglicht es dem Modell, ganzheitliche Verhaltensmuster über unabhängige Inferenzläufe hinweg zu optimieren.

Experimentelle Kontrollen

Um sicherzustellen, dass Verbesserungen echte Metakognition und nicht Heuristiken widerspiegeln, umfasst der Rahmen:

IDK Unified Prompt: Ein Zero-Shot-Test, bei dem das Modell in einem einzigen Prompt sagen darf „Ich weiß es nicht", um zu verifizieren, dass die Ausrichtung ohne das spezifische Dual-Frage-Trainings-Template besteht.
FictionalQA: Bewertung auf rein fiktivem Wissen, um „Cue-Familiarity"-Heuristiken (Verlassen auf bestehende semantische Vertrautheit) auszuschließen.
Cross-Lingual- und Cross-Dataset-Bewertung: Tests in nicht-englischen Sprachen (Chinesisch, Koreanisch, Spanisch) und externen Datensätzen (FreebaseQA, NQ Open), um Verzerrungen durch Sprachoberflächen und spezifische Benchmarks zu kontrollieren.
Parameter-Patching: Eine Analyse, die Gewichtsaktualisierungen nach Magnitude rankt, um zu bestimmen, ob Verbesserungen durch eine spärliche Teilmenge von Parametern getrieben werden.

Wichtige Ergebnisse

Metakognitive Leistung

Signifikante Verbesserung: ESMA erhöhte $d'_{type2}$ erheblich bei allen getesteten Open-Source-Modellen (Qwen2.5, Llama3.2, Gemma3). Beispielsweise verbesserte sich Qwen2.5 3B von $d'_{type2} = 0,29$ auf $1,02$ und übertraf proprietäre Modelle wie GPT-5.2 ($0,94$) und Claude Sonnet 4.5 ($0,95$), trotz geringerer roher Genauigkeit.
Verzerrungskontrolle: Während proprietäre Modelle aufgrund hoher Genauigkeit und positiver Antwortverzerrungen eine hohe rohe Ausrichtung zeigten (oft >90 %), waren ihre $d'_{type2}$ -Werte niedriger, was darauf hindeutet, dass die Gewinne durch ESMA echte Diskriminierung und nicht nur Verschiebungen der Antwortstrategie darstellen.
Kontinuierliche Konfidenz: Die Type-2-AUROC-Analyse bestätigte, dass ESMA das Ranking von richtigen gegenüber falschen Antworten über kontinuierliche Konfidenzschwellen hinweg verbesserte und die Konfidenzverteilungen für richtige Antworten in Richtung 1,0 und für falsche Antworten in Richtung 0,0 verschob.

Generalisierung und Robustheit

Zero-Shot-Transfer: Im IDK Unified-Prompt-Experiment (während des Trainings nie gesehen) zeigten ESMA-Modelle signifikante Verbesserungen in der IDK-Ausrichtung und „All Alignment", was eine formatunabhängige metakognitive Fähigkeit demonstriert.
Neues Wissen: Bei FictionalQA, wo Modelle keine vorherige Exposition gegenüber dem Inhalt hatten, erhöhte ESMA $d'_{type2}$ von 0,23 auf 0,65 und bewies, dass das Modell neu erworbenes Wissen überwachen kann, ohne sich auf Cue-Vertrautheit zu verlassen.
Cross-Lingual: ESMA-Modelle, die auf englischen TriviaQA trainiert wurden, zeigten eine verbesserte $d'_{type2}$ in Chinesisch, Koreanisch und Spanisch, was darauf hindeutet, dass die Ausrichtung kein rein englischspezifisches Oberflächenmuster ist.

Parameteranalyse

Spärlicher Beitrag: Eine Patching-Analyse ergab, dass der Großteil der metakognitiven Gewinne durch eine spärliche Teilmenge von Gewichtsaktualisierungen getrieben wurde. Die Anwendung nur der obersten 10 % der Gewichtsänderungen (nach L1-Magnitude) erfasste etwa 80 % der Gesamtverbesserung in $d'_{type2}$ . Dies deutet auf die Existenz eines spezialisierten, spärlichen Subnetzwerks hin, das mit metakognitiven Funktionen verknüpft ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, den ersten Rahmen zu liefern, um LLM-Metakognition rigoros zu messen und zu verbessern, indem systematisch die Verzerrungen und Heuristiken kontrolliert werden, die frühere Studien plagten.

Methodischer Beitrag: Sie etabliert $d'_{type2}$ als kritische, verzerrungskontrollierte Metrik für LLM-Metakognition und unterscheidet sie von einfacher Kalibrierung oder Verweigerungsverhalten.
Optimierungserkenntnis: Sie zeigt, dass Evolutionsstrategien (ES) einzigartig geeignet sind, um metakognitive Ausrichtung zu optimieren, da sie Verhaltensmuster über unabhängige Kontexte hinweg gemeinsam optimieren können, wo gradientenbasierte Methoden versagen.
Architekturelle Erkenntnis: Die Entdeckung, dass metakognitive Verbesserungen durch eine spärliche Menge von Parametern getrieben werden, bietet einen neuen Weg für gezielte Optimierung und legt nahe, dass Metakognition auf spezifische Subnetzwerke innerhalb von LLMs lokalisiert sein könnte.
Bescheidener Umfang: Die Autoren erkennen an, dass, obwohl ESMA die metakognitive Ausrichtung verbessert, die Leistung unter menschlichen Standards bleibt. Sie betrachten die Arbeit als einen Schritt hin zur Behandlung von Metakognition als unabhängige kognitive Fähigkeit und nicht nur als Werkzeug zur Fehlerkorrektur, wobei sie feststellen, dass zukünftige Arbeiten erforderlich sind, um komplexes Schlussfolgern und assoziatives semantisches Wissen anzugehen.