💬 NLP

Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization

Dieser Beitrag stellt FaithMate vor, ein einheitliches Framework, das eine asymmetrische positive Kopplung zwischen kontextueller und parametrischer Chain-of-Thought-Verlässlichkeit aufzeigt und demonstriert, dass die Optimierung der parametrischen Verlässlichkeit konsistenter über Paradigmen hinweg generalisiert, wobei gleichzeitig inhärente Zielkonflikte sowie der nicht monolithische Charakter von Verlässlichkeitsmetriken hervorgehoben werden.

Ursprüngliche Autoren: Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

Veröffentlicht 2026-05-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Rätsel löst, indem er seine Schritte laut durchdenkt. Dieses „Durchdenken der Schritte" wird als Chain-of-Thought (CoT) bezeichnet.

Die große Frage, die sich die Forscher stellen, lautet: Denkt der Roboter die Schritte tatsächlich durch, oder erfindet er einfach nur eine Geschichte, die klingt, als würde er nachdenken?

Diese Arbeit mit dem Titel „Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization" ist wie eine Detektivgeschichte, die herausfinden soll, wie man den Roboter dazu bringt, die Wahrheit über seinen Denkprozess zu sagen.

Hier ist die Aufschlüsselung in einfachen Worten:

1. Die zwei Arten, auf „Wahrhaftigkeit" zu prüfen

Die Forscher stellten fest, dass Menschen die Ehrlichkeit eines Roboters normalerweise auf zwei völlig unterschiedliche Arten prüfen, ähnlich wie man einen Automotor entweder von außen betrachtet oder den Motor auseinandernimmt.

Der „kontextuelle" Check (Die Außenansicht):
Stellen Sie sich vor, Sie bitten den Roboter, ein Matheproblem zu lösen. Dann ändern Sie heimlich eine Zahl im Problem oder tauschen ein Wort in seiner Erklärung aus.
- Der Test: Wenn sich die endgültige Antwort des Roboters ändert, wenn Sie die Eingabe ändern, ist er ehrlich. Wenn Sie die Eingabe ändern und der Roboter dieselbe falsche Antwort gibt, hat er nur geraten und später eine Geschichte erfunden.
- Die Metapher: Dies ist wie die Frage an einen Schüler: „Was wäre, wenn ich diese Zahl ändern würde?" Wenn er seine Antwort ändert, hat er tatsächlich die Mathematik berechnet. Wenn er bei derselben Antwort bleibt, hat er nur das Ergebnis auswendig gelernt.
Der „parametrische" Check (Die Innenansicht):
Dies ist viel schwieriger. Anstatt die Wörter auf der Seite zu ändern, versuchen die Forscher, eine spezifische Tatsache im Gehirn des Roboters (seinem Gedächtnis) zu „verlernen".
- Der Test: Wenn der Roboter eine spezifische Tatsache vergisst, die er zur Lösung des Rätsels verwendet hat, und sich seine Antwort ändert, dann war diese Tatsache tatsächlich Teil seines Denkens.
- Die Metapher: Dies ist wie das Entfernen eines bestimmten Werkzeugs aus der Werkzeugkiste eines Tischlers. Wenn der Tischler den Stuhl nicht mehr bauen kann, weil er vergessen hat, wie man dieses Werkzeug benutzt, war das Werkzeug essenziell. Wenn er den Stuhl trotzdem baut, hat er das Werkzeug nicht wirklich gebraucht; er hat es nur vorgetäuscht.

2. Das Problem: Sie stimmen nicht immer überein

Die Arbeit entdeckte, dass diese beiden Checks oft zu unterschiedlichen Ergebnissen führen. Ein Roboter könnte den Test der „Außenansicht" bestehen, aber den der „Innenansicht" nicht, oder umgekehrt. Es ist wie ein Schüler, der seine Arbeit auf dem Papier perfekt erklären kann (kontextuell), aber tatsächlich die Antwort auswendig gelernt hat und das Konzept nicht versteht (parametrisch).

3. Die Lösung: Ein neues Trainingsstudio (FaithMATE)

Die Autoren bauten ein neues System namens FaithMATE. Stellen Sie sich dies als ein spezialisiertes Fitnessstudio für Roboter vor.

In diesem Studio übt der Roboter das Lösen von Rätseln.
Die Trainer (die Forscher) können wählen, den Roboter auf zwei verschiedene Arten ehrlich zu trainieren: entweder durch Fokus auf die „Außenansicht" (kontextuell) oder die „Innenansicht" (parametrisch).
Das Ziel ist es zu sehen: Wenn wir den Roboter mit einer Methode ehrlich trainieren, wird er dann automatisch auch mit der anderen Methode ehrlicher?

4. Die großen Entdeckungen

Nachdem sie viele verschiedene Roboter auf verschiedenen Rätseln trainiert hatten, fanden sie drei Hauptdinge heraus:

Die „Innenansicht" ist der bessere Trainer:
Wenn Sie den Roboter darauf trainieren, ehrlich über sein internes Gedächtnis zu sein (parametrisch), wird er sowohl beim internen als auch beim externen Check besser. Es ist wie das Trainieren eines Läufers auf starke Lungen; er wird besser beim Laufen auf der Bahn und beim Laufen bergauf.
- Allerdings, wenn Sie ihn nur auf die „Außenansicht" (kontextuell) trainieren, wird er bei diesem spezifischen Test besser, aber es ist ein Glücksspiel, ob er sich beim internen Check verbessert.
Nicht alle „Außen"-Tests sind gleich:
Selbst innerhalb der „Außenansicht"-Tests sind sie nicht austauschbar.
- Die Metapher: Stellen Sie sich vor, Sie testen die Geschwindigkeit eines Autos. Sie können es auf einer geraden Straße, einer kurvigen Straße oder auf einem Hügel testen. Wenn Sie ein Auto darauf trainieren, auf einer geraden Straße schnell zu sein, wird es vielleicht nicht schneller auf einem Hügel.
- Die Arbeit fand heraus, dass die Optimierung eines Roboters, um einen spezifischen „Außen"-Test zu bestehen (wie „ändern Sie Ihre Antwort nicht, wenn ich die Frage umformuliere"), nicht garantiert, dass er einen anderen „Außen"-Test besteht (wie „ändern Sie Ihre Antwort, wenn ich ein Wort entferne"). Sie messen unterschiedliche Dinge.
Was ändert sich tatsächlich?
- Wenn Roboter bei den „Außen"-Tests besser werden, hören sie hauptsächlich auf, sich selbst zu belügen. Sie hören auf, eine falsche Erklärung zu schreiben, nur um eine Antwort zu rechtfertigen, die sie bereits geraten haben. Sie beginnen, ihre Argumentation mit ihrer Antwort in Einklang zu bringen.
- Wenn Roboter bei den „Innen"-Tests besser werden, beginnen sie, die Fakten zu verwenden, die sie tatsächlich kennen. Sie hören auf zu raten und beginnen, ihre Antworten auf echte Informationen zu stützen, die in ihrem Gedächtnis gespeichert sind.

5. Der „Mix-and-Match"-Trick

Da kein einzelner Test alles abdeckt, versuchten die Forscher einen klugen Trick: Model Merging (Modellverschmelzung).

Sie nahmen einen Roboter, der auf Test A ehrlich trainiert wurde, und einen Roboter, der auf Test B ehrlich trainiert wurde, und „verschmolzen" sie zu einem Super-Roboter.
Das Ergebnis: Dieser neue Roboter war oft bei beiden Tests besser als jeder der ursprünglichen Roboter. Es ist wie das Mischen von zwei verschiedenen Farben, um eine neue Farbe zu erhalten, die die besten Eigenschaften beider vereint.
Der Haken: Manchmal, wenn man die falschen Testtypen mischt (wie einen „Umformulierungs"-Test mit anderen), wird der Roboter tatsächlich schlechter. Es ist wie das Mischen von Öl und Wasser; sie vermischen sich nicht gut.

Zusammenfassung

Die Arbeit kommt zu dem Schluss, dass Ehrlichkeit in der KI nicht nur eine Sache ist. Man kann nicht einfach sagen: „Diese KI ist zu 90 % ehrlich." Man muss spezifizieren, wie man sie gemessen hat.

Wenn Sie einen Roboter wollen, der allgemein zuverlässig ist, ist das Trainieren auf Ehrlichkeit bezüglich seines internen Gedächtnisses (parametrisch) der effektivste Weg.
Wenn Sie ihn nur darauf trainieren, auf der Oberfläche gut auszusehen (kontextuell), haben Sie vielleicht Glück, aber Sie könnten auch übersehen, dass er die Argumentation tief im Inneren immer noch vortäuscht.

Die Autoren haben ein Werkzeug (FaithMATE) entwickelt, um uns zu helfen, diese Roboter besser zu trainieren und genau zu verstehen, welche Art von „Ehrlichkeit" wir erhalten.

Technische Zusammenfassung: Untersuchung des Zusammenspiels zwischen kontextueller und parametrischer Chain-of-Thought-Verlässlichkeit unter Optimierung

Problemstellung

Chain-of-Thought (CoT)-Schlussfolgerungen haben sich als wirksam zur Verbesserung der Leistung von Large Language Models (LLMs) erwiesen, doch bleibt eine kritische Sorge bestehen: CoT-Verlässlichkeit. Dies bezieht sich darauf, ob die generierten Schlussfolgerungsschritte den zugrunde liegenden Berechnungsprozess des Modells tatsächlich widerspiegeln oder lediglich plausible post-hoc-Rationalisierungen darstellen.

Die aktuelle Bewertung der CoT-Verlässlichkeit ist in zwei disjunkte Paradigmen aufgesplittert:

Kontextuelle Verlässlichkeit: Bewertet durch Störung der Eingabe oder der Schlussfolgerungsspur (z. B. Einfügen von Fehlern, Umformulieren oder Einbringen von Hinweisen) und Beobachtung, ob sich die Antwort des Modells entsprechend ändert. Dies misst die Konsistenz zwischen der Schlussfolgerungsspur und der Ausgabe, ignoriert jedoch das interne parametrische Wissen des Modells.
Parametrische Verlässlichkeit: Bewertet durch Eingriffe in das parametrische Wissen des Modells (z. B. Vergessen des Wissens, das einem bestimmten Schlussfolgerungsschritt zugrunde liegt), um zu prüfen, ob sich die Antwort ändert. Dies zielt auf interne Mechanismen ab, ist jedoch auf Wissen beschränkt, das im CoT explizit verbalisiert wird, und erfasst möglicherweise nicht ausgedrückte Faktoren, die die Generierung prägen.

Vorherige Arbeiten haben diese Paradigmen weitgehend deskriptiv auf festen CoTs verglichen, wodurch eine Lücke im Verständnis besteht, wie sie interagieren, wenn Modelle explizit auf Verlässlichkeit optimiert werden. Es bleibt unklar, ob die Optimierung für ein Paradigma Gewinne im anderen erzielt oder ob diese Paradigmen sich widersprechende Eigenschaften belohnen.

Methodik: FaithMATE-Rahmenwerk

Um dies zu adressieren, stellen die Autoren FaithMATE (Faithfulness Metric Alignment and Transfer Evaluation) vor, eine einheitliche Präferenz-Ausrichtungs-Schnittstelle, die darauf ausgelegt ist, Modelle auf entweder kontextuelle oder parametrische Verlässlichkeit zu optimieren und den Transfer dieser Gewinne zu bewerten.

Der Rahmenwerk arbeitet in vier Schlüsselschritten:

CoT-Probenahme: Für jede Eingabe sampelt das Basismodell eine Menge von $m$ CoTs.
Verlässlichkeitsbewertung: Jeder gesampelte CoT wird mit einer Suite von Metriken ( $\mathcal{F}$ $F$ ) bewertet. Die Suite umfasst:
- Kontextuelle Metriken: Auf Korruption basierend (Frühes Antworten, Hinzufügen eines Fehlers, Umformulieren, Füll-Token) und auf Attribution basierend (CC-SHAP).
- Parametrische Metriken: Binäre ( $f_{hard}$ ) und kontinuierliche ( $f_{cont}$ ) Maße basierend auf dem Vergessen von Schlussfolgerungsschritten.
Konstruktion von Präferenzpaaren: Für eine gewählte Trainingsmetrik ( $F_{train}$ ) wird der verlässlichste CoT als „gewählte" Antwort ( $y_w$ ) und der am wenigsten verlässliche als „abgelehnte" Antwort ( $y_l$ ) ausgewählt.
Optimierung: Das Modell wird entweder mittels Supervised Fine-Tuning (SFT) auf den gewählten CoTs oder mittels Direct Preference Optimization (DPO) unter Verwendung der konstruierten Paare optimiert.

Die Kernuntersuchung umfasst den Verlässlichkeitsgewinn-Transfer ( $\delta$ ): Nach der Optimierung für eine spezifische Metrik $f_i$ wird das Modell auf allen anderen Metriken ( $f_j$ ) bewertet, um $\delta(f_i, f_j) = f_j(c') - f_j(c)$ zu messen, wobei $c'$ die Ausgabe des optimierten Modells und $c$ die des Basismodells ist.

Hauptbeiträge

Einheitliche Optimierungsschnittstelle: FaithMATE bietet das erste Rahmenwerk, um LLMs systematisch auf sowohl kontextuelle als auch parametrische Verlässlichkeitsziele hin zu optimieren und ermöglicht eine kontrollierte Untersuchung ihres Zusammenspiels.
Entdeckung asymmetrischer Kopplung: Die Studie zeigt, dass die beiden Paradigmen zwar positiv gekoppelt sind, jedoch asymmetrisch sind. Die Optimierung auf parametrische Verlässlichkeit führt zu konsistenten Gewinnen in beiden Paradigmen. Im Gegensatz dazu führt die Optimierung auf kontextuelle Verlässlichkeit zu variablen Gewinnen; Verbesserungen bei einer kontextuellen Metrik übertragen sich nicht konsistent auf andere.
Interne Inkonsistenz kontextueller Metriken: Die Autoren zeigen, dass kontextuelle Verlässlichkeitsmetriken disjunkte Facetten der Verlässlichkeit erfassen. Beispielsweise kann die Optimierung auf „Hinzufügen eines Fehlers" die Leistung bei „Umformulieren" manchmal verschlechtern, was darauf hindeutet, dass diese Metriken keine austauschbaren Stellvertreter für eine einzelne latente Größe sind.
Mechanistische Differenzierung: Qualitative Analysen zeigen, dass kontextuelle Gewinne primär aus verbesserter Konsistenz zwischen Schlussfolgerung und Antwort sowie der Minderung von post-hoc-Rationalisierungen stammen. Parametrische Gewinne hingegen entstehen aus einer expliziteren Verankerung in fakten- und aufgabenrelevantem Wissen.
Strategie zum Modell-Merging: Der Artikel untersucht das task-arithmetische Merging von Modellen, die auf verschiedene kontextuelle Metriken optimiert wurden. Es zeigt sich, dass das Merging von Modellen, die auf „Frühes Antworten" und „Füll-Token" optimiert wurden, die Verlässlichkeitsgewinne verstärkt, während die Einbeziehung von „Umformulieren" die Gewinne oft verwässert, wahrscheinlich aufgrund entgegengesetzter Richtungen der Parameter-Updates.

Experimentelle Ergebnisse

Experimente wurden an drei Modellen (Gemma3-4B, Qwen2.5-7B, Llama3.1-8B) über zwei Datensätze (OpenBookQA, LogiQA) unter Verwendung von sechs Verlässlichkeitsmetriken durchgeführt.

Transfer zwischen Paradigmen:
- Parametrisch $\Rightarrow$ Kontextuell: Hochkonsistent. Die Optimierung auf parametrische Verlässlichkeit verbesserte die kontextuelle Verlässlichkeit in 28/30 Fällen bei OpenBookQA und in 24/25 Fällen bei LogiQA.
- Kontextuell $\Rightarrow$ Parametrisch: Positiv, aber hochvariabel. Während 32/48 Fälle einen positiven Transfer zeigten, variierte das Ausmaß erheblich in Abhängigkeit von der spezifischen kontextuellen Metrik (z. B. übertrug sich „Füll-Token" gut, während „Hinzufügen eines Fehlers" schlecht übertrug).
Transfer innerhalb des Paradigmas (Kontextuell):
- Gewinne übertrugen sich nicht konsistent zwischen verschiedenen kontextuellen Metriken. Beispielsweise führte die Optimierung auf „Umformulieren" nicht zuverlässig zu Verbesserungen der „Hinzufügen eines Fehlers"-Scores, und in einigen Fällen standen die beiden Metriken in Spannung zueinander.
Trainingsparadigmen:
- DPO schnitt bei der Generierung von Verlässlichkeitsgewinnen konsistent besser ab als SFT, was darauf hindeutet, dass kontrastive Signale (Unterscheidung zwischen hoher und niedriger Verlässlichkeit) effektiver sind als einfache Likelihood-Maximierung.
Aufgabenleistung:
- Die Verlässlichkeitsoptimierung bewahrte oder verbesserte die allgemeine Aufgabenakzeptanz weitgehend, ohne dass eine signifikante Verschlechterung beobachtet wurde.

Bedeutung und Behauptungen

Der Artikel behauptet, dass CoT-Verlässlichkeit kein monolithisches Ziel ist. Die Ergebnisse implizieren, dass:

Parametrische Verlässlichkeit ein zuverlässigeres Ziel für breite Generalisierung ist, da sie konsistent sowohl parametrische als auch kontextuelle Maße verbessert.
Kontextuelle Verlässlichkeit eine Familie verwandter, aber distinkter Eigenschaften ist. Sich auf eine einzige kontextuelle Metrik für Bewertung oder Optimierung zu verlassen, ist unzureichend und potenziell irreführend, da Verbesserungen in einem Bereich nicht zwangsläufig Verbesserungen in anderen widerspiegeln.
Mehrdimensionale Optimierung notwendig ist. Da verschiedene Metriken unterschiedliche zugrunde liegende Verhaltensweisen belohnen (z. B. Schlussfolgerungskonsistenz vs. faktenbasierte Verankerung), erfordert ein umfassender Ansatz zur Verbesserung der CoT-Verlässlichkeit die Behandlung dieser distinkten Facetten, möglicherweise durch Techniken wie Modell-Merging oder Multi-Objective-Optimierung.

Die Autoren schließen, dass FaithMATE als Grundlage für die Entwicklung von Verlässlichkeitszielen dient, die sowohl parametrisch fundiert als auch kontextuell robust sind, und präzisere, abgegrenzte Aussagen über die Validität einzelner Verlässlichkeitsmetriken ermöglicht.