💬 NLP

False Fixed Points: Kantian Feedback, Stable Miscalibration, and Representational Compression in LLMs

Dieser Beitrag widerlegt die Auffassung, dass hochkonfidente Fehler in großen Sprachmodellen lediglich fragile Ausfälle seien, indem er zeigt, dass sie stabile, intern kohärente „falsche Fixpunkte" darstellen können, bei denen Robustheit von der Wahrheitserfassung abweicht, ein Phänomen, das durch Mechanismen wie hohe Signal-Rausch-Trägheit und repräsentationale Kompression angetrieben wird.

Ursprüngliche Autoren: Akira Okutomi

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akira Okutomi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Wenn „feststecken" nicht „richtig" bedeutet

Stellen Sie sich vor, Sie gehen durch einen nebligen Wald. Sie kommen zu einer Wegkreuzung. Sie sind zu 100 % sicher, dass Sie links abbiegen sollten, und beginnen daher selbstbewusst zu gehen.

Normalerweise denken wir, dass ein Irrtum darauf zurückzuführen ist, dass man „wackelig" ist. Wenn jemand Sie sanft anstößt oder fragt: „Sind Sie sich sicher?", würden Sie Ihren Fehler erkennen und Ihre Meinung ändern. Wir gehen davon aus, dass falsche Antworten zerbrechlich sind.

Dieses Papier stellt diese Idee in Frage.

Die Autoren schlagen vor, dass eine KI manchmal selbstbewusst falsch und gleichzeitig stur stabil sein kann. Sie nennen diese Phänomene „False Fixed Points" (falsche Fixpunkte). Die KI wackelt nicht; sie ist so fest in einer falschen Antwort verankert, dass sie sich nicht einmal rührt, wenn man sie stößt oder schüttelt. Es ist kein „brüchiger" Fehler, sondern ein „solider" Fehler.

Die Kernmetapher: Die verschlossene Tür versus das wackelige Tor

Stellen Sie sich die Entscheidungsfindung einer KI wie eine Tür vor.

Zerbrechlicher Fehler (Das wackelige Tor): Das Tor ist lose. Wenn Sie es drücken, schwingt es auf, und Sie merken, dass Sie den falschen Weg gewählt haben. Das ist das, was wir normalerweise von einem Fehler erwarten.
False Fixed Point (Die verschlossene Tür): Die Tür ist schwer, mit Bolzen verschlossen und aus Stahl gefertigt. Sie drücken dagegen, und sie bewegt sich überhaupt nicht. Sie befinden sich immer noch auf der falschen Seite des Waldes, aber die Tür ist so stabil, dass Sie nie merken, dass Sie einen anderen Ausgang finden müssen.

Das Papier argumentiert, dass bei Large Language Models (LLMs) diese „verschlossenen Türen" (stabile falsche Antworten) ein echtes Problem darstellen. Das Modell scheitert nicht, weil es verwirrt ist; es scheitert, weil es zu selbstbewusst auf einem falschen Pfad ist, und dieses Selbstbewusstsein ist überraschend schwer zu brechen.

Der „kantische" Check-in (Der Türsteher im Club)

Um dies zu beheben, entlehnen die Autoren eine Idee vom Philosophen Immanuel Kant. Kant fragte: „Haben Sie tatsächlich das Recht, dieses Urteil zu fällen?"

Stellen Sie sich einen Türsteher in einem Club vor (das „Commitment Gate").

Normale KI: Geht auf ihn zu und sagt: „Ich gehe rein!" (Selbst wenn sie kein Ticket hat).
Kantische KI: Der Türsteher hält sie auf und fragt: „Haben Sie ein Ticket? Haben Sie Beweise? Ist die Frage überhaupt beantwortbar?"

Das Papier testet eine Version davon, bei der die KI gezwungen wird, innezuhalten und sich selbst zu fragen: „Darf ich mich auf diese Antwort festlegen, oder sollte ich einfach sagen: 'Ich weiß es nicht'?"

Was sie tatsächlich fanden (Die Experimente)

Die Forscher testeten drei verschiedene KI-Modelle mit einer Reihe von Wahr/Falsch-Fragen. Hier ist, was passierte:

1. Der „Stoß-Test" (Sind falsche Antworten wackelig?)
Sie nahmen die „verschlossenen Türen" der KI (selbstbewusst falsche Antworten) und die „offenen Tore" (selbstbewusst richtige Antworten) und gaben ihnen einen sanften digitalen „Stoß" (eine winzige Änderung der Eingabe).

Die Erwartung: Sie dachten, die falschen Antworten würden wackeln und leicht auseinanderfallen.
Die Realität: Die falschen Antworten waren genauso solide und stabil wie die richtigen. Man konnte keinen Unterschied feststellen, indem man sie einfach schüttelte. Dies beweist, dass Stabilität nicht Wahrheit bedeutet. Ein Modell kann felsenfest sein und trotzdem völlig falsch liegen.

2. Die „Ich weiß es nicht"-Strategie (Der Trade-off)
Sie versuchten erneut den „Türsteher"-Ansatz und sagten der KI: „Wenn Sie nicht zu 100 % sicher sind, sagen Sie einfach 'Ich weiß es nicht', anstatt zu raten."

Das Ergebnis: Das funktionierte! Die KI machte weit weniger „selbstbewusst falsche" Fehler.
Der Haken: Um dies zu tun, musste die KI aufhören, Fragen zu beantworten, die sie hätte raten können. Sie tauschte Quantität (mehr Dinge beantworten) gegen Qualität (weniger falsch liegen) ein. Sie wurde sicherer, aber auch leiser.

3. Das „strenge Tor" (C3-R)
Sie versuchten eine noch strengere Version, bei der die KI spezifische Gründe auflisten musste, warum sie nicht antworten sollte, bevor sie sich festlegen durfte.

Das Ergebnis: Dies war die sicherste Option. Sie eliminierte selbstbewusste Fehler fast vollständig. Aber wie beim vorherigen Schritt bedeutete dies, dass die KI insgesamt weniger Fragen beantwortete. Es war eine sehr vorsichtige, konservative Wache.

Warum passiert das? (Die „schwere Rüstung"-Theorie)

Das Papier bietet eine Vermutung an, warum diese „verschlossenen Türen" existieren, unter Verwendung einer Physik-Analogie.

Stellen Sie sich das Gehirn der KI als ein riesiges, schweres Schiff vor, das durch Wasser fährt.

Hohe Signal-Rausch-Verhältnis-Trägheit (High-SNR Inertia): Einige Modelle (wie das Qwen2.5, das sie testeten) haben eine „schwere Rüstung". Ihre internen Signale sind so massiv und laut, dass winzige Stöße (Perturbationen) einfach von ihnen abprallen. Das Schiff ist so schwer, dass eine kleine Welle seinen Kurs nicht ändert.
Das Problem: Dies macht das Schiff sehr stabil, aber wenn das Schiff auf einen Felsen zusteuert, macht diese schwere Rüstung es unmöglich, durch einen kleinen Stoß vom Felsen wegzusteuern. Die „Stabilität" ist tatsächlich eine Falle.

Das Fazit

Dieses Papier lehrt uns eine einfache, aber wichtige Lektion: Nur weil eine KI selbstbewusst klingt und ihre Meinung nicht ändert, wenn man sie stößt, bedeutet das nicht, dass sie recht hat.

Robustheit (Stabilität) und Wahrheit sind zwei verschiedene Dinge.
Wir können nicht einfach nach „wackeligen" Antworten suchen, um Fehler zu finden; manchmal sind die schlimmsten Fehler die stabilsten.
Der beste Weg, damit umzugehen, besteht derzeit darin, der KI beizubringen, öfter „Ich weiß es nicht" zu sagen, auch wenn dies bedeutet, dass sie weniger Fragen beantwortet.

Die Autoren betonen sorgfältig, dass dies eine neue Art ist, das Problem zu betrachten, keine magische Lösung. Sie schlagen vor, dass wir neue Werkzeuge benötigen, um „Stabilität" und „Wahrheit" separat zu messen, anstatt anzunehmen, dass sie Hand in Hand gehen.

Technische Zusammenfassung: Falsche Fixpunkte in Large Language Models

1. Problemstellung

Hohe Konfidenzfehler (Halluzinationen) in Large Language Models (LLMs) werden häufig als „brüchige" (brittle) Ausfälle interpretiert, was impliziert, dass eine kleine Störung der Eingabe oder des internen Zustands die falsche Antwort leicht aus dem Gleichgewicht bringen sollte. Dieser Artikel stellt diese Annahme in Frage, indem er die Existenz falscher Fixpunkte postuliert: Zustände, in denen ein Modell lokal stabil, intern kohärent und zuversichtlich falsch ist.

Das Kernproblem, das adressiert wird, ist die Divergenz zwischen lokaler Stabilität (Robustheit gegenüber Störungen) und Wahrheitsverfolgung (Korrektheit der Urteilsbildung). Die Autoren argumentieren, dass ein Modell nicht deshalb versagt, weil seine Schlussfolgerungen brüchig sind, sondern weil sein falsches Urteil durch stabile interne Dynamiken „eingeschlossen" ist, ein Phänomen, das als stabile Fehlkalibrierung bezeichnet wird.

2. Methodik

Theoretischer Rahmen: Kantische Rückkopplung und Regelungstheorie

Der Artikel fasst das Problem durch zwei Perspektiven zusammen:

Kantische Selbstbegrenzung: Basierend auf Kants Kritik der reinen Vernunft betrachten die Autoren die „Kritik" als einen regelnden Rückkopplungsgate. Bevor ein Modell sich zu einer Antwort verpflichtet, sollte eine Richtlinie prüfen, ob die Bedingungen für eine gerechtfertigte Urteilsbildung erfüllt sind (z. B. ist die Frage beantwortbar? Ist die Antwort konzeptionell kohärent?). Dies trennt die Stabilität einer Verpflichtung von der Wahrheit dieser Verpflichtung.
Linear-Gaußsches Zustandsraummodell: Um die Trennung von Stabilität und Wahrheit zu formalisieren, verwenden die Autoren ein minimales lineares Regelungsmodell. Sie definieren einen geschlossenen Fehleroperator $\Phi = A - KH$ . Sie zeigen mathematisch, dass ein System eine begrenzte, stabile Fehlerdynamik aufweisen kann ( $\rho(\Phi) < 1$ ), während es sich auf einen falschen Zustand einpendelt. Dies dient als theoretisches Analogon für einen „falschen Fixpunkt".

Metriken und Sonden

Der Artikel führt spezifische Metriken ein, um diese Konzepte zu quantifizieren:

$H_{Risk}$ (Abstrakter Index): Ein theoretischer Index für lineare zeitinvariante (LTI) Systeme, bestehend aus vier Deskriptoren: Instabilitätsmarge, Konditionierung, integrierte Sensitivität und Innovationsverstärkung.
$H_{proxy}$ (LLM-Audit-Proxy): Ein operationeller, labelbewusster Score für retrospektive Domänenaudits. Er kombiniert:
- Policy-Variation ( $V_i$ ): Die Standardabweichung der selbstberichteten Konfidenz über verschiedene Policy-Bedingungen hinweg (erzwungene Antwort, vorsichtige Enthaltung, selbstkritisch).
- Überzuversichtlich-Falsche Masse ( $O_i$ ): Ein binäres Flag, das angibt, ob eine Baseline mit erzwungener Antwort eine hochkonfidente ( $\ge 0,8$ ) falsche Antwort produziert hat.
Interne Sensitivitäts-Sonde: Um die „Brüchigkeits"-Hypothese zu testen, messen die Autoren die Größe der Bewegung des verborgenen Zustands ( $S_\ell$ ) als Reaktion auf kleine Gaußsche Störungen in den Eingabe-Embeddings. Sie vergleichen Zuversichtlich-Richtige (CC) Items mit Überzuversichtlich-Falschen (OCW) Items.

Experimentelles Setup

Modelle: Drei Open-Weight-Instruktions-feingepolte Modelle: Llama-3.1-8B, DeepSeek-R1-Distill-Llama-8B und Qwen2.5-7B.
Daten: 532 kurze, ein-drehige binäre faktische Items über 11 thematische Domänen.
Policies:
- C0: Baseline mit erzwungener Antwort (muss Ja/Nein sagen).
- C1: Vorsichtige Urteilsbildung (erlaubt Enthaltung nur bei unter-spezifizierten Fragen).
- C2: Selbstkritische Urteilsbildung (ein-drehige risikobewusste Policy).
- C3-R: Eine strengere, nachgelagerte explizite Rückkopplungsschleife mit vorab deklarierten „Warrant-Blockern" (z. B. vage Daten, nicht verfügbare Informationen) und einem festen Schwellenwert für die Verpflichtung.

3. Wichtige Ergebnisse

A. Stabilität impliziert keine Brüchigkeit (Der falsche Fixpunkt)

Die zentrale empirische Erkenntnis widerspricht der Hypothese „falsch bedeutet brüchig".

Sensitivitätsanalyse: Beim Vergleich der Sensitivität des verborgenen Zustands ( $S_\ell$ $S_{ℓ}$ ) zwischen den CC- und OCW-Gruppen waren die Unterschiede vernachlässigbar.
- Llama-3.1: OCW war nur +2,2 % sensitiver als CC.
- Qwen2.5: OCW war nur +0,4 % sensitiver.
- DeepSeek-R1: +6,1 % (innerhalb der $\pm 10\%$ -Marge nicht eindeutig).
Fazit: Überzuversichtlich falsche Antworten sind nicht systematisch lokal brüchiger als zuversichtlich richtige. Die „falschen" Antworten sind oft genauso lokal inert wie die „richtigen", was die Existenz stabiler Fehlkalibrierung stützt.

B. Der Trade-off der Enthaltung

Die Einführung von Enthaltungs-bewussten Policies (C1, C2) reduziert überzuversichtige falsche Verpflichtungen, aber auf Kosten der Abdeckung.

Reduktion von OC-Falsch: C1 reduzierte hochkonfidente Fehler von 21,1 % (C0) auf 2,8 %; C2 reduzierte sie auf 6,4 %.
Kosten der Abdeckung: Diese Reduktion ging mit einem signifikanten Rückgang der Antwortrate einher (C1: 42,7 %, C2: 57,1 % gegenüber C0: 100 %).
Domänenabhängigkeit: Der Nutzen der Selbstkritik variierte je nach Domäne. Sie brachte den größten Gewinn in der medizinischen Epidemiologie und sozialen Statistik, bot jedoch keinen Vorteil (oder sogar negativen Nutzen) in technischen Standards sowie Literatur/Medien.

C. Der $H_{proxy}$ -Audit-Score

Der vorgeschlagene $H_{proxy}$ -Score identifizierte erfolgreich Domänen, in denen konfidenzbezogene Variation auf Policy-Ebene mit überzuversichtigen Fehlern zusammenfiel.

Er zeigte eine starke positive Rangkorrelation ( $\rho = 0,71$ ) mit dem Leistungsgewinn der selbstkritischen Policy (C2) gegenüber der Baseline (C0).
Während direkte labelbewusste Metriken (wie die Fehlerrate von C0) bessere reine Rangierer waren, ist $H_{proxy}$ dadurch besonders, dass er das Audit in Policy-Bewegung und falsche Masse zerlegt und einen interpretativen Wert dafür bietet, wo Interventionen anzuwenden sind.

D. Explizite Rückkopplungsgates (C3-R)

Der C3-R-Pilot, der strenge „Warrant-Blocker" vor einer Verpflichtung durchsetzte, unterdrückte erfolgreich überzuversichtige falsche Verpflichtungen (auf 1,5 %). Dies ging jedoch mit einem schweren Verlust an Abdeckung einher (Rückgang auf 13,4 % für den nutzungsoptimierten Schwellenwert) und brachte keinen klaren Verlustvorteil gegenüber dem einfacheren C2-Prompt. Dies legt nahe, dass Kantische Rückkopplungsgates zwar Sicherheit isolieren können, aber keine die Leistung verbessernde Policy in Isolation darstellen.

E. Modellspezifische epistemische Profile

Der Artikel beobachtet unterschiedliche Verhaltensweisen in Modellarchitekturen:

Qwen2.5: Zeigt trotz großer spektraler Normen und Aktivierungsgrößen eine sehr geringe lokale Sensitivität. Die Autoren vermuten, dass dies auf High-SNR-Inertia zurückzuführen ist: Große interne Zustände (normalisiert durch RMSNorm) komprimieren den relativen Einfluss von Störungen, wodurch die Trajektorie „inert" wird.
DeepSeek-R1: Zeigt eine höhere lokale Sensitivität und bescheidenere Aktivierungsnormen, was auf ein reaktiveres internes Regime hindeutet.

4. Behauptungen und Bedeutung

Der Artikel stellt drei primäre Behauptungen mit unterschiedlichem Grad an Evidenzstärke auf:

Konzeptionelle Rahmung (Stark): Stabilität und Wahrheitsverfolgung sind distinkte epistemische Dimensionen. Ein Modell kann lokal stabil und zuversichtlich falsch sein. Dies wird durch das lineare Regelungsmodell und die Analogie der kantischen Rückkopplung gestützt.
Negatives Brüchigkeits-Ergebnis (Stark): In den getesteten Regimen sind überzuversichtlich falsche Items nicht systematisch lokal brüchiger als zuversichtlich richtige. Die Erklärung „brüchige Berechnung" für hochkonfidente Halluzinationen wird durch Sensitivitäts-Sonden des verborgenen Zustands nicht gestützt.
Audit und Mechanismus (Moderat/Explorativ):
- $H_{proxy}$ ist ein nützliches retrospektives Audit-Werkzeug zur Identifizierung von Domänen, in denen Enthaltungspolicies am relevantesten sind.
- Stabile Fehlkalibrierung ist eine nützliche Kategorie für Audits, potenziell getrieben durch Mechanismen wie High-SNR-Inertia (Kompression von Störungen) oder Repräsentationskompression (wo wahrheitsrelevante Unterscheidungen in niederdimensionale semantische Regionen kollabieren).

Bedeutung:
Der Artikel argumentiert, dass Robustheit (Stabilität) nicht mit Wahrheit gleichgesetzt werden sollte. Aktuelle Zuverlässigkeitsmetriken konzentrieren sich oft darauf, ob eine Antwort konsistent oder unsicher ist; diese Arbeit hebt hervor, dass ein Modell zuversichtlich und stabil falsch sein kann. Die Autoren schlagen vor, dass zukünftige Sicherheitsforschung die Messung von epistemischer Stabilität (Robustheit gegenüber Störungen) von der Wahrheitsverfolgung trennen muss und dass „falsche Fixpunkte" einen spezifischen, stabilen Ausfallmodus darstellen, den einfache Selbstkorrektur oder Störungstests möglicherweise nicht erkennen.

Vom Artikel anerkannte Einschränkungen:

Das linear-Gaußsche Modell ist eine minimale Abstraktion, keine mechanistische Reduktion der Transformer-Dynamik.
Die LLM-Studie ist auf einen kleinen, binären faktischen Auditsatz und spezifische Open-Weight-Modelle beschränkt.
$H_{proxy}$ ist ein retrospektiver Audit-Score, kein Unsicherheitsschätzer zur Einsatzzeit.
Repräsentationskompression und High-SNR-Inertia sind vorgeschlagene Mechanismen, die weitere geometrische Diagnosen (z. B. effektiver Rang, Anisotropie) erfordern, um empirisch etabliert zu werden.