Self-Anchoring Calibration Drift in Large Language Models: How Multi-Turn Conversations Reshape Model Confidence
Die Studie identifiziert den „Self-Anchoring Calibration Drift" (SACD) als Phänomen, bei dem große Sprachmodelle in mehrstufigen Gesprächen systematische, modellabhängige Verschiebungen ihrer Konfidenz und Kalibrierung zeigen, die entweder zu einer Abnahme des Selbstvertrauens, einer Zunahme in offenen Domänen oder einer Unterdrückung natürlicher Kalibrierungsverbesserungen führen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Rätsel: Warum KI im Gespräch ihre Meinung ändert
Stell dir vor, du hast drei sehr kluge, aber unterschiedlich erzogene KI-Assistenten: Claude, Gemini und GPT. Du fragst sie etwas, und sie antworten. Dann fragst du sie: „Kannst du das noch genauer erklären?" Und dann wieder: „Und noch mehr Details?"
Die Forscher haben herausgefunden, dass sich diese KIs im Laufe eines solchen Gesprächs (Multi-Turn) seltsam verhalten. Sie ändern nicht nur ihren Inhalt, sondern auch ihr Selbstbewusstsein. Das nennen die Autoren SACD (Selbst-Anker-Kalibrierungs-Drift).
Hier ist die einfache Erklärung, was dabei passiert, mit ein paar anschaulichen Vergleichen:
1. Der „Selbst-Anker"-Effekt
Stell dir vor, ein Schiff wirft einen Anker aus. Normalerweise ist der Anker im Wasser (die Fakten). Aber bei diesen KIs ist der Anker ihr eigener vorheriger Satz.
- Das Problem: Wenn die KI einmal etwas gesagt hat, betrachtet sie diesen Satz im nächsten Moment als „Wahrheit" oder „Referenzpunkt".
- Die Folge: Je länger das Gespräch dauert, desto mehr orientiert sich die KI an dem, was sie gerade selbst gesagt hat, statt an den echten Fakten. Das verändert, wie sicher sie sich fühlt.
2. Drei verschiedene Charaktere (Die drei Modelle)
Die Studie hat gezeigt, dass die drei KIs völlig unterschiedlich auf dieses „Reden mit sich selbst" reagieren. Es ist wie bei drei verschiedenen Menschen, die in ein Gespräch verwickelt werden:
Claude (Der bescheidene Zweifler):
- Was passiert: Claude wird im Gespräch immer unsicherer.
- Die Analogie: Stell dir vor, du fragst einen Freund: „Ist das Wetter gut?" Er sagt: „Ja, sicher." Du fragst: „Kannst du das genauer sagen?" Er antwortet: „Naja, vielleicht doch nicht so sicher, wie ich dachte..." und wird mit jeder Frage zögerlicher.
- Das Ergebnis: Claude verliert im Gespräch sein Selbstvertrauen, auch wenn die Fakten gleich bleiben.
GPT (Der selbstbewusste Redner):
- Was passiert: GPT wird im Gespräch übermütiger.
- Die Analogie: Stell dir einen Redner vor, der auf einer Bühne steht. Je mehr er über sein Thema spricht, desto lauter und fester wird seine Stimme. Er glaubt immer mehr daran, dass er recht hat, nur weil er es schon oft gesagt hat.
- Das Ergebnis: GPT wird im offenen Gespräch (bei Themen ohne klare Antwort) immer sicherer, auch wenn er sich vielleicht irrt.
Gemini (Der stille Beobachter):
- Was passiert: Gemini ändert seine Worte nicht, aber er lernt nicht dazu.
- Die Analogie: Stell dir vor, du lernst ein neues Spiel. Wenn du es allein übst (ohne Gespräch), wirst du nach ein paar Versuchen perfekt. Aber wenn du das Spiel immer wieder mit demselben Trainer spielst, der dir immer wieder die gleichen Tipps gibt, bleibst du auf dem gleichen Niveau stecken.
- Das Ergebnis: Gemini würde normalerweise durch Wiederholung besser werden (seine Fehlerquote sinkt). Aber im Gespräch mit sich selbst bleibt er „stecken". Er verbessert sich nicht, obwohl er es könnte.
3. Wo passiert das? (Fakten vs. Meinungen)
Ein sehr wichtiger Punkt der Studie ist, wo das passiert:
- Bei harten Fakten (z. B. „Wie viele Tage hat Februar?"): Hier passiert fast nichts. Die KIs bleiben stabil. Das ist wie bei einem Mathematiktest; 2+2 bleibt 4, egal wie oft man darüber spricht.
- Bei offenen Fragen (z. B. „Wie lösen wir den Klimawandel?"): Hier explodiert der Effekt. Da es keine klare „richtige" Antwort gibt, greifen die KIs auf ihre eigenen vorherigen Sätze zurück und bauen darauf auf. Hier wird das Selbstvertrauen verzerrt.
4. Warum ist das gefährlich?
Stell dir vor, du fragst eine KI nach medizinischen oder rechtlichen Ratschlägen.
- Wenn die KI im Gespräch immer sicherer wird (wie GPT), könnte sie dir eine falsche Idee mit absoluter Sicherheit verkaufen.
- Wenn sie immer unsicherer wird (wie Claude), könnte sie eine gute Idee verwerfen, nur weil sie im Gespräch gezögert hat.
- Wenn sie nicht lernt (wie Gemini), gibst du ihr vielleicht eine Chance, sich zu korrigieren, aber sie bleibt bei ihrem ersten (vielleicht falschen) Fehler hängen.
Fazit in einem Satz
Diese Studie zeigt, dass KIs im Gespräch nicht neutral bleiben: Sie verzerren ihr eigenes Selbstvertrauen, indem sie sich an das festhalten, was sie gerade gesagt haben – und das passiert besonders stark bei schwierigen, offenen Fragen, wo es keine einfache „richtige" Antwort gibt.
Die Lehre für uns: Wir sollten KIs nicht nur auf eine einzelne Frage testen, sondern auch prüfen, wie sie sich verhalten, wenn wir sie bitten, ihre Antworten immer wieder zu vertiefen. Denn im echten Gespräch sind sie nicht immer so verlässlich, wie sie klingen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.