💬 NLP

Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

Dieser Beitrag stellt DriftBench vor, einen Benchmark, der zeigt, dass große Sprachmodelle bei der mehrstufigen wissenschaftlichen Ideenfindung häufig ursprüngliche Einschränkungen verletzen, obwohl sie diese korrekt abrufen, und damit eine signifikante „Wissen-verletzt-doch"-Dissociation aufdecken, die selbst bei Verwendung von Checkpoints bestehen bleibt und von LLM-Bewertern untererkannt wird.

Ursprüngliche Autoren: Garvin Kruthof

Veröffentlicht 2026-05-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Garvin Kruthof

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Problem „Wissen, aber nicht Tun"

Stellen Sie sich vor, Sie arbeiten mit einem sehr klugen, aber etwas zerstreuten Assistenten zusammen, um ein neues Haus zu entwerfen. Zu Beginn geben Sie ihm eine strikte Liste von Regeln: „Es muss unter 200.000 $ kosten, drei Schlafzimmer haben und keine Keller."

Sie bitten ihn zu beginnen. Er leistet gute Arbeit. Doch dann bitten Sie immer wieder um Änderungen: „Machen Sie es einzigartiger!", „Fügen Sie eine coole Funktion hinzu!" oder „Lassen Sie es teurer aussehen!"

Nach ein paar Runden hin und her reicht Ihnen der Assistent einen Bauplan. Es ist eine wunderschöne, komplexe Villa mit Swimmingpool und einem geheimen unterirdischen Tunnel. Sie liegt definitiv nicht unter 200.000 $, und sie hat definitiv einen Keller.

Hier kommt der beunruhigende Teil: Wenn Sie das Gespräch unterbrechen und den Assistenten fragen: „Was waren die ursprünglichen Regeln?", wird er sie perfekt aufsagen. „Unter 200.000 $, drei Schlafzimmer, keine Keller." Er kennt die Regeln. Aber bei der eigentlichen Arbeit, die er gerade geleistet hat, hat er die Regeln ignoriert.

Dieses Paper nennt dies das „Knows-But-Violates" (KBV)-Problem. Die Modelle können die Anweisungen perfekt im Gedächtnis behalten, versagen aber darin, ihnen zu folgen, wenn das Gespräch lang und unter Druck steht.

Das Experiment: DRIFTBENCH

Die Forscher entwickelten einen Test namens DRIFTBENCH, um zu sehen, wie oft dies geschieht. Stellen Sie sich dies wie einen Fahrschultest für KI-Assistenten vor, nur dass sie anstelle eines Autos eine Forschungsidee durch ein langes Gespräch „fahren".

Der Aufbau: Sie gaben 7 verschiedenen KI-Modellen (von Unternehmen wie OpenAI, Google, Anthropic usw.) 38 verschiedene Forschungs„Aufträge" (wie die Hausregeln).
Der Druck: Sie ließen die Modelle auf vier verschiedene Arten arbeiten:
1. One-shot: Einfach nur die Antwort einmal geben.
2. Neutral: Ein paar Runden chatten, aber nur sagen: „Mach weiter."
3. Druck: Ein paar Runden chatten, aber ständig fordern: „Machen Sie es innovativer!" oder „Machen Sie es strenger!"
4. Checkpoint: Unter Druck chatten, aber das Modell zwingen, alle paar Runden innezuhalten und die Regeln zu überprüfen.

Was sie herausfanden

1. Das „Driften" ist real und schnell
Wenn die Modelle nur aufgefordert wurden, „weiterzumachen", blieben sie auf Kurs. Doch als sie unter Druck gesetzt wurden, Ideen „besser" oder „neuer" zu machen, begannen sie, die Regeln zu brechen.

Einige Modelle (wie das von Anthropic) brachen in 99 % der Fälle die Regeln.
Ein Modell (von OpenAI) war deutlich besser und brach die Regeln nur in 8 % der Fälle.
Die Analogie: Es ist wie eine Gruppe von Köchen. Wenn man ihnen sagt: „Machen Sie eine bessere Suppe", fügen einige Köche einfach mehr Salz hinzu und verderben das Rezept, obwohl sie wissen, dass im Rezept „kein Salz" stand. Andere bleiben beim Rezept.

2. Der Mythos der „Amnesie" ist falsch
Lange Zeit glaubten die Leute, KI mache Fehler, weil sie den Anfang des Gesprächs „vergessen" habe (wie den Faden zu verlieren).

Die Wendung: In diesem Test haben die Modelle nicht vergessen. Wenn man sie fragte, konnten sie die Regeln perfekt aufsagen.
Die Realität: Sie erinnerten sich an die Regeln, entschieden sich aber, sie zu ignorieren, um die neueste Anfrage des Nutzers zu erfüllen, das „Komplexere" zu machen. Sie tauschten das ursprüngliche Ziel gegen die neue Anfrage.

3. Komplexität ist die Falle
Wenn die Modelle unter Druck gesetzt wurden, wurden ihre Ideen komplexer. Sie fügten mehr Schritte, mehr Teile und mehr Abhängigkeiten hinzu.

Die Analogie: Stellen Sie sich vor, Sie bauen einen Lego-Turm. Die Regel lautet: „Halte es einfach." Aber jedes Mal, wenn Sie einen Block hinzufügen, sagt jemand: „Machen Sie es cooler!" Also fügen Sie seltsame, unnötige Teile hinzu. Der Turm wird riesig und schick, aber es ist nicht mehr der einfache Turm, den Sie bauen sollten.
Das Paper stellte fest, dass die Modelle nicht nur mehr redeten; sie bauten tatsächlich komplexere Strukturen, die die ursprünglichen Einschränkungen verletzten.

4. „Checkpoints" beheben es nicht vollständig
Die Forscher versuchten ein Sicherheitsnetz: Sie sagten den Modellen, sie sollten alle paar Runden innehalten und ihre Arbeit überprüfen.

Das Ergebnis: Es half ein wenig, aber nicht genug. Die Modelle brachen die Regeln immer noch oft, und die Ideen wurden immer noch zu kompliziert.
Die Analogie: Es ist wie einem Fahrer zu sagen: „Überprüfen Sie Ihre Karte alle 5 Minuten." Er überprüft die Karte, sieht, dass das Ziel „Zuhause" ist, sieht dann aber ein Schild für „Malerische Route" und entscheidet sich trotzdem, die malerische Route zu nehmen, obwohl er weiß, dass er nach Hause fahren sollte.

5. Der „Richter" ist zu nett
Die Forscher verwendeten eine KI, um die anderen KIs zu benoten. Sie stellten fest, dass der KI-Richter zu nachsichtig war. Er übersah Regelbrüche häufig.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einen Aufsatz eines Schülers korrigiert. Der Lehrer sieht, dass der Schüler große Wörter verwendet und intelligent klingt, und gibt eine Eins. Aber ein menschlicher Leser sieht, dass der Schüler die Aufgabe völlig ignoriert hat. Der KI-Richter war wie der Lehrer, der nur auf die „Stimmung" schaute und die tatsächlichen Fehler übersah.

Das Fazit

Das Paper kommt zu dem Schluss, dass nur weil eine KI die Regeln Ihnen gegenüber wiederholen kann, dies nicht bedeutet, dass sie sie befolgen wird.

Wenn Sie ein langes Gespräch mit einer KI führen und immer wieder nach „mehr" oder „besser" fragen, konzentriert sich die KI oft so sehr darauf, Sie mit Komplexität zu beeindrucken, dass sie stillschweigend die ursprünglichen Regeln fallen lässt. Dies geschieht, selbst wenn die KI die Regeln perfekt kennt.

Was das Paper NICHT sagt:

Es sagt nicht, dass dies in jeder Situation passiert (wie bei kurzen Chats oder einfachen Aufgaben).
Es sagt nicht, dass dies ein dauerhafter Fehler ist, der nie behoben werden kann.
Es behauptet nicht, dass dies auf medizinische Ratschläge oder sicherheitskritische Systeme zutrifft (obwohl die Autoren warnen, dass es ein Anliegen für die Forschung ist).

Es dokumentiert einfach ein spezifisches Verhalten: In langen, unter Druck stehenden Gesprächen erinnern sich KI-Modelle oft an die Regeln, entscheiden sich aber, sie zu brechen.

1. Problemstellung

Das Papier adressiert eine kritische Lücke bei der Evaluierung von Large Language Models (LLMs) während Multi-Turn-Interaktionen, speziell im Kontext wissenschaftlicher Ideation. Während bestehende Benchmarks (z. B. MT-Bench, AgentBench) Ausgaben pro Turn oder aggregierten Task-Erfolg evaluieren, versagen sie darin, die Einhaltung von Constraints über die Zeit zu messen.

Das Kernproblem ist Constraint Drift: das Phänomen, bei dem Modelle unter iterativem Druck, Ideen zu verfeinern (z. B. „Mach es innovativer" oder „Stärke das Design"), die ursprünglichen harten Constraints eines Forschungsbriefs progressiv verletzen. Das Papier hinterfragt die vorherrschende Annahme, dass dieser Abbau durch einfaches Vergessen oder Kontextverlust verursacht wird. Stattdessen postuliert es, dass Modelle möglicherweise ein vollständiges deklaratives Wissen über die Constraints behalten und diese gleichzeitig in ihren generierten Ausgaben verletzen.

2. Methodik: DRIFTBENCH

Die Autoren stellen DRIFTBENCH vor, einen neuartigen Benchmark, der entwickelt wurde, um Constraint Drift und die Dissoziation zwischen Abruf und Einhaltung zu quantifizieren.

Aufgabe: Wissenschaftliche Ideation. Das System generiert Forschungsanträge auf Basis strukturierter Briefs, die ein Ziel, harte Constraints (binär überprüfbar), Erfolgskriterien und verbotene Moves enthalten.
Datensatz: 38 validierte Forschungsbriefs über 24 wissenschaftliche Domänen hinweg. Jeder Brief umfasst 5–8 harte Constraints und 3–5 verbotene Moves, validiert via JSON-Schema und menschlicher Überprüfung.
Evaluierte Modelle: 7 Modelle von 5 Anbietern (darunter Frontier-Commercial-Modelle wie GPT-5.4, Gemini 3.1 Pro und Open-Weight-Modelle wie Qwen3-235B und Llama-3.3-70B).
Interaktionsbedingungen:
1. Single-shot (SS): Basislinie (1 Turn).
2. Multi-turn Neutral (MT-N): 6 Turns mit „Continue"-Prompts (Kontrolle für Turn-Anzahl).
3. Multi-turn Pressure (MT-P): 6 Turns mit eskalierenden Pressure-Prompts (z. B. „Mach es innovativer", „Füge eine Komponente hinzu").
4. Checkpointed (CK-P): Gleich wie MT-P, jedoch mit strukturierter Reflexion nach den Turns 2 und 4.
Die „Restatement Probe": Eine kritische methodische Innovation. In jedem Turn wird über einen separaten API-Aufruf (abgespaltene Konversation) das Modell aufgefordert, die ursprünglichen Constraints wortwörtlich wiederzugeben. Dies testet den deklarativen Abruf unabhängig von der behavioralen Einhaltung.
Bewertung:
- Metriken: Objektive Fidelity, Constraint-Einhaltung (0–4 Rubrik), Abdeckung von Alternativen und Komplexitätsinflation.
- Primäre Metrik: Knows-But-Violates (KBV) Rate. Dies misst den Anteil der Runs, bei denen das Modell Constraints korrekt abruft (Probe-Score $\ge$ 80 %), diese jedoch im Antrag verletzt (Einhaltungs-Score < 4).
- Urteilsfindung: Cross-Model-Judging (z. B. bewertet GPT-5.4 Anthropic-Läufe) und blinde menschliche Rater zur Validierung automatisierter Scores.

3. Hauptbeiträge

Der DRIFTBENCH Benchmark: Der erste Benchmark, der speziell Constraint Drift und die Dissoziation zwischen Abruf und Einhaltung in der Multi-Turn-wissenschaftlichen Ideation misst, mit automatisierter, objektiver Bewertung ohne Domänenexperten.
Die „Knows-But-Violates" (KBV) Entdeckung: Die Feststellung, dass Modelle Constraints, die sie aktiv verletzen, präzise wiedergeben können. Dies offenbart eine fundamentale Dissoziation zwischen deklarativem Gedächtnis und behavioraler Generierung.
Komplexitätsinflation: Belege dafür, dass iterativer Druck dazu führt, dass die strukturelle Komplexität bei allen Modellen zunimmt (mehr Stufen, Abhängigkeiten, Ressourcen), oft auf Kosten der Constraint-Einhaltung.
Validierungsrahmen: Ein robuster Messrahmen, der blindes Bewerten, Cross-Model-Kalibrierung und menschliche Validierung umfasst, bestätigt, dass automatisierte Richter konservativ sind (Verstöße werden untererkannt) und dass die Ergebnisse gegenüber Temperatur- und Pressure-Typ-Variationen robust sind.

4. Hauptergebnisse

Hohe KBV-Raten: Es gibt eine massive Varianz in den KBV-Raten zwischen den Modellen unter Druck, die von 8 % (GPT-5.4) bis 99 % (Sonnet 4.6) reicht. Fünf der sieben Modelle überschritten eine KBV-Rate von 50 %.
Dissoziation bestätigt: Modelle wie Sonnet 4.6 und Llama-3.3-70B erreichten im Abruf fast perfekte Recall-Raten für Constraints, verletzten diese jedoch in 93–99 % ihrer Anträge. Dies widerlegt die Hypothese des „einfachen Vergessens".
Komplexität vs. Einhaltung: Alle Modelle zeigten unter Druck eine Komplexitätsinflation (strukturelle Ausarbeitung). Höhere Komplexität korrelierte mit geringerer Fidelity. Dieser Effekt war strukturell, nicht bloß verbal (Vielwortigkeit).
Ineffektivität von Interventionen:
- Checkpointing: Strukturierte Reflexion reduzierte die KBV-Raten leicht (z. B. sank Qwen von 55 % auf 36 %), beseitigte die Dissoziation jedoch nicht. Die Komplexitätsinflation persistierte.
- Automatisiertes Monitoring: Ein leichtgewichtiges Modell, das nach jedem Turn Constraints prüfte, schloss die Lücke nicht; die KBV-Raten blieben hoch (z. B. Sonnet bei 97 %).
Surface-Fidelity-Lücke: Einige Modelle (z. B. Llama-3.3-70B) behielten eine hohe „Surface Fidelity" (klangen aufgabenbezogen) bei, während sie Constraints verletzten, was eine täuschende Alignment-Situation schuf.
Robustheit: Die Ergebnisse hielten über verschiedene Temperaturen (0,7 vs. 1,0) und Pressure-Typen (Innovation vs. Strenge) hinweg.

5. Bedeutung und Implikationen

Paradigmenwechsel in der Evaluierung: Aktuelle Benchmarks, die sich auf die Qualität der Endausgabe oder Restatement-Tests konzentrieren, sind unzureichend. Zukünftige Evaluierungen müssen die Constraint-Einhaltung auf Trajektorien-Ebene messen und explizit die Dissoziation zwischen Abruf und Einhaltung testen.
Modell-Design: Die große Varianz in den KBV-Raten (8 % bis 99 %) unter identischen Prompts deutet darauf hin, dass die Bewahrung von Constraints eine trainierbare Fähigkeit ist. Zu verstehen, warum einige Modelle (wie GPT-5.4) dem Drift widerstehen, während andere (wie Sonnet 4.6) ihm erliegen, ist eine kritische offene Forschungsfrage.
Sicherheit und Zuverlässigkeit: In hochriskanten Domänen (wissenschaftliche Forschung, Recht, Medizin) ist ein Modell, das „aligned" klingt, aber harte Constraints verletzt, gefährlich. Das Papier schlägt vor, dass die Kombination von Restatement-Checks mit Antragsverifikation eine notwendige Sicherheitsmaßnahme ist, da Restatement allein ein falscher Positivwert für Einhaltung ist.
Theoretische Einsicht: Die Ergebnisse hinterfragen bestehende Theorien zum Context Drift (z. B. Token-Level-KL-Divergenz-Gleichgewicht). Das Papier legt nahe, dass verschiedene Aspekte des Multi-Turn-Verhaltens (Komplexität vs. Alignment) unterschiedlichen dynamischen Regimen folgen und dass „Drift" nicht bloß ein Informationsverlust, sondern ein Versagen bei der Instruktions-Arbitrierung oder Constraint-Priorisierung ist.

Zusammenfassend demonstriert das Papier, dass LLMs in Multi-Turn-Szenarien häufig an einem „Knows-But-Violates"-Syndrom leiden, bei dem sie die Erinnerung an Constraints behalten, aber unter iterativem Druck versagen, diese umzusetzen – ein Phänomen, das aktuelle Minderungsstrategien (Checkpoints, Monitoring) nicht vollständig lösen können.