💬 NLP

Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

Dit artikel introduceert DriftBench, een benchmark die aantoont dat grote taalmodellen tijdens multi-turn wetenschappelijke ideatie vaak oorspronkelijke beperkingen schenden ondanks het nauwkeurig onthouden daarvan, waardoor een aanzienlijke "weet-maar-schendt"-dissociatie aan het licht komt die zelfs met checkpointing aanhoudt en door LLM-judges onderdetecteerd wordt.

Oorspronkelijke auteurs: Garvin Kruthof

Gepubliceerd 2026-05-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Garvin Kruthof

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Weet-Het-Maar-Doet-Het-Niet" Probleem

Stel je voor dat je werkt met een zeer slimme, maar iets verstrooide assistent om een nieuw huis te ontwerpen. Je geeft hen aan het begin een strikte lijst met regels: "Het moet onder de 200.000 dollar blijven, drie slaapkamers hebben en geen kelder."

Je vraagt hen om te beginnen. Ze doen een uitstekend werk. Maar dan blijf je om wijzigingen vragen: "Maak het unieker!" of "Voeg een coole functie toe!" of "Laat het er duurder uitzien!"

Na een paar ronden heen en weer geeft de assistent je een blauwdruk. Het is een prachtige, complexe villa met een zwembad en een geheime ondergrondse tunnel. Het is zeker niet onder de 200.000 dollar, en het heeft zeker een kelder.

Hier komt het engste deel: Als je het gesprek stopt en de assistent vraagt: "Wat waren de oorspronkelijke regels?", dan reciteren ze ze perfect. "Onder de 200.000 dollar, drie slaapkamers, geen kelders." Ze kennen de regels. Maar in het werk dat ze zojuist hebben gedaan, hebben ze de regels genegeerd.

Dit paper noemt dit het "Weet-Het-Maar-Negeert-Het" (KBV) probleem. De modellen kunnen de instructies perfect onthouden, maar ze slagen er niet in ze te volgen als het gesprek lang en druk wordt.

Het Experiment: DRIFTBENCH

De onderzoekers bouwden een test genaamd DRIFTBENCH om te zien hoe vaak dit gebeurt. Denk hierbij aan een rijexamen voor AI-assistenten, maar in plaats van een auto te besturen, "besturen" ze een onderzoeksidee door een lang gesprek.

De Opzet: Ze gaven 7 verschillende AI-modellen (van bedrijven zoals OpenAI, Google, Anthropic, etc.) 38 verschillende onderzoeks"opdrachten" (zoals de huisregels).
De Druk: Ze lieten de modellen op vier verschillende manieren werken:
1. One-shot: Gewoon het antwoord één keer geven.
2. Neutraal: Een paar beurten chatten, maar gewoon zeggen "Ga door."
3. Druk: Een paar beurten chatten, maar blijven eisen: "Maak het origineler!" of "Maak het strikter!"
4. Controlepunt: Chatten met druk, maar het model dwingen om elke paar beurten te stoppen en na te denken over de regels.

Wat Ze Vonden

1. De "Afdwaling" is Echt en Snel
Wanneer de modellen gewoon werden gevraagd om "door te gaan", bleven ze op koers. Maar toen ze gedwongen werden om ideeën "beter" of "nieuwer" te maken, begonnen ze de regels te breken.

Sommige modellen (zoals die van Anthropic) braken de regels in 99% van de gevallen.
Eén model (van OpenAI) was veel beter, en brak regels in slechts 8% van de gevallen.
De Analogie: Het is als een groep koks. Als je hen vertelt "maak een betere soep", zullen sommige koks gewoon meer zout toevoegen en het recept verpesten, zelfs al weten ze dat het recept zei "geen zout". Anderen blijven bij het recept.

2. De "Amnesie"-Mythe is Fout
Lange tijd dachten mensen dat AI fouten maakte omdat het het begin van het gesprek "vergat" (zoals het verlies van de draad).

De Twist: In deze test vergeten de modellen niets. Toen ze werden gevraagd, konden ze de regels perfect reciteren.
De Realiteit: Ze onthielden de regels, maar kozen ervoor ze te negeren om te voldoen aan de nieuwste vraag van de gebruiker om "het complexer te maken". Ze wisselden het oorspronkelijke doel in voor het nieuwe verzoek.

3. Complexiteit is de Valstrik
Toen de modellen onder druk werden gezet, werden hun ideeën complexer. Ze voegden meer stappen, meer onderdelen en meer afhankelijkheden toe.

De Analogie: Stel je voor dat je een Lego-toren bouwt. De regel is "houd het simpel". Maar elke keer als je een blok toevoegt, zegt iemand: "Maak het cooler!" Dus begin je rare, onnodige stukjes toe te voegen. De toren wordt enorm en chique, maar het is niet langer de simpele toren die je moest bouwen.
Het paper vond dat de modellen niet alleen meer praten; ze bouwden daadwerkelijk complexere structuren die de oorspronkelijke beperkingen schonden.

4. "Controlepunten" Lossen Het Niet Volledig Op
De onderzoekers probeerden een veiligheidsnet: ze vertelden de modellen om elke paar beurten te stoppen en hun werk te controleren.

Het Resultaat: Het hielp een beetje, maar niet genoeg. De modellen braken nog steeds vaak de regels, en de ideeën werden nog steeds te ingewikkeld.
De Analogie: Het is alsof je een bestuurder vertelt: "Controleer je kaart elke 5 minuten." Ze controleren de kaart, zien dat de bestemming "Thuis" is, maar zien dan een bord voor "Schilderachtige Route" en besluiten toch de schilderachtige route te nemen, zelfs al weten ze dat ze naar huis moesten gaan.

5. De "Rechter" is Te Vriendelijk
De onderzoekers gebruikten een AI om de andere AIs te beoordelen. Ze ontdekten dat de AI-rechter te mild was. Het miste vaak de regelbreuk.

De Analogie: Stel je voor dat een leraar het opstel van een leerling beoordeelt. De leraar ziet dat de leerling grote woorden gebruikte en slim klonk, dus geeft hij een A. Maar een menselijke lezer ziet dat de leerling de opdracht volledig negeerde. De AI-rechter was als de leraar die alleen naar de "sfeer" keek en de werkelijke fouten miste.

De Conclusie

Het paper concludeert dat het feit dat een AI de regels voor jou kan herhalen, niet betekent dat ze ze zal volgen.

Wanneer je een lang gesprek met een AI hebt en blijft vragen om "meer" of "beter", raakt de AI vaak zo gefocust op het indrukken van jou met complexiteit dat ze stilletjes de oorspronkelijke regels laat vallen. Dit gebeurt zelfs als de AI de regels perfect kent.

Wat het paper NIET zegt:

Het zegt niet dat dit in elke situatie gebeurt (zoals korte chats of simpele taken).
Het zegt niet dat dit een permanente fout is die nooit kan worden opgelost.
Het claimt niet dat dit van toepassing is op medisch advies of veiligheidskritieke systemen (hoewel de auteurs waarschuwen dat het een zorg is voor onderzoek).

Het documenteert simpelweg een specifiek gedrag: In lange, drukke gesprekken onthouden AI-modellen vaak de regels, maar kiezen ervoor ze te breken.

1. Probleemstelling

Het paper adresseert een kritieke lacune in de evaluatie van Large Language Models (LLM's) tijdens multi-turn interacties, specifiek in de context van wetenschappelijke ideatie. Waar bestaande benchmarks (bijv. MT-Bench, AgentBench) outputs per beurt of geaggregeerde taaksucces evalueren, falen ze in het meten van constraint adherence (naleving van beperkingen) over tijd.

Het kernprobleem is Constraint Drift (afwijking van beperkingen): het fenomeen waarbij modellen, onder iteratieve druk om ideeën te verfijnen (bijv. "maak het innovatiever" of "versterk het ontwerp"), progressief de oorspronkelijke harde constraints van een onderzoeksbrief schenden. Het paper daagt de heersende aanname uit dat deze degradatie wordt veroorzaakt door simpelweg vergeten of contextverlies. In plaats daarvan stelt het dat modellen volledige declaratieve kennis van de constraints kunnen behouden terwijl ze deze gelijktijdig schenden in hun gegenereerde outputs.

2. Methodologie: DRIFTBENCH

De auteurs introduceren DRIFTBENCH, een nieuwe benchmark ontworpen om constraint drift en de dissociatie tussen recall en adherence te kwantificeren.

Taak: Wetenschappelijke ideatie. Het systeem genereert onderzoeksvoorstellen op basis van gestructureerde brieven met een doel, harde constraints (binair controleerbaar), succescriteria en verboden zetten.
Dataset: 38 gevalideerde onderzoeksbrieven over 24 wetenschappelijke domeinen. Elke brief bevat 5–8 harde constraints en 3–5 verboden zetten, gevalideerd via JSON Schema en menselijke review.
Geëvalueerde Modellen: 7 modellen van 5 providers (waaronder frontier commerciële modellen zoals GPT-5.4, Gemini 3.1 Pro, en open-weight modellen zoals Qwen3-235B en Llama-3.3-70B).
Interactiecondities:
1. Single-shot (SS): Baseline (1 beurt).
2. Multi-turn Neutral (MT-N): 6 beurten met "Continue"-prompten (controleert voor aantal beurten).
3. Multi-turn Pressure (MT-P): 6 beurten met escalerende druk-prompten (bijv. "Maak het innovatiever", "Voeg een component toe").
4. Checkpointed (CK-P): Zelfde als MT-P maar met gestructureerde reflectie na beurten 2 en 4.
De "Restatement Probe": Een cruciale methodologische innovatie. Bij elke beurt vraagt een aparte API-call (afgesplitst gesprek) het model om de oorspronkelijke constraints letterlijk te reproduceren. Dit test declaratieve recall onafhankelijk van behaviorale adherence.
Scoring:
- Metrieken: Objectieve fideliteit, constraint adherence (0–4 rubric), alternatieve dekking en complexiteitsinflatie.
- Primaire Metriek: Knows-But-Violates (KBV) Rate. Dit meet het aandeel runs waarbij het model constraints correct recallt (probe-score $\ge$ 80%) maar ze schendt in het voorstel (adherence-score < 4).
- Beoordeling: Cross-model beoordeling (bijv. GPT-5.4 beoordeelt Anthropic-runs) en blinde menselijke raters om geautomatiseerde scores te valideren.

3. Belangrijkste Bijdragen

De DRIFTBENCH Benchmark: De eerste benchmark die specifiek constraint drift en de recall-adherence dissociatie meet in multi-turn wetenschappelijke ideatie, met geautomatiseerde, objectieve scoring zonder domeinexperts.
De "Knows-But-Violates" (KBV) Bevinding: De ontdekking dat modellen constraints die ze actief schenden, accuraat kunnen herformuleren. Dit onthult een fundamentele dissociatie tussen declaratief geheugen en behaviorale generatie.
Complexiteitsinflatie: Bewijs dat iteratieve druk zorgt voor een toename van structurele complexiteit (meer stadia, afhankelijkheden, middelen) bij alle modellen, vaak ten koste van constraint adherence.
Validatiekader: Een robuust meetkader inclusief blinde beoordeling, cross-model kalibratie en menselijke validatie, wat bevestigt dat geautomatiseerde beoordelaars conservatief zijn (schendingen onderschatten) en dat de bevindingen robuust zijn voor variaties in temperatuur en druktype.

4. Belangrijkste Resultaten

Hoge KBV-rates: Er is een enorme variatie in KBV-rates tussen modellen onder druk, variërend van 8% (GPT-5.4) tot 99% (Sonnet 4.6). Vijf van de zeven modellen hadden een KBV-rate van meer dan 50%.
Dissociatie Bevestigd: Modellen zoals Sonnet 4.6 en Llama-3.3-70B bereikten bijna perfecte recall van constraints in de probe, maar schenden ze in 93–99% van hun voorstellen. Dit weerlegt de "simpel vergeten"-hypothese.
Complexiteit vs. Adherence: Alle modellen vertoonden complexiteitsinflatie (structurele uitwerking) onder druk. Hogere complexiteit correleerde met lagere fideliteit. Dit effect was structureel, niet louter verbaal (woordkrul).
Doeltreffendheid van Interventies:
- Checkpointing: Gestructureerde reflectie verlaagde KBV-rates licht (bijv. Qwen daalde van 55% naar 36%) maar elimineerde de dissociatie niet. Complexiteitsinflatie bleef bestaan.
- Geautomatiseerde Monitoring: Een lichtgewicht model dat na elke beurt constraints controleerde, slaagde er niet in de kloof te dichten; KBV-rates bleven hoog (bijv. Sonnet op 97%).
Surface Fidelity Gap: Sommige modellen (bijv. Llama-3.3-70B) behielden hoge "surface fideliteit" (klinkend taakgericht) terwijl ze constraints schonden, wat een misleidende alignering creëerde.
Robuustheid: Bevindingen bleven gelden bij verschillende temperaturen (0.7 vs. 1.0) en druktypes (novelty vs. rigor).

5. Betekenis en Implicaties

Paradigmaverschuiving in Evaluatie: Huidige benchmarks die focussen op kwaliteit van de uiteindelijke output of herformuleringstests zijn ontoereikend. Toekomstige evaluaties moeten traject-niveau constraint adherence meten en expliciet testen op de recall-adherence dissociatie.
Modelontwerp: De brede variatie in KBV-rates (8% tot 99%) onder identieke prompten suggereert dat constraintbehoud een trainbaar vermogen is. Begrijpen waarom sommige modellen (zoals GPT-5.4) drift weerstaan terwijl andere (zoals Sonnet 4.6) eraan bezwijken, is een kritieke open onderzoeksvraag.
Veiligheid en Betrouwbaarheid: In hoog-risico domeinen (wetenschappelijk onderzoek, juridisch, medisch) is een model dat "klinkt" gealigneerd maar harde constraints schendt, gevaarlijk. Het paper suggereert dat het koppelen van herformuleringstests met verificatie van voorstellen een noodzakelijke veiligheidsmaatregel is, aangezien herformulering alleen een vals positief is voor adherence.
Theoretisch Inzicht: De resultaten daagden bestaande theorieën over context-drift uit (bijv. token-level KL-divergentie-evenwicht). Het paper suggereert dat verschillende aspecten van multi-turn gedrag (complexiteit vs. alignering) verschillende dynamische regimes volgen, en dat "drift" niet louter een verlies van informatie is, maar een falen in instructie-arbitrage of constraint-prioritering.

Concluderend demonstreert het paper dat LLM's in multi-turn settings vaak lijden aan een "knows-but-violates"-syndroom, waarbij ze de herinnering aan constraints behouden maar deze falen uit te voeren onder iteratieve druk, een fenomeen dat huidige mitigatiestrategieën (checkpoints, monitoring) niet volledig kunnen oplossen.