💻 computer science

LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning

Dit artikel betoogt dat het onvermogen van LLM's om zich te houden aan impliciete haalbaarheidsrestricties niet voortkomt uit een gebrek aan kennis, maar uit een routing-bottleneck waarbij de gecodeerde restrictie niet consistent wordt geactiveerd tijdens de besluitvorming, een beperking die prompt-gebaseerde interventies niet kunnen overwinnen maar gerichte activatie-patching gedeeltelijk kan herstellen.

Oorspronkelijke auteurs: Yubo Li, Ramayya Krishnan, Rema Padman

Gepubliceerd 2026-08-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yubo Li, Ramayya Krishnan, Rema Padman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij beslissingen moet nemen. Je geeft hem een enorme bibliotheek met boeken zodat hij bijna alles over de wereld weet. Maar dan stel je hem een lastige vraag: "Ik wil mijn auto wassen, en de autowasstraat is 50 meter verderop. Moet ik lopen of rijden?" Een mens zou direct beseffen: "Wacht, als ik ga rijden, heb ik mijn auto nodig om erheen te rijden!" Maar de robot, ondanks dat hij elk boek over auto's en het wassen van auto's heeft gelezen, zou zelfverzekerd kunnen zeggen: "Rijden!" omdat hij het woord "auto" ziet en het woord "rijden" en denkt: "Oh, dat is een match!"

Dit artikel duikt in een specifief hoekje van kunstmatige intelligentie genaamd Large Language Models (LLM's). Dit zijn de breinachtige AI-systemen die chatten, verhalen schrijven en problemen oplossen. Het grote mysterie dat onderzoekers proberen op te lossen, is het verschil tussen weten en gebruiken. Denk aan een student die het hele regelboek van een spel uit zijn hoofd heeft geleerd, maar tijdens het spelen steeds de regels vergeet omdat hij wordt afgeleid door de glimmende stukken op het bord. Wetenschappers vermoeden al lang dat deze AI's de verborgen regels van logica misschien wel "weten", maar ze niet toepassen wanneer de situatie lastig wordt. Dit is belangrijk omdat als we willen dat AI veilig en betrouwbaar is in de echte wereld — zoals bij het helpen van artsen of het besturen van auto's — we moeten weten of het echt nadenkt of alleen gokt op basis van oppervlakkige aanwijzingen.

De onderzoekers achter deze studie besloten een detective te spelen met 14 verschillende AI-modellen om precies te ontdekken wat er gebeurt in hun "hersenen" wanneer ze deze fouten maken. Ze zetten een slim experiment op met een "kwartet" aan scenario's. Stel je vier versies van hetzelfde verhaal voor: één waarin de verborgen regel aanwezig is (de auto ontbreekt), één waar de regel is verwijderd (de auto is er magisch wel), één waar de regel hardop wordt geschreeuwd ("Onthoud, de auto ontbreekt!") en één waarbij ze gewoon een willekeurige zin van dezelfde lengte toevoegen om te zien of de AI gewoon van lange verhalen houdt.

Hier is de wending die ze ontdekten: De AI is niet dom; hij is gewoon afgeleid. Maar nog belangrijker, de onderzoekers ontdekten dat de "afleiding" van de AI op twee zeer verschillende manieren plaatsvindt.

Toen de onderzoekers in de "hersenen" van de AI keken (de verborgen lagen van data), ontdekten ze dat de AI de regel wel kent. Ze konden een eenvoudige detector bouwen die de interne gedachten van de AI las en zei: "Ja, de auto ontbreekt!" met een nauwkeurigheid van meer dan 88% tot 94%. De kennis was daar gewoon, zittend in het midden van de verwerking van het model, net als een feit dat op een bureau ligt.

Het probleem is echter dat de AI die kennis niet gebruikt op het moment dat het tijd is voor de uiteindelijke beslissing. Het is alsoer dat je een GPS hebt die weet dat de weg is afgesloten, maar de bestuurder (het besluitvormende deel van de AI) negeert de GPS en rijdt gewoon door. De onderzoekers noemen dit een routingprobleem. De informatie is aanwezig, maar de route naar het antwoord is geblokkeerd of wordt genegeerd.

Cruciaal was de ontdekking dat er twee verschillende soorten robots zijn die op verschillende manieren falen:

De "Overactieve" Robots: Sommige modellen (zoals Llama-4 en Claude Opus) zijn zo enthousiast om veilig te zijn dat ze het "beperkingsrijke" antwoord toepassen (bijv. "Lopen") zelfs wanneer de beperking eigenlijk afwezig is. Als je de auto uit het verhaal verwijdert, zeggen ze nog steeds "Lopen" omdat ze bevooroordeeld zijn naar het "veilige" antwoord. Ze kennen de regel, maar ze kunnen de regel niet uitzetten wanneer dat wel moet, waardoor ze de logische test falen door een regel toe te passen die niet bestaat.
De "Onderactieve" Robots: Andere modellen (zoals GPT-OSS) falen om de regel toe te passen, zelfs wanneer deze er wel is. Ze zien de ontbrekende auto maar zeggen toch "Rijden". Ze weten dat de regel er is, maar hun interne bedrading is zo kapot dat de kennis nooit de beslissingsknop bereikt.

Ze testten dit door iets te doen dat "activation patching" wordt genoemd. Stel je voor dat je de "gedachte" van een moment waarop de AI de regel wel herinnerde (zoals wanneer je het hardop riep) zou kunnen pakken en direct in het moment zou kunnen plakken waarop de AI de regel vergat. Voor de gebalanceerde modellen (zoals Qswen3-14B) werkte deze magische plakactie perfect! De AI kreeg plotseling het juiste antwoord, wat bewees dat de kennis aanwezig was en alleen een zetje nodig had om bij de beslissing te komen. Maar voor de onderactieve modellen deed de plakactie niets. Ondanks dat ze de regel kenden, was hun interne bedrading zo defect dat deze kennis nooit de beslissingsknop kon bereiken. (Opmerking: De onderzoekers hebben deze patching niet getest op de "overactieve" groep, dus we weten niet of de plakactie hen zou helpen).

Het artikel testte ook de meest populaire manieren waarop mensen proberen AI-fouten te herstellen, zoals de AI te vragen om "stap voor stap na te denken" of "de vereisten op te sommen". De resultaten waren verrassend: Geen van deze trucjes loste het probleem daadwerkelijk op. In plaats daarvan maakten ze de AI juist waarschijnlijker om het "veilige" antwoord te raden (zoals "lopen"), zelfs wanneer dat niet zou moeten. Het blijkt dat wanneer je een AI vertelt om "harder na te denken", de AI er alleen maar luider over wordt, maar nog steeds niet weet wanneer hij de regel moet toepassen. Het is als een student die, wanneer hem wordt gezegd om "zijn werk te laten zien", de regel op elke regel van zijn huiswerk opschrijft, zelfs op de regels waar de regel niet relevant is.

Kortom, het artikel suggereert dat de fout niet komt doordat de AI een gebrek aan kennis heeft. Het komt doordat de AI een "routing-bottleneck" heeft. De AI kent de waarheid, maar kan niet uitzoeken wanneer hij die waarheid moet laten leiden tot zijn antwoord. De huidige methoden om de AI simpelweg "harder te laten proberen" of "meer te laten nadenken" repareren de kapotte bedrading niet; ze maken de AI alleen maar zelfverzekerder in zijn foute gokken. Om dit echt op te lossen, moeten we misschien de interne paden herbouwen die verbinden wat de AI weet met wat hij besluit te zeggen, en hebben we verschillende oplossingen nodig voor de robots die te enthousiast zijn versus de robots die te passief zijn.

Technische Samenvatting: Activatie-bottlenecks in Pragmatische Constraint-redenering

Probleemstelling

Large Language Models (LLM's) falen vaak in het toepassen van impliciete haalbaarheidsrestricties (constraints) wanneer een saillante oppervlakkige aanwijzing suggereert dat een andere actie vereist is. Een canoniek voorbeeld is een model dat "lopen" antwoordt op een scenario met een wasstraat, waarbij de impliciete restrictie dat een wasstraat een auto vereist, wordt genegeerd. Hoewel geaggregeerde nauwkeurigheidsmetrieken vaak correcte antwoorden belonen, vervuilen ze twee verschillende gedragingen: werkelijke inferentie van de verborgen restrictie en conservatief standaardgedrag (het kiezen van een veilige optie om ongerelateerde redenen).

Vorig werk stelde vast dat dit falen wijdverspreid is, maar liet het ambigu of correcte antwoorden het resultaat zijn van echte constraint-redenering of een bias naar veilige opties. Dit artikel betoogt dat falen in verborgen restricties primair routeringsproblemen zijn in plaats van kennisproblemen. De modellen bezitten de informatie over de restrictie vaak intern, maar falen in het routeren ervan naar het uiteindelijke besluitvormingsproces.

Methodologie

De auteurs formaliseren conditionele constraint-activatie via vier falsifieerbare condities (K, S, R, P) en instantiëren deze via een "kwartet-diagnostiek" en mechanistische interventies:

De Kartet-diagnostiek: Voor elk scenario worden vier condities geconstrueerd:
- ACTIVE: Het originele scenario met een impliciete restrictie.
- REMOVED: Een contrafeitel waarbij de restrictie is verwijderd maar de oppervlakkige aanwijzing aanwezig blijft.
- EXPLICIT: De restrictie wordt gesteld als een declaratieve zin.
- SALIENCE CONTROL: Een neutrale vultekst met gelijke lengte en frame vervangt de aanwijzing van de restrictie.
- Metriek: De Conservative Bias Index (CBI) ( $Acc_{Active} - Acc_{Removed}$ ) onderscheidt tussen over-activatie (hoge CBI) en onder-activatie (lage/negatieve CBI).
Mechanistische Probes (K, S, R):
- Kennis (K): Lineaire probes op verborgen toestanden decoderen de aanwezigheid van de restrictie.
- Symmetrie (S): De nauwkeurigheid van de probe wordt getest op symmetrie tussen ACTIVE en REMOVED prompts.
- Routering (R): De correlatie tussen de door de probe geprojecteerde magnitude en de beslissings-logit gap wordt gemeten.
Activatie-patching (P): Verborgen toestanden van een EXPLICIT prompt (donor) worden gepatcht in de verborgen toestanden van een falende ACTIVE of REMOVED prompt (ontvanger) op de beste laag van de probe om te testen of de restrictie-richting het besluit causaal verschuift.
Mitigatie-front: Vier prompting-strategieën (Chain-of-Thought, voorwaardelijsten, doel-decompositie, contrafeitelijke controle) worden geëvalueerd op een tweedimensionaal front: Active Gain (verbetering op ACTIVE items) versus Pair Harm (verslechtering op REMOVED items).
Modellen: De studie evalueert 14 modellen (inclusief frontier API-modellen en open weights) en voert een diepe mechanistische analyse uit op twee open-weights modellen: Qwen3-14B (gebalanceerd gedrag) en GPT-OSS-20B (onder-activatie).

Belangrijkste Resultaten

1. Twee onderscheidende faalmodi

Analyse van 14 modellen onthult twee populaties gescheiden door CBI:

Over-activatie (7 modellen): Modellen (bijv. Llama-4, Claude Opus 4.6) passen de restrictie toe zelfs wanneer deze afwezig is, wat leidt tot een hoge nauwkeurigheid op ACTIVE items maar aanzienlijk lagere nauwkeurigheid op REMOVED items.
Onder-activatie (2 modellen): Modellen (bijv. GPT-OSS-20B) falen in het toepassen van de restrictie wanneer dat vereist is, en presteren beter op REMOVED items dan op ACTIVE items.
Gebalanceerd (5 modellen): Modellen vertonen minimaal verschil tussen ACTIVE en REMOND performance.

2. Mechanistische dissociatie (K/S/R/P)

Kennis is aanwezig: Lineaire probes decoderen de toepasbaarheid van de restrictie met hoge nauwkeurigheid (>88%) in zowel Qwen3-14B als GPT-OSS-20B, wat voldoet aan conditie K.
Symmetrie houdt stand: De nauwkeurigheid van de probe is symmetrisch over ACTIVE en REMOVED prompts, wat voldoet aan conditie S.
Routeringsfalen: De door de probe geprojecteerde magnitude correleert zwak met de beslissings-logit gap (faalt voor conditie R).
Patching-resultaten:
- Qwen3-14B: Het patchen van de restrictie-informatie van een EXPLICIT prompt in een ACTIVE prompt vergroot de gold–shortcut logit gap met +6.4 nats, wat de beslissing effectief herstelt. Dit voldoet aan conditie P.
- GPT-OSS-20B: Ondanks dat de restrictie decodeerbaar is (88% probe-nauwkeurigheid), levert het patchen van dezelfde informatie geen effect op ( $\Delta \approx -0.07$ nats). De restrictie-richting is aanwezig, maar wordt niet gelezen door de beslissingskop (decision head).

3. Falen van geprompte mitigaties

Alle vier de geteste prompting-strategieën (CoT, voorwaardelijsten, doel-decompositie, contrafeitelijke controle) falen om de "repair corner" te bereiken (positieve winst, niet-positieve schade).

Schade zonder Herstel: Strategieën vergroten consistent de Conservative Bias Index (PairHarm +0.28 tot +0.65) terwijl ze een verwaarloosbare Active Gain bieden (+0.01 tot +0.04).
Mediatiestudie: De strategieën werken door een enkele oppervlakkige gedraging te induceren: het noemen van de voorwaarde (prerequisite). Deze vermelding komt voor met hoge frequenties (0.84–0.96) ongeacht of de restrictie van toepassing is. De "correctheid" wordt gemedieerd door deze vermelding, maar de vermelding triggert een conservatieve bias die de prestaties op REMOVED items schaadt.
Denkbudget: Het vergroten van het redeneerbudget in 'thinking-mode' modellen verergert de over-activatie (verhoging van CBI) zonder het routeringsprobleem te herstellen.

Betekenis en Claims

Het artikel claimt dat falen in verborgen restricties een circuit-niveau conditionele activatieprobleem is, en geen kennisgebrek.

Routering versus Kennis: Het falen is niet dat modellen de restrictie "niet weten"; ze coderen deze symmetrisch. Het falen is dat het restrictie-signaal niet betrouwbaar naar de beslissingskop wordt gerouteerd.
Beperkingen van Prompting: Geprompte interventies (CoT, etc.) kunnen dit routeringsprobleem niet herstellen. Ze vergroten slechts de globale waarschijnlijkheid van het noemen van de restrictie, wat onbedoeld de conservatieve bias inflateert op items waar de restrictie niet van toepassing is.
Richting van de oplossing: De auteurs concluderen dat effectieve oplossingen moeten opereren op de routeringsrichting zelf (bijv. geleerde activatiepoorten of interventies op circuit-niveau) in plaats van te vertroueren op oppervlakkige prompting of verhoogde rekenkracht.

De studie biedt een formeel diagnostisch kader (K/S/R/P) en empirisch bewijs dat geaggregeerde nauwkeurigheidsmetrieken het onderscheid tussen echte redenering en conservatief standaardgedrag verhullen, wat een verschuiving naar mechanistische evaluatie van constraint-activatie noodzakelijk maakt.