💬 NLP

Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models

Dit artikel introduceert RuleWorld, een grootschalige benchmark voor het evalueren van stapsgewijze procedurele regelredenering, en stelt DynaRule voor, een end-to-end framework dat de prestaties van LLM's op complexe meerstapsredeneringstaken aanzienlijk verbetert door dynamisch regels te injecteren en opnieuw te attentionen binnen de KV-cache.

Oorspronkelijke auteurs: Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om verhalen te schrijven, wiskundige problemen op te lossen en talen te vertalen met een verbazingwekkende vloeiendheid. Ze werken door enorme hoeveelheden tekst te absorberen en de statistische patronen te leren van hoe woorden samenkomen om betekenis te vormen. Jarenlang hebben onderzoekers deze modellen getest op hun vermogen om feiten te herinneren, zoals weten dat Parijs de hoofdstad van Frankrijk is. Maar er bestaat een ander soort kennis dat even essentieel is voor echt wereldbreed denken: procedurele kennis. Dit gaat niet over weten wat waar is, maar over weten hoe te handelen of te redeneren op basis van een reeks instructies. Stel je een advocaat voor die een specifieke, complexe set wetten moet toepassen op een nieuwe zaak, of een arts die een gedetailleerd protocol volgt om een zeldzame aandoening te diagnosticeren. In deze situaties wordt het antwoord niet uit het geheugen opgeroepen; het moet stap voor stap worden gevonden, geselecteerd en toegepast vanuit een grote, externe regelbundel. De vraag die de sector voorstaat is of deze krachtige modellen werkelijk kunnen leren om dit te doen, of dat ze simpelweg doen alsof ze de regels begrijpen terwijl ze vertrouwen op hun interne gokjes.

Om dit te beantwoorden, creëerden een team van onderzoekers een enorme testomgeving genaamd RuleWorld. In plaats van de modellen een paar regels te geven om één enkele puzzel op te lossen, bouwden ze een bibliotheek met bijna vijf miljoen abstracte regels. Deze regels zijn doelbewust vreemd en niet gerelateerd aan het dagelijks leven, zoals "als een wezen een bos binnengaat, vat het vlam", om ervoor te zorgen dat de modellen geen gebruik kunnen maken van hun eigen interne kennis. De regels zijn op twee manieren geschreven: als formele logische stellingen en als gewone Engelse zinnen. De onderzoekers ontwierpen vervolgens drie soorten uitdagingen om de modellen te testen. De eerste was eenvoudig: vind één regel om een vraag te beantwoorden. De tweede was complexer: beantwoord meerdere vragen tegelijkertijd, waarbij elk een andere regel vereist. De derde was de moeilijkste: los een keten van problemen op waarbij het antwoord op de eerste stap het startpunt vormt voor de volgende, wat vereist dat het model zijn voortgang door een lange sequentie van logische stappen bijhoudt.

Toen ze bestaande modellen op deze nieuwe benchmark testten, waren de resultaten schokkend. Zelfs de meest geavanceerde modellen hadden moeite wanneer het aantal beschikbare regels groot werd. Wanneer ze gedwongen werden te kiezen uit een reeks van duizenden regels, grepen ze vaak de verkeerde regels of raakten ze de draad kwijt in het midden van een meerstapsketen. Standaardmethoden die proberen modellen te helpen door te zoeken naar relevante tekst voordat ze antwoorden, bleken broos; ze vonden de juiste regel voor de eerste stap, maar faalden in het updaten van hun zoekopdracht voor de tweede stap, wat leidde tot een cascade van fouten. De modellen probeerden in essentie de hele regelbundel tegelijkertijd in hun hoofd te houden, een taak die hun capaciteit om zich op het specifieke moment te concentreren, overbelastte.

Om dit op te lossen, ontwikkelden de onderzoekers een nieuw systeem genaamd DynaRule. In plaats van de regels te behandelen als een statische lijst die eenmaal gelezen wordt, leert DynaRule het model de regels te behandelen als een dynamische bron waar het in kan grijpen en die het kan bijwerken terwijl het nadenkt. Het systeem werkt door de regels direct in de interne geheugenstructuur van het model te integreren, een proces dat het model in staat stelt ze te raadplegen zonder dat het proces vertraagt. Cruciaal is dat het model wordt getraind om te herkennen wanneer het van koers moet veranderen. Het leert een speciaal intern signaal uit te zenden, een mentale "zoek"-opdracht, telkens wanneer het een stap van het redeneren heeft voltooid en de volgende regel moet vinden. Wanneer dit signaal afgaat, evalueert het model onmiddellijk de gehele bibliotheek met regels, waarbij het de regels die het eerder gebruikte wegwerpt en de aandacht richt op de nieuwe set regels die vereist is voor de huidige stap. Dit verandert het vinden van een regel van een eenmalige zoektocht in een continu, leerbaar proces dat evolueert met de redeneerketen.

De resultaten van deze aanpak waren significant. Op de RuleWorld-benchmark presteerde DynaRule consequent beter dan alle andere methoden, inclusief die welke gebruikmaken van krachtige externe zoekinstrumenten. Wanneer geconfronteerd met een pool van tienduizend regels, behield het nieuwe systeem een hoog niveau van nauwkeurigheid en identificeerde het de juiste regel in meer dan tachtigenvijf procent van de gevallen bij de eerste poging, terwijl de prestaties van andere methoden instortten. In taken die meerdere stappen vereisten, verbeterde DynaRule de gemiddelde nauwkeurigheid met bijna twintig procentpunten vergeleken met de beste bestaande alternatieven. Het systeem bewees dat door een model te leren actief zijn eigen aandacht te beheren bij een grote set instructies, het betrouwbaar door complexe logische landschappen kan navigeren. De onderzoekers ontdekten dat het model de regels niet simpelweg memoriseerde; het leerde een algemene methode voor het lokaliseren en toepassen ervan, zelfs wanneer het werd getest op regels die het nog nooit eerder had gezien. Dit suggereert dat de kloof tussen de enorme interne kennis van een model en zijn vermogen om externe instructies op te volgen, overbrugd kan worden, mits het model een manier krijgt om zijn focus dynamisch bij te werken naarmate de taak zich ontvouwt.

Technische Samenvatting: Voorbij feitelijke kennis – Benchmarking en leren van procedurele regelredeneren op stapniveau in Large Language Models

1. Probleemstelling

Hoewel Large Language Models (LLMs) uitblinken in tekstbegrip en -generatie, hebben ze moeite met het betrouwbaar lokaliseren en toepassen van extern verstrekte procedurele regels op schaal. Bestaande evaluaties van de kenniscapaciteiten van LLM's richten zich primair op feitelijke kennis en negeren vaak procedurele kennis (hoe te handelen of te redeneren). Bovendien bieden huidige benchmarks voor regelredenering de relevante regels vaak als instansspecifieke premissen, waardoor herbruikbare regels worden gereduceerd tot hints per vraag. Dit ontwerp verhult of een model in staat is om:

De juiste herbruikbare regels te identificeren uit een grote, gedeelde regelrepository voor een specifieke query.
Deze regels betrouwbaar toe te passen over multi-step redeneerketens waarbij de doelregels dynamisch veranderen.

Huidige methoden kampen met twee primaire uitdagingen:

Kwetsbaarheid van retrieval en benutting: Geïnjecteerde regels zijn vaak zeer abstract en komen zwak overeen met de oppervlaktevorm van vragen, wat de retrieval en toepassing instabiel maakt op schaal.
Instabiliteit op stapniveau: In parallelle aggregatie en multi-hop redeneren veranderen de vereiste regels gedurende de stappen. Bestaande benaderingen, zoals Retrieval-Augmented Generation (RAG) of interne injectiemethoden, lijden vaak aan semantische mismatches of instabiele regelselectie tijdens multi-step redeneren.

2. Methodologie

2.1 RuleWorld Benchmark

Om het gebrek aan rigoureuze evaluatie aan te pakken, introduceren de auteurs RuleWorld, een grootschalige benchmark die ontworpen is om de regelbenuttingscapaciteit van LLM's te meten.

Schaal en aard: Het bestaat uit 4,94 miljoen extern verstrekte procedurele regels die abstract, niet-gevoelmatig (non-commonsense) en entiteitsonafhankelijk zijn. Dit voorkomt dat modellen vertrouwen op geïnternaliseerde kennis.
Structuur: Regels zijn georganiseerd in vier hoofdtypes (Attributen, Omgevingen, Acties, Toestanden) en zeven subtypes, beschikbaar in zowel First-Order Logic (FOL) als Natuurlijke Taal (NL). De regels zijn globaal consistent en conflictvrij, waardoor conclusies van de ene regel als premissen voor andere kunnen dienen.
Taaltypes: De benchmark definieert drie QA-typen om verschillende modi van regelbenutting te vangen:
1. Single-Rule QA: Het toepassen van exact één regel (50K instances).
2. Parallel Multi-Rule QA: Het oplossen van meerdere onafhankelijke subvragen binnen één instance, waarbij antwoorden worden geaggregeerd (3,25M instances, tot 8 gouden regels).
3. Multi-Hop Rule QA: Sequentiële redenering waarbij tussenliggende conclusies dienen als premissen voor opeenvolgende stappen (77,7K instances, tot 4 hops).
Totale omvang: De benchmark bevat 3,37 miljoen QA-instances verspreid over 11 sub-taken.

2.2 DynaRule Framework

De auteurs stellen DynaRule voor, een end-to-end framework dat regels injecteert in de interne KV-cache van het model en retrieval transformeert naar een leerbaar, stapsgewijs proces.

Regelinjectie via KV-cache: Externe regels worden gecodeerd met behulp van een vooraf getrainde sentence encoder en geprojecteerd in de embeddingruimte van de LLM via single-layer adapters. Deze regelrepresentaties (Key-Value paren) worden direct in de KV-cache geplaatst naast contextuele tokens, waardoor het aandachtmechanisme wordt uitgebreid om de regelset te omvatten.
Identificatie van de Confidence Layer: De auteurs identificeren een specifieke "confidence layer" binnen de transformer waar de aandacht-entropie over geïnjecteerde regels wordt geminimaliseerd. Deze laag vertoont de scherpste aandachtverdeling, wat duidt op een meest beslissende focus op relevante regels.
Stacked Step-Level Attention Training:
- Een speciale <search> token wordt geïntroduceerd om de aandacht te leiden naar de regels die vereist zijn bij elke specifieke redeneerstap.
- Training omvat een Stacked Step-Level Attention Loss. Voor de eerste stap is de retrieval vraag-geconditioneerd. Voor daaropvolgende stappen ( $t \ge 2$ ) wordt een <search> token vóór het antwoord ingevoegd, en de verborgen toestand van dit token fungeert als een query om opnieuw aandacht te besteden aan de regelset.
- Het trainingsdoel construeert een gedeelde kandidaatpool van Top-K regels (verrijkt met gouden regels uit alle stappen) en past een cross-entropy loss toe om hoge aandacht te stimuleren op de correcte regels voor de huidige stap, terwijl regels uit andere stappen als harde negatieven worden behandeld.
Inference Proces: Tijdens de inferentie voert het model regelretrieval en updates volledig binnen zijn eigen ruimte uit. Wanneer de decoder een <search> token genereert, berekent het model de aandacht over de regelset opnieuw op de confidence layer, waarbij verouderde regel-entries in de KV-cache worden vervangen door nieuw geselecteerde regels. Dit maakt dynamische regel-re-attention en updates mogelijk om stabiel multi-step redeneren te ondersteunen.

3. Belangrijkste Bijdragen

RuleWorld Benchmark: Een grootschalige benchmark met miljoenen abstracte procedurele regels in FOL en NL, die vier typen, zeven subtypes en elf QA-subtaken beslaat. Het combineert uniek een grote gedeelde regelpool met gecontroleerde evaluatie van single-rule, parallel multi-rule en multi-hop redeneren.
DynaRule Framework: Een end-to-end regelintegratiemethode die externe regels in de KV-cache injecteert. Het maakt gebruik van een leerbaar, door <search> gestuurd stapsgewijs aandachtmechanisme om regels dynamisch te selecteren en bij te werken, waardoor retrieval wordt getransformeerd in een intern, differentieerbaar proces.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op RuleWorld met Qwen2.5-7B-Instruct als basismodel, waarbij werd vergeleken met sterke baselines inclusief Prompting, RAG (Dense, BM25, Hybrid), KBLaM en SR-KI.

Regelredeneringsprestaties:
- Bestaande LLM's (inclusief DeepSeek V3.2 en GPT-5.5) ervaren aanzienlijke uitdagingen onder grote regelpools (bijv. 10K regels), waarbij de nauwkeurigheid scherp daalt.
- DynaRule presteert consequent beter dan alle baselines. Het verbetert de gemiddelde QA-nauwkeurigheid met wel 19 punten ten opzichte van de sterkste baselines.
- Op specifieke sub-taken lopen de winsten op tot 48 punten.
- Onder 10K regels bereikt DynaRule meer dan 85% Recall@1 en meer dan 90% Recall@10, waarmee het de sterkste baseline met meer dan 60 punten verslaat.
Retrieval Prestaties:
- DynaRule vertoont superieure regel-lokalisatie, waarbij het de sterkste baseline met respectievelijk wel 61,98 punten (FOL) en 53,42 punten (NL) verslaat in Recall@1.
- In tegenstelling tot iteratieve RAG-methoden (IRCoT, ReAct) die er niet in slagen de kloof te dichten met meerdere retrieval-stappen, brengt DynaRule de interne stapsgewijze retrieval in lijn met het decodeerproces.
Efficiëntie:
- DynaRule schaalt efficiënt. KV-cache injectie schaalt als $O((M+N)N)$ , wat aanzienlijk goedkoper is dan kwadratische prompt-injectie voor lange regelcontexten.
- Het vermindert de Time to First Token (TTFT) en de totale inferentietijd terwijl een hoge token-throughput behouden blijft.
Generalisatie:
- Bij testen op een uitgesloten regelrepository (niet eerder geziene regels), behoudt DynaRule een substantiële prestatie (50,20% exact match bij 10K regels), wat aangeeft dat het model een overdraagbare uitlijning leert in plaats van specifieke trainingsregels te memoriseren.
Ablatie:
- Het verwijderen van correcte regels uit de geïnjecteerde set doet de nauwkeurigheid instorten naar bijna nul, wat bevestigt dat het model vertrouwt op de geïnjecteerde regels in plaats van op interne kennis.

5. Betekenis en Claims

Het artikel claimt dat DynaRule het kritieke gat tussen parametrische kennis en expliciete regelgrondslag (rule grounding) overbrugt. Door regelretrieval, updates en redeneren volledig binnen de interne ruimte van het model te verenigen, stelt het framework LLM's in staat om:

Relevante procedurele regels te identificeren bij elke redeneerstap.
Verouderde regels dynamisch te vervangen om stabiel multi-step redeneren te ondersteunen.
Betrouwbare procedurele redenering te bereiken, zelfs wanneer zij worden geconfronteerd met grote, abstracte regelpools waar traditionele retrieval-methoden falen.

Het werk benadrukt dat huidige LLM's moeite hebben met stapsgewijze procedurele regelredenering en toont aan dat stapsgewijze dynamische integratie een levensvatbaar pad is naar robuustere en betrouwbaardere redeneercapaciteiten. De auteurs merken beperkingen op met betrekking tot de huidige reikwijdte (alleen FOL/NL) en het informatieverlies dat inherent is aan embedding-gebaseerde regelrepresentaties naarmate de regelpools groeien naar miljoenen, wat wijst op toekomstig werk in hiërarchische indexing en rijkere regelrepresentaties.