💬 NLP

RIMRULE: Improving Tool-Using Language Agents via MDL-Guided Rule Learning

RIMRULE is een neuro-symbolische benadering die de betrouwbaarheid van het gebruik van tools door grote taalmodellen in domeinspecifieke omgevingen verbetert door dynamisch compacte, interpreteerbare regels te injecteren die via een Minimum Description Length-doelstelling zijn gedestilleerd uit foutsporen, waardoor de nauwkeurigheid over bekende en onbekende tools wordt verbeterd zonder de modelgewichten aan te passen.

Oorspronkelijke auteurs: Xiang Gao, Yuguang Yao, Qi Zhang, Kaiwen Dong, Avinash Baidya, Ruocheng Guo, Hilaf Hasson, Kamalika Das

Gepubliceerd 2026-07-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiang Gao, Yuguang Yao, Qi Zhang, Kaiwen Dong, Avinash Baidya, Ruocheng Guo, Hilaf Hasson, Kamalika Das

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar een beetje onhandige robotassistent leert hoe hij een nieuwe set gereedschappen moet gebruiken. Misschien zijn de gereedschappen vreemd, ontbreken de instructies, of drukt de robot steeds op de verkeerde knoppen.

In het verleden hadden we twee manieren om de robot te repareren als het misging:

Het laten zien van voorbeelden: "Dit is hoe ik het een keer heb gedaan, probeer mij maar na te doen." (Dit is alsof je een leerling een tekstboekvoorbeeld laat zien).
Het hersenen herbedraden: We zouden de robot vanaf nul opnieuw trainen om de nieuwe manier te onthouden. (Dit is duur, traag, en je kunt de nieuwe "hersenen" niet gemakkelijk delen met andere robots).

Het artikel introduceert een derde, slimmere manier genaamd RIMRULE. Zie dit als het leren aan de robot om zijn eigen spiekbriefje te schrijven op basis van zijn fouten.

Zo werkt het, onderverdeeld in eenvoudige stappen:

1. Het "Oeps"-moment (Leren van falen)

Eerst probeert de robot een taak uit te voeren en faalt hij. Misschien heeft hij geprobeerd een hulpmiddel onjuist aan te roepen. In plaats van alleen te zeggen "probeer het opnieuw", kijkt het systeem naar waarom het misging.

Analogie: Stel je voor dat je een cake probeert te bakken, maar je bakt hem aan als je vergeet de oven voor te verwarmen. In plaats van gewoon nog een cake te bakken en te hopen op het beste, schrijf je een notitie: "Als het recept zegt 'bakken', controleer dan eerst de oventemperatuur."

2. Het spiekbriefje schrijven (Regelgeneratie)

De robot (met behulp van een Large Language Model) kijkt naar zijn fout en schrijelt een eenvoudige regel om het te herstellen.

De twist: De robot schrijft niet zomaar een lange, rommelige paragraaf. Hij schrijft een korte, duidelijke "Als-Dan"-regel.
- Voorbeeld: "ALS de gebruiker vraagt naar stambomen, DAN breek de vraag op in kleinere stappen (vind eerst de moeder, dan de opa) in plaats van in één keer om het hele overzicht te vragen."

3. De "Editor" (MDL-consolidatie)

In het begin schrijft de robot misschien 100 regels, die veelal repetitief of te specifiek zijn (bijv. "Als de gebruiker vraagt naar de moeder van Jan..." en "Als de gebruiker vraft naar de moeder van Sarah...").
Het systeem gebruikt een principe genaamd Minimum Description Length (MDL). Denk aan dit als een strenge redacteur die zegt: "Stop met het schrijven van 100 regels. Combineer ze tot één krachtige regel die alle gevallen dekt."

Het doel: Houd het spiekbriefje zo kort en simpel mogelijk terwijl het nog steeds de meeste problemen oplost. Dit maakt de regels makkelijk leesbaar en makkelijk te onthouden.

4. De "Zakgids" (Retrieval)

Wanneer de robot voor een nieuwe taak staat, leest hij niet zijn volledige 100 pagina's tellende geschiedenisboek door. In plaats daarvan zoekt hij snel de specifieke regel op die van toepassing is op de huidige situatie en stopt deze in zijn "zak" (de prompt).

Analogie: Het is als een monteur die, voordat hij een auto repareert, snel even in zijn zak kijkt voor de specifieke handleiding over "piepende remmen", in plaats van het hele boek over hoe auto's werken door te lezen.

Waarom is dit bijzonder?

Het is draagbaar: Omdat de regels in gewoon Engels (en een simpele codevormaat) zijn geschreven, kun je het spiekbriefje dat een "domme" robot heeft geschreven nemen en aan een "super-slimme" robot geven. De slimme robot hoeft niet opnieuw getraind te worden; hij leest gewoon het nieuwe spiekbriefje en wordt direct beter.
Het is een "Spiekbriefje", geen "Hersenchirurgie": In tegen tegenstelling tot andere methoden die vereisen dat het model opnieuw wordt getraind (wat lijkt op hersenchirurgie), voegt dit alleen een notitie toe aan de instructies. Het is snel en verandert de kernpersoonlijkheid van de robot niet.
Het werkt op nieuwe tools: Zelfs als de robot een specifieke tool nog nooit heeft gezien, helpt het advies "Controleer altijd eerst de vereisten van de tool" nog steeds.

De Resultaten

De onderzoekers hebben dit getest op twee grote sets van uitdagingen rondom het gebruik van tools. Ze kwamen tot de volgende bevindingen:

Het geven van deze spiekbriefjes aan de robot maakte hem veel beter in het gebruiken van tools, zelfs bij taken die hij nog nooit eerder had gezien.
Het werkte beter dan alleen het tonen van voorbeelden of het optimaliseren van de tekstuele prompts.
Het hielp zelfs robots die al "fine-tuned" waren (specifiek getraind voor de baan), door te fungeren als een vangnet om resterende fouten op te vangen.

Kortom: RIMRULE leert AI om te leren van zijn fouten door zijn eigen eenvoudige, herbruikbare instructies te schrijven, in plaats van alleen maar voorbeelden te memoriseren of zijn hele brein te herschrijven. Het verandert "vallen en opstaan" in een permanente, deelbare les.

Technische Samenvatting: RIMRULE – Verbeteren van Tool-gebruikende Taalagenten via MDL-gestuurde Regel-lering

1. Probleemstelling

Large Language Models (LLMs) hebben vaak moeite met het betrouwbaar gebruiken van tools in domeinspecifieke omgevingen waar API's idiosyncratisch, ondergedocumenteerd of afgestemd zijn op private workflows. Huidige adaptatieparadigma's—few-shot prompting, globale prompt-optimalisatie en fine-tuning—hebben significante beperkingen:

Few-shot prompting hergebruikt ruwe voorbeelden zonder onderliggende patronen te abstraheren, wat vaak leidt tot oppervlakkige patroonextractie.
Globale prompts zijn statisch en broos in interactieve omgevingen.
Fine-tuning is computationeel kostbaar, vereist hertraining wanneer omgevingen veranderen, en verhindert het gemakkelijk delen van verworven kennis over verschillende modelarchitecturen heen.

Er is behoefte aan een adaptatiemethode die menselijk leren nabootst: proberen, falen en ervaring comprimeren tot herbruikbare, interpreteerbare heuristieken die generaliseren over taken en modellen zonder de modelgewichten aan te passen.

2. Methodologie: RIMRULE

De auteurs stellen RIMRULE voor (Reusable, Interpretable, and MDL-guided Rules), een neuro-symbolisch framework dat LLM-agenten aanpast door compacte regels te distilleren uit fouttraces en deze dynamisch tijdens inferentie te injecteren. Het framework werkt in twee afzonderlijke fasen:

Fase 1: Lokale Regelgeneratie

Ervaring Verzamelen: Een zero-shot LLM-agent voert taken uit op een trainingsset. Executietraces die resulteren in onjuiste antwoorden of voortijdige beëindiging door tool-calling fouten worden behouden als "fouttraces".
Regel-inductie via EBL: Gebruikmakend van Explanation-Based Learning (EBL), vergelijkt het systeem een fouttrace ( $\tau^-$ ) met de grondwaarheid tegenhanger ( $\tau^*$ ) om de worteloorzaak van de fout te identificeren (bijv. decompositie, tool-selectie of argumentconstructie). Een LLM stelt een compacte, natuurlijke regel voor om soortgelijke fouten te corrigeren.
Filtering: Voorgestelde regels ondergaan predictieve controles (om te garanderen dat ze de prestaties op de specifieke query verbeteren) en linguïstische controles (het afdwingen van een zuivere if-then vorm).
Symbolische Translatie: Om structurele overeenkomst en consistente complexiteitsmeting te waarborgen, worden natuurlijke taalregels gecompileerd naar een symbolische representatie met vaste velden: Domain, Qualifier, Action, Strength, en ToolCategory. Dit creëert een deterministisch, auditeerbaar regel-set.

Fase 2: MDL-gestuurde Consolidatie

De initiële regel-set bevat vaak overlappende en overdreven specifieke regels. RIMRULE consolideert deze set met behulp van het Minimum Description Length (MDL) principe om een balans te vinden tussen regelcomplexiteit en empirische effectiviteit.

Doelstelling: Minimaliseer $MDL(H) = L(H) + L(D | H)$, waarbij $L(H)$ de modelkosten is (het bestraffen van regelcomplexiteit/tokenlengte) en $L(D | H)$ de datakosten is (het meten hoe goed de regels geobserveerde fouten corrigeren).
Greedy Consolidatie: Startend vanaf de volledige regelpool, past het systeem iteratief lokale bewerkingen toe—het wegzuiveren van redundante regels of het generaliseren van tool-specifieke regels naar categorie-niveau regels. Een bewerking wordt alleen geaccepteerd als de reductie in modelkosten groter is dan de toename in datakosten.
Resultaat: Een compacte, hoogwaardige regel-bibliotheek die goed generaliseert.

Inferentie-tijd Retrieval

Tijdens inferentie is het injecteren van alle regels inefficiënt. RIMRULE maakt gebruik van een symbolische retrieval-mechanisme:

De huidige query en tool-context worden omgezet in een symbolische representatie.
Een grove filter verwijdert niet-toepasbare regels op basis van de tool-scope.
Overgebleven regels worden gerangschikt op basis van de semantische gelijkenis tussen hun symbolische velden en de symbolische velden van de query.
De top- $k$ relevante regels worden opgehaald, teruggezet naar natuurlijke taal en in de prompt geïnjecteerd.

3. Belangrijkste Bijdragen

Een Nieuw Adaptatieparadigma: RIMRULE introduceert een onderscheidende aanpak voor LLM-adaptatie die de nadruk legt op abstractie en compressie boven ruwe voorbeeld-replay (few-shot) of gewicht-modificatie (fine-tuning).
MDL-gestuurde Regel-consolidatie: Het artikel demonstreert dat het gebruik van MDL om regels te snoeien en te generaliseren een compactere en effectievere regel-set oplevert dan prompt-gebaseerde heuristieken.
Cross-Architectuur Portabiliteit: De methode produceert symbolische, menselijk leesbare regels die gedestilleerd kunnen worden uit één LLM (bijv. een zwakker model) en hergebruikt kunnen worden om anderen (inclusief sterkere, reasoning-modellen) te verbeteren zonder hertraining.
Dubbele Representatie: Door regels zowel in natuurlijke taal als in gestructureerde symbolische vorm op te slaan, ondersteunt het systeem zowel efficiënte retrieval als principiële complexiteitsmeting.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee tool-gebruik benchmarks: ToolHop (compositioneel, multi-turn) en BFCL (single-step, diverse tools).

Prestatiewinst: RIMRULE verbeterde de nauwkeurigheid consistent op zowel in-distribution (test-rand) als out-of-distribution (test-unseen) splits. Bijvoorbeeld, op ToolHop steeg de nauwkeurigheid van 26,5% (zero-shot) naar 31,1% na regel-generatie en consolidatie.
Vergelijking met Baselines: RIMRULE presteerde beter dan few-shot prompting, prompt-optimalisatie (SEE) en standaard ReAct prompting over alle datasets heen.
Complementariteit met Fine-tuning: Het toevoegen van RIMRULE aan fine-tuned modellen (SFT) en modellen met native function-calling capaciteiten leverde verdere prestatiewinsten op, wat aangeeft dat regel-gebaseerde adaptatie opereert op een orthogonale as ten opzichte van gewicht-gebaseerde adaptatie.
Transfereerbaarheid: Regels gedestilleerd van Llama3.2 verbeterden de prestaties van GPT-4o, Llama4 en O1. Omgekeerd verbeterden regels van GPT-4o de prestaties van Llama3.2, wat bidirectionele transfereerbaarheid aantoont.
Sample Efficiëntie: In een low-resource setting (90 trainingsvoorbeelden) leerde de methode slechts vier regels maar bereikte het significante nauwkeurigheidsverbeteringen (bijv. van 46,0% naar 60,0% op unseen BFCL taken).
Ablatie Studies: Symbolische retrieval presteerde aanzienlijk beter dan op natuurlijke taal gebaseerde retrieval, en MDL-gestuurde consolidatie presteerde beter dan prompt-gebaseerd mergen, wat de noodzaak van beide componenten bevestigt.

5. Betekenis en Claims

Het artikel positioneert RIMRULE als een praktische weg naar modulaire en interpreteerbare LLM-adaptatie. De primaire betekenis ligt in:

Interpreteerbaarheid: In tegen tegenover black-box gewicht-updates produceert RIMRULE expliciete, menselijk leesbare regels die uitleggen waarom een agent faalde en hoe dit te herstellen.
Herbruikbaarheid: Het ontkoppelt kennisverwerving van modeltraining, waardoor kennis gedeeld kan worden tussen verschillende LLM-architecturen zonder hertraining.
Generalisatie: Door foutpatronen te comprimeren tot abstracte regels, verbetert de methode de prestaties op tools en queries die nooit tijdens de training zijn gezien.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de aanpak toegang vereist tot foutsignalen tijdens de training en vertrouwt op een greedy consolidatieprocedure die geen globale optimaliteit garandeert. Zij waarschuwen ook dat geleerde regels kunnen overgeneraliseren als ze buiten hun beoogde scope worden toegepast, hoewel de interpreteerbaarheid van de regels controle en revisie mogelijk maakt.