💬 NLP

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES is een nieuw raamwerk voor zelfverbeterend LLM-redeneren dat dynamisch een modulaire geheugen van stapsgewijze instructieparen uitbreidt en een grove-naar-fijne, leerbare selectiemechanisme gebruikt om de geheugensamenstelling en redeneernauwkeurigheid te optimaliseren onder realistische testtijdbeperkingen.

Oorspronkelijke auteurs: Ruilin Tong, Dong Gong

Gepubliceerd 2026-07-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruilin Tong, Dong Gong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Slimme Notitieblok" voor AI

Stel je voor dat je een briljante maar koppige vriend hebt (de AI) die geweldig is in het oplossen van puzzels, maar een verschrikkelijk geheugen heeft. Elke keer als je hem een nieuwe wiskundevraag stelt, doet hij alsof hij die nog nooit eerder heeft gezien. Hij lost het op, maar als je later een vergelijkbare vraag stelt, moet hij weer helemaal bij af beginnen.

Normaal gesproken zou je deze vriend slimmer maken door hem jarenlang terug naar school te sturen om alles opnieuw te leren (dit wordt "training" of het updaten van de parameters van het model genoemd). Maar wat als je vriend een gesloten boek is dat je niet terug naar school kunt sturen? Je kunt zijn brein niet veranderen.

MILES is een nieuwe manier om deze vriend slimmer te maken terwijl hij werkt, zonder zijn brein te veranderen. Het geeft hem een dynamisch, leerbaar notitieblok waar hij in real-time in kan schrijven en uit kan putten.

Het Probleem met Oude Notitieblokken

Eerdere pogingen om AI een "geheugen" te geven, hadden twee belangrijke gebreken:

Het "Volledige Oplossing" Notitieblok: Sommige methoden sloegen volledige antwoorden op van eerdere problemen. Als je een vraag stelde die voor 90% vergelijkbaar was met een oude, werkte het geweldig. Maar als de vraag een klein beetje anders was (een "nieuw" probleem), was het oude antwoord nutteloos. Het was alsof je probeerde een recept voor "Appeltaart" te gebruiken om een "Blauwe Bessen Muffin" te bakken.
Het "Heuristische" Notitieblok: Andere methoden sloegen kleine stappen op (zoals "deel door 2" of "controleer de eenheden"). Maar de AI moest raden welke stap hij als volgende moest gebruiken door simpelweg te kijken hoe vergelijkbaar de woorden waren. Het was alsof een chef een willekeurige kruidenpot pakte omdat het etiket er een beetje op leek, in de hoop op het beste resultaat.

De MILES Oplossing: Een "Modulair" en "Leerbaar" Systeem

MILES verandert het spel door redeneren te behandelen als een Lego-set in plaats van een enkele blok beton.

1. De Bouwstenen: "Subdoelen" en "Subinstructies"

In plaats van hele antwoorden op te slaan, breekt MILES problemen af in kleine, herbruikbare Lego-steentjes.

Het Subdoel (Het Label): Een korte beschrijving van wat er nu moet gebeuren (bijv. "Vereenvoudig de breuk").
De Subinstructie (De Steen): Een specifieke tip in natuurlijke taal over hoe je het moet doen (bijv. "Deel de teller en de noemer door hun grootste gemene deler").

Beschouw dit als een gereedschapskist waarin elk gereedschap een duidelijke label heeft.

2. De "Slimme Selector" (De Leerbare Kop)

Dit is het magische deel. In het verleden pakte de AI gewoon het gereedschap dat het meest op het huidige probleem leek. MILES geeft de AI een persoonlijke assistent (een "selection head") voor elk enkel gereedschap in de gereedschapskist.

Hoe het leert: Wanneer de AI een probleem met vertrouwen oplost (hij krijgt het juiste antwoord), kijkt MILES terug naar de stappen die hij heeft genomen. Het vraagt: "Hé, toen we de 'Vereenvoudig Breuk'-tool gebruikten, hielp dat ons dan om het juiste antwoord te krijgen?"
De Training: Als het antwoord "Ja" is, leert de assistent om dat gereeld in soortgelijke situaties te vertrouwen. Als het antwoord "Nee" is, leert de assistent om dat gereedschap te vermijden.
Geen School Nodig: Het brein van de AI blijft bevroren. Alleen deze kleine "assistenten" (die zeer kleine computerprogramma's zijn) worden bijgewerkt.

3. Het Tweestaps Zoekproces

Wanneer de AI een nieuw probleem tegenkomt, gebruikt MILES een "Coarse-to-Fine" zoekproces, zoals het zoeken naar een boek in een bibliotheek:

Laag 1 (De Ruwe Zoektocht): De AI scant snel de labels (Subdoelen) om een paar veelbelovende tools te vinden. Het is alsof je door de "Wiskunde"-afdeling loopt en een paar boeken pakt die misschien relevant zijn.
Laag 2 (De Expert Review): De "assistenten" (selection heads) nemen die paar kandidaten en geven ze een score op basis van hun ervaring uit het verleden. "Wacht, deze tool werkte geweldig voor algebra maar faalde voor meetkunde. Laten we de andere kiezen."

Hoe het werkt in Real-Time (De "Zekerheid vs. Onzekerheid" Flow)

Het systeem werkt in twee modi, afhankelijk van hoe zeker de AI is:

De "Zeker" Modus (Leerfase):
Als de AI een probleem gemakkelijk oplost en het juiste antwoord krijgt, behandelt hij dit als een "trainingssessie". Hij breekt zijn succesvolle stappen af, slaat ze op als nieuwe Lego-steentjes in het notitieblok, en leert zijn assistenten welke tools het best werkten. Het notitieblok wordt rijker met elke succeservaring.
De "Onzekere" Modus (Helpende Fase):
Als de AI vastloopt of onzeker is, stopt hij met gokken. In plaats daarvan opent hij het notitieblok, vraagt zijn assistenten om advies en gebruikt de beste tools om zijn denken te sturen. Het is als een student die zijn hand opsteekt om de leraar om een hint te vragen wanneer hij vastzit.

Waarom dit ertoe doet (De Resultaten)

Het paper testte MILES op moeilijke wiskunde- en wetenschapsexamens (zoals AIME en MATH-500).

Betere Nauwkeurigheid: Het lost consequent meer problemen correct op dan andere methoden die gebruikmaken van geheugen of zoekopdrachten.
Efficiëntie: Het verspilde niet zoveel rekenkracht aan het doen van willekeurige gokken; het gebruikte het "geleerde" geheugen om sneller het juiste pad te kiezen.
Overdraagbaarheid: Het notitieblok dat door één AI-model is gebouwd, kon zelfs een ander AI-model helpen om problemen op te lossen. Het is alsocht als wanneer een meesterkok een kookboek schrijft dat een junior kok direct kan oppakken en gebruiken, zelfs als ze elkaar nooit hebben ontmoet.

Samenvattende Analogie

Stel je voor dat je een videogame speelt.

De Oude Manier: Je probeert elk level te verslaan door te gokken. Als je doodgaat, begin je opnieuw.
Vorige Geheugenmanier: Je houdt een lijst bij van "Win-strategieën" voor specifieke levels. Als je Level 5 ziet, gebruik je de Level 5 strategie. Als je Level 5.1 ziet, zit je vast.
MILES Manier: Je houdt een dynamische strategiegids bij die zichzelf bijwerkt. Wanneer je een level wint, schrijft de gids automatisch op welke zet het beste werkte voor die specifieke situatie. De volgende keer dat je een lastige sprong tegenkomt, laat de gids je niet alleen een lijst zien; de gids heeft een "slim filter" dat zegt: "Op basis van je eerdere overwinningen is de 'Dubbele Sprong' voor 90% waarschijnlijk dat het hier werkt."

MILES stelt AI in staat om ervaring op te doen en slimmer te worden in de loop van de tijd, niet door het brein opnieuw te trainen, maar door te leren hoe het zijn eigen groeiende bibliotheek van tips en trucs beter kan gebruiken.

Technische Samenvatting: MILES (Modular Instruction Memory with Learnable Selection)

Probleemformulering

Large Language Models (LLMs) hebben significante redeneercapaciteiten aangetoond door middel van test-time computation technieken zoals Chain-of-Thought (CoT), Self-Consistency en Tree Search. Echter, bestaande benaderingen behandelen elk probleem grotendeels in isolatie. In praktische scenario's waar problemen sequentieel binnenkomen, falen modellen erin om ervaring te accumuleren en te hergebruiken over gerelateerde queries. Het bijwerken van modelparameters voor elk nieuw probleem is vaak onhaalbaar, met name voor gesloten of bevroren modellen.

Hoewel externe geheugenmethoden bestaan, lijden deze aan kritieke beperkingen:

Slechte Generalisatie: Methoden die volledige oplossingssjablonen of strategieën opslaan, falen vaak wanneer nieuwe problemen nieuwe structuren bezitten.
Heuristische Selectie: Geheugenmethoden op stapniveau vertrouwen doorgaans op heuristische selectie (bijv. gelijkenis-retrieval of prompting) in plaats van te optimaliseren voor de correctheid van het uiteindelijke antwoord.
Trainingsbeperkingen: Het leren van selectiebeleid vereist doorgaans grootschalige gelabelde datasets, vaste actieruimtes of parameterupdates, wat incompatibel is met test-time settings waar het geheugen incrementeel wordt uitgebreid en supervisie beperkt is.

De kernuitdaging is het organiseren, onderhouden en hergebruiken van een extern geheugen dat de redeneernauwkeurigheid verbetert naarmate de ervaring accumuleert, zonder de onderliggende LLM-parameters bij te werken.

Methodologie: MILES Framework

MILES (Modular Instruction Memory with LEarnable Selection) pakt deze uitdagingen aan door test-time zelfverbetering mogelijk te maken door de accumulatie en compositie van herbruikbare stap-niveau redeneermodules. Het framework werkt op een bevroren LLM en bestaat uit vier kernelementen:

1. Modulaire Asymmetrische Geheugenstructuur

MILES slaat geheugen op als een collectie modulaire eenheden, gedefinieerd als asymmetrische paren $(g_i, u_i)$ :

Sub-doel Embedding ( $g_i$ ): Een dichte vector die het doel van een redeneerstap samenvat. Dit dient als een retrieval key.
Sub-instructie ( $u_i$ ): Een instructie in natuurlijke taal die wordt gebruikt om de generatie van de LLM te conditioneren wanneer de eenheid wordt toegepast.
Selectiekop (Selection Head): Elke geheugeneenheid is geassocieerd met een lichtgewicht, leerbare selectiekop ( $\pi_{\theta_a}$ ) die de toepasbaarheid van de eenheid voorspelt gegeven de huidige redeneerstatus.

Deze structuur maakt incrementele expansie mogelijk; nieuwe eenheden en de bijbehorende koppen kunnen worden toegevoegd zonder bestaande componenten opnieuw te trainen.

2. Coarse-to-Fine Retrieval Mechanisme

Om de efficiëntie van retrieval te balanceren met de nauwkeurigheid van selectie, gebruikt MILES een twee-laagse selectieprocedure:

Laag 1 (Coarse Retrieval): Gebaseerd op sub-doel gelijkenis. De LLM genereert kandidaat-stapdoelen, en hun embeddings worden vergeleken met opgeslagen sub-doelen middels cosine similarity. Een per-unit effectieve drempelwaarde filtert irrelevante eenheden weg. Deze laag faciliteert geheugenexpansie en verzamelt trainingsdata.
Laag 2 (Learned Applicability Scoring): Een geleerde selectiekop scoort de toepasbaarheid van geretraaide kandidaten op basis van de volledige redeneerstatus. Om variabele lengtes van statussen op te vangen, gebruikt MILES een context codebook (geclusterde embeddings van eerdere stap-doelen en condities) om vaste lengte feature vectoren te creëren via max-similarity pooling.
Gecombineerde Score: De uiteindelijke selectie combineert de semantische gelijkenis van Laag 1 met de geleerde toepasbaarheidsscore van Laag 2.

3. Leerbare Geheugencompositie

MILES behandelt geheugenselectie als een sequentieel beslissingsprobleem. Het doel is om de waarschijnlijkheid van een correct eindantwoord te maximaliseren.

Verzamelen van Trainingsdata: Voor "confidente" samples (waar meerdere LLM rollouts het eens zijn over een antwoord), voert het systeem Monte Carlo Tree Search (MCTS) uit met behulp van Laag 1 sampling. Dit genereert trajecten waarbij sub-instructies worden toegepast, en de resulterende correctheid dient als een pseudo-label.
Optimalisatie: De selectiekoppen worden getraind met binary cross-entropy op deze verzamelde trajecten. Het doel benadert een optimaal beleid afgeleid onder een KL-divergentie restrictie, wat de koppen aanmoedigt om eenheden te selecteren die leiden tot correcte antwoorden, terwijl overfitting wordt vermeden door one-vs-rest classificatie en ensemble methoden.

4. Inference Pipeline

Het systeem routeert test-samples op basis van vertrouwen:

Confidente Samples: Worden gebruikt om het geheugen uit te breiden en selectiekoppen te trainen. De LLM genereert responsen; als deze consistent zijn, wordt het traject gebruikt voor MCTS data-collectie en geheugen-samenvatting.
Onzekere Samples: Worden gerouteerd naar een geheugen-gestuurde tree search. Het systeem haalt kandidaten op via Laag 1, herrangschikt ze via Laag 2, en past de beste sub-instructie toe om de volgende redeneerstap te sturen, waarbij dit wordt herhaald totdat een eindantwoord is bereikt.

Belangrijkste Bijdragen

MILES Framework: Een nieuw framework voor test-time zelfverbetering dat incrementeel modulaire instructiegeheugens opbouwt uit confidence-rijke redeneertrajecten en geleerd geheugen toepast op onzekere gevallen zonder parameterupdates, externe supervisie of vaste actieruimtes.
Modulair Asymmetrisch Geheugen: Een structuur van (sub-doel, sub-instructie) paren met per-item selectiekoppen, wat een coarse-to-fine mechanisme mogelijk maakt dat zowel incrementele geheugenexpansie als leerbare compositie ondersteunt.
Leerbare Geheugencompositie: Een methode om lichtgewicht selectiekoppen te trainen vanuit de uitkomsten van rollouts op confidence-rijke samples, wat een zelf-gesuperviseerde, op correctheid geoptimaliseerde geheugencompositie mogelijk maakt onder beperkte test-time data.
Empirische Validatie: Uitgebreide experimenten die aantonen dat MILES de baseline methoden evenaart of overtreft over zes reasoning benchmarks en vier backbone modellen.

Experimentele Resultaten

De auteurs evalueerden MILES op zes benchmarks (MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering) met vier backbones (GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct).

Nauwkeurigheid: MILES evenaart consequent of overtreft de baseline methoden (inclusen Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts, en Dynamic CheatSheet). Opvallende verbeteringen werden waargenomen bij kleinere open-weight backbones waar andere geheugen-gebaseerde methoden er niet in slaagden de zero-shot CoT te overtreffen.
Efficiëntie: MILES domineert de accuracy-vs-token frontier. In tegen tegenstelling tot baselines die een plateau bereiken bij toenemende rekenkracht, blijft MILES verbeteren naarmate het token budget groeit door het construeren van aanvullende geheugeneenheden.
Transferbaarheid: Het framework ondersteunt cross-model transfer. Geheugen geconstrueerd uit de rollouts van hulpmodellen (bijv. Qwen3-30B) verbetert effectief de prestaties van een andere, sterkere bevroren backbone (bijv. GPT-4.1-mini).
Ablatie Studies: Het verwijderen van ofwel de coarse retrieval laag of de geleerde selectiekop degradeert de prestaties aanzienlijk, wat de noodzaak van het twee-laagse mechanisme valideert. De geleerde koppen presteren beter dan alternatieve rerankers gebaseerd op state similarity of LLM prompting.

Betekenis en Claims

Het artikel claimt dat MILES aantoont dat modulaire geheugencompositie een levensvatbaar en effectief mechanisme is voor de test-time zelfverbetering van bevroren LLM's.

Belangrijke punten van betekenis zijn onder meer:

Complementariteit: De stap-voor-stap geheugencompositie-aanpak is complementair aan bestaande prompting en test-time search methoden, en biedt een extra weg voor verbetering door geaccumuleerde ervaring.
Robuustheid: De methode is robuust over verschillende modelfamilies en datasetdistributies, en vertrouwt niet op externe Process Reward Models (PRMs) of gecureerde trainingsdatasets.
Schaalbaarheid: Door geheugenselectie los te koppelen van parameterupdates, biedt MILES een pad voor continue verbetering in settings waar modelgewichten niet gewijzigd kunnen worden.

De auteurs concluderen dat het leren van herbruikbare geheugen-selectie kennis een veelbelovende richting is voor het bouwen van continu verbeterende redeneersystemen, hoewel zij de beperkingen erkennen met betrekking tot de computationele overhead van de rollout-gebaseerde dataverzameling en de afhankelijkheid van de instructie-volgende capaciteiten van de onderliggende LLM.