🤖 machine learning

ISM:Self-Improving Strategy Memory for Continual Mathematical Reasoning

Het artikel stelt Intelligent Schema Memory (ISM) voor, een zelfevoluerend geheugensysteem dat het continue wiskundige redeneervermogen van bevroren grote taalmodellen verbetert door een compacte, geverifieerde bank van strategie-schema's bij te houden, waardoor het bestaande baselines overtreft met aanzienlijk minder opgeslagen strategieën onder strikte episodische resets.

Oorspronkelijke auteurs: Prakhar Dixit, Tim Oates

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Prakhar Dixit, Tim Oates

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante wiskundetutor hebt die ongelooflijk slim is, maar een heel vreemde regel heeft: hij kan niet leren van zijn fouten. Elke keer als hij een probleem oplost, wordt zijn brein gewist. Hij herinnert zich niets van het vorige uur, de vorige dag, of zelfs het probleem dat hij vijf minuten geleden net heeft opgelost. Als je hem een nieuwe vraag stelt, begint hij weer bij nul, alsof hij nog nooit van wiskunde heeft gehoord.

Dit is de situatie met veel krachtige AI-modellen (genaamd "frozen LLMs"). Ze zijn geweldig in geïsoleerde taken, maar als je ze een lange stroom van verschillende wiskundeproblemen geeft, blijven ze struikelen omdat ze niet kunnen voortbouwen op wat ze gisteren hebben geleerd.

Het artikel introduceert een oplossing genaamd ISM (Intelligent Schema Memory). Zie ISM niet als een nieuw brein voor de tutor, maar als een super-slimme, zelfreinigende archiefkast die direct naast de tutor staat.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het "Receptenboek" versus de "Indexkaart"

De meeste systemen die proberen de AI te helpen dingen te onthouden, dumpen gewoon elk enkel voorbeeld uit het verleden in een enorme hoop. Het is alsof je de tutor een bibliotheek van 10.000 boeken geeft en zegt: "Zoek de juiste eruit!" Dat wordt rommelig en traag.

ISM is anders. In plaats van hele problemen op te slaan, slaat het "Strategie-schema's" op.

De Inhoud (Het Recept): Dit is het eigenlijke advies, zoals: "Wanneer je een meetkundeprobleem met cirkels ziet, probeer dan een straal te tekenen."
De Kenmerk-haak (De Indexkaart): Dit is een label dat het systeem helpt om het juiste recept snel te vinden.

Het genie van ISM is dat het de "Inhoud" (het advies) stabiel houdt, maar de "Indexkaart" (het label) constant bijwerkt op basis van hoe goed dat recept heeft gewerkt. Dit betekent dat het systeem beter wordt in het vinden van het juiste advies zonder het advies zelf te veranderen.

2. De Zelfreinigende Dweilploeg

De archiefkast heeft een ingebouwde schoonmaker (de Memory Controller) die een proces van zelfverbetering uitvoert. Het laat de kast niet zomaar vollopen; het beheert deze actief met zeven specifieke instrumenten:

De Auditor (De Controleur): Controleert of een recept nog steeds nuttig is. Als het is gebruikt en gefaald heeft, markeert het dit.
De Merger (De Samenvoeger): Als twee recepten eigenlijk hetzelfde zijn, combineert het deze tot één om ruimte te besparen.
De Pruner (De Snoeer): Als een recept al een tijdje niet is gebruikt of steeds faalt, gooit het het in de prullenbak.
De Reinforcer (De Versterker): Als een recept heel goed werkt, voegt het een klein "spiekbriefje" toe om het de volgende keer nog beter te maken.
De Antipattern Recorder (De Foutpatroon-recorder): Als een recept faalt, verwijdert het niet alleen het recept; het schrijft ook op waarom het faalde, zodat het systeem weet wat het de volgende keer niet moet doen.

3. De "Veiligheidsinspecteur"

Dit is het meest cruciale onderdeel. Voordat de archiefkast nieuw advies accepteert of oud advies weggooit, controleert een Veiligheidsinspecteur de wiskunde.

Als de AI denkt dat een strategie werkt, gebruikt de Inspecteur een rekenmachine (symbolische tools) om te verifiëren of het antwoord daadwerkelijk correct is.
Als de wiskunde fout is, voorkomt de Inspecteur dat het systeem dat "slechte advies" opslaat.

Dit voorkomt dat het systeem de verkeerde dingen leert, wat een veelvoorkomend probleem is wanneer AI probeen zelfstandig te leren.

4. De Resultaten: Klein, Snel en Slim

De onderzoekers hebben dit systeem getest op zeer moeilijke wiskundewedstrijden (zoals middelbare school Olympiades). Ze vergeleken ISM met andere methoden:

De "Vanilla" Tutor: Geen geheugen op de minst. (Bleef vaak steken).
De "Passieve" Archiefkast: Sloeg gewoon alles op zonder te schoonmaken of te controleren. (Werd rommelig en traag).
Het "Retrieval" Systeem: Zoekte alleen door een enorme stapel oude voorbeelden. (Zeer traag en opgeblazen).

De Winnaar: ISM.

Het loste meer problemen correct op dan welke andere methode dan ook.
Het onthield lessen uit het verleden beter (minder "vergeten").
Het Beste Deel: Het deed dit allemaal terwijl het 64% tot 86% minder strategieën opsloeg dan het op één na beste systeem. Terwijl andere systemen duizenden voorbeelden verzamelden, hield ISM een kleine, uiterst efficiënte bibliotheek van ongeveer 13 tot 17 perfecte strategieën aan.

Het Grote Plaatje

Het artikel beweert dat je niet het brein van de AI hoeft te hertrainen om het slimmer te maken. In plaats daarvan kun je het een kleine, zelfreinigende, geverifieerde geheugenbank geven die leert van zowel zijn successen als zijn fouten.

Het is alsof je een student een schrift geeft waarin hij niet alleen elke huiswerkopdracht opschrijft, maar in plaats daarvan de regels opschrijft die werkten, de regels die niet werkten doorstreept, en het schrift constant organiseert zodat hij de juiste regel direct kan vinden. Het resultaat is een student die slimmer wordt over de tijd, ook al verandert zijn brein (de AI-modellen) nooit.

Technische Samenvatting: ISM – Self-Improving Strategy Memory voor Continue Wiskundige Redenering

1. Probleemstelling

Het artikel behandelt de uitdaging van continueel leren voor Large Language Models (LLMs) onder harde episodische resets. In deze setting moet een LLM met bevroren parameters ( $\theta$ ) een sequentiële stroom van wiskundige problemen oplossen die verspringende domeinen beslaan (bijv. Algebra, Meetkunde, Getaltheorie). Cruciaal is dat het model geen context ontvangt van vorige episodes, behalve wat expliciet is opgeslagen in een extern geheugenrepository ( $M_t$ ).

De kern van de moeilijkheid ligt in het feit dat standaard LLM's inzichten die zijn verkregen uit vorige taken verliezen zodra het contextvenster wordt gereset. Bestaande benaderingen om dit te verzachten, lijden aan specifieke beperkingen:

Reflectie-gebaseerde methoden (bijv. Reflexion) genereren ongestructureerde verbale feedback die niet gemakkelijk herbruikbaar is.
Retrieval-augmented systemen slaan ruwe voorbeelden op die zonder grenzen groeien en vertrouwen op oppervlakkige gelijkenis en de accumulatie van ruis.
Skill-library systemen (bijv. Voyager) breiden zich monotoon uit zonder mechanismen om nieuwe vermeldingen te verifiëren, duplicaten te consolideren of verouderde strategieën te verwijderen.

Het artikel stelt dat voor een bevroren LLM om zelf te evolueren in wiskundige redenering, een extern geheugen vereist is dat begrensd, verifieerbaar en actief onderhouden is in plaats van passief opgeslagen.

2. Methodologie: Intelligent Schema Memory (ISM)

ISM is een zelf-evoluerend geheugenframework ontworpen om strategieën op te halen en zijn repository actief te reguleren via een autonome zelfverbeteringslus, terwijl het onderliggende LLM bevroren blijft.

2.1. Kernarchitectuur

Het systeem werkt via vijf interagerende componenten:

Feature Extractor: Zet een probleem $x_t$ om in een gestructureerd ProblemFeatures-object dat operator-type, structurele patronen, heuristische signaturen en een semantische embedding bevat. Het gebruikt een hybride aanpak (regelgebaseerd + LLM-gebaseerd) die wordt verzoend door een overeenstemmingsscore.
Schema Bank: Slaat compacte strategie-schema's op. Elk schema is dubbel gerepresenteerd:
- Inhoud: De strategiebeschrijving, oplossingstemplate en heuristieken die in de solver-prompt worden geïnjecteerd.
- Feature Hook: Structurele en embedding-gebaseerde retrieval-signalen die online worden aangepast op basis van gebruik. Dit ontkoppelt wat een schema weet van hoe het wordt ontdekt.
Twee-fasen Retrieval:
- Fase 1 (Operator Filter): Filtert kandidaten hard door te matchen op de operator-type van het probleem (bijv. het filteren van meetkundeschema's voor getaltheorieproblemen).
- Fase 2 (Soft Scoring): Rangschikt resterende kandidaten met behulp van een gewogen som van structurele, heuristische, kwantitatieve, embedding- en eerdere succesratio-gelijkenissen.
Frozen LLM Solver: Ontvangt het probleem en de inhoud van het opgehaalde schema. Het opereert met een "harde reset" (geen eerdere context), maar kan optioneel een agentic mode betreden om verifieerbare tools aan te roepen (symbolische berekening, formele antwoordverificatie, schema-lookup, failure search) als het initiële antwoord faalt bij een sanity check.
Memory Controller: Voert na elke episode een zelfverbeteringslus uit om de bank bij te werken.

2.2. Zelfverbeteringsmechanismen

De Memory Controller voert zeven verschillende mechanismen uit op onafhankelijke schema's om de kwaliteit en omvang van de bank te behouden:

Self-Audit: Scoort schema's als sterk, neutraal, zwak of ongebruikt op basis van succesratio's en gebruikscounts.
Self-Correct: Herschrijft de inhoud van "zwakke" schema's (met voldoende gebruik) met behulp van een LLM en reset hun succesratio.
Self-Merge: Combineert bijna identieke schema's (hoge embedding cosine similarity) tot één enkele vermelding.
Self-Promote/Demote: Past retrieval-scores aan op basis van de succesratio's van schema's.
Self-Prune: Verwijdert ongebruikte schema's of schema's met aanhoudende fouten.
Self-Reinforce: Destilleert nieuwe positieve heuristieken uit succesvolle episodes en voegt deze toe aan sterke schema's.
Self-Antipattern: Extraheert "fouten-om-te-vermijden" uit mislukte episodes en legt deze vast in de inhoud van de geassocieerde schema's.

2.3. Conditionele Schema Evolutie & Verificatie

Evolution Gate: Als er een specifiek patroon van fouten optreedt (bijv. 3+ fouten met dezelfde operator in de laatste 20 episodes), creëert een synthesizer-LLM een nieuw algemeen-familie-schema met een warm-gestarte feature hook.
Verification Gate: Cruciaal, elke geheugenupdate (merging, herschrijven, versterken, synthetiseren) wordt afgeschermd door symbolische verificatie. Updates gaan alleen door als de onderliggende oplossing of gedeelde use-cases worden geverifieerd door symbolische computationele tools. Dit voorkomt dat de bank foutieve generalisaties versterkt.

3. Belangrijkste Bijdragen

De auteurs identificeren drie primaire bijdragen:

ISM Architectuur: Een zelf-evoluerend geheugensysteem met een autonome lus die strategieën ophaalt, symmetrisch leert van zowel successen als fouten, en alle updates afschermt via symbolische verificatie.
Dual-Representation Design: Een schema-ontwerp dat de inhoud (strategie) ontkoppelt van de retrieval-features (ontdekking), waardoor de nauwkeurigheid van de retrieval aanscherpt met ervaring zonder de onderliggende strategieën te wijzigen.
Empirische Validatie: Evaluatie onder een continueel leerprotocol met harde episodische resets op competitieniveau benchmarks, waarbij superieure prestaties worden aangetoond met aanzienlijk lagere opslagvereisten.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op een 300-episode continuele leerstroom over twee benchmarks: MATH-Hard (niveau-5 problemen) en OlympiadBench (olympiade-niveau problemen). Het werd vergeleken met vijf baselines: Vanilla LLM, Static Schema, RAG-over-Examples, Reflexion, en Passive Schema Memory (ISM zonder zelfverbeteringsmechanismen).

Prestatie-metrieken

Nauwkeurigheid: ISM behaalde de hoogste nauwkeurigheid op beide benchmarks (80,67% op MATH-Hard en 61,67% op OlympiadBench), waarmee het de sterkste baseline (Passive Schema Memory) met 2,00 procentpunt op beide versloeg.
Stabiliteit & Vergeten: ISM vertoonde verbeterde stabiliteit (behoud van kennis van oude domeinen) en minder vergeten vergeleken met de baselines. Op OlympiadBench demonstreerde ISM een positieve Backward Transfer (BWT) van +0,03, wat aangeeft dat het leren van nieuwe domeinen de prestaties op oude domeinen verbeterde.
Geheugenefficiëntie: ISM behield een drastisch kleinere geheugenvoetafdruk:
- MATH-Hard: 17 schema's versus 47 voor Passive (64% minder) en 300 voor RAG/Reflexion.
- OlympiadBench: 13 schema's versus 91 voor Passive (86% minder) en 300 voor RAG/Reflexion.
- Gemiddeld gebruikte ISM tot 23× minder vermeldingen dan retrieval-gebaseerde systemen.

Kwalitatieve Bevindingen

Casestudies toonden aan dat het vermogen van ISM om nieuwe schema's te synthetiseren na het detecteren van herhaalde foutpatronen, het in staat stelde om de juiste strategie op te halen in daaropvolgende episodes waar baselines faalden. Het actieve onderhoud (pruning/merging) voorkwam de "bloat" (opzwelling) die in passieve systemen wordt gezien.

5. Betekenis en Beperkingen

Betekenis

Het artikel betoogt dat kleine, actief onderhouden en geverifieerde strategie-geheugens betrouwbare continue wiskundige redenering in bevroren LLM's kunnen ondersteunen. Het demonstreert dat extern geheugen niet louter een passieve opslageenheid hoeft te zijn, maar kan fungeren als een zelf-corrigerend bezit dat over tijd verbetert zonder het model te hertrainen. Dit adresseert een fundamentele vraag in AI: hoe een bevroren systeem zichzelf kan evolueren terwijl de geaccumuleerde kennis begrensd en verifieerbaar blijft.

Beperkingen

De auteurs merken expliciet enkele beperkingen op:

Evaluatiebereik: Experimenten gebruikten een enkele willekeurige seed en volgorde van de stream; de resultaten zijn voorlopig bewijs en geen definitieve schattingen.
Ablatie: De studie evalueert de geaggregeerde waarde van actieve instandhouding (via de Passive baseline), maar isoleert niet de bijdrage van individuele mechanismen (bijv. Self-Reinforce versus Self-Merge).
Baseline Vergelijking: De vergelijking richt zich op geheugen-georiënteerde benaderingen en bevat geen zoekintensieve redeneersystemen (zo.v. Tree-of-Thoughts) of volledig agentic frameworks.
Model en Domein Generalisatie: De resultaten zijn beperkt tot één bevroren LLM-backbone en twee wiskundige benchmarks. Generalisatie naar andere domeinen (bijv. formele bewijzen, code) of andere modelgroottes blijft onbewezen.
Verificatiebeperkingen: De huidige verificatiegate vertrouwt op symbolische tools die geschikt zijn voor numerieke/symbolische antwoorden, maar zijn minder toepasbaar op bewijs-georiënteerde taken die complexe redenering vereisen.