🤖 machine learning

Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

Dit artikel introduceert een raamwerk voor Streaming Knowledge Compilation dat efficiënte LLM-wikis onderhoudt voor evoluerende corpora door documenten proactief te pinnen op basis van een geleerd materialiteitssignaal, waarbij een bewijsbaar $O(\sqrt{T\log K})$ regret-begrens wordt bereikt en een superieure prestatie ten opzichte van statische baselines wordt aangetoond in zowel de financiële als de Wikipedia-domeinen via een nieuwe regret-gebaseerde evaluatiemetriek.

Oorspronkelijke auteurs: Juan M. Huerta

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan M. Huerta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, superintelligente assistent hebt (een AI) die veel van de wereld weet, maar wiens geheugen beperkt is. Ze kunnen slechts een bepaalde hoeveelheid informatie tegelijkertijd in hun "werkgeheugen" houden.

Normaal gesproken, wanneer je deze assistent een vraag stelt, vertrouwen ze ofwel op wat ze al weten (wat verouderd kan zijn) of ze gaan naar een bibliotheek om een boek te zoeken, het te lezen en dan pas antwoord te geven. Dat bezoek aan de bibliotheek kost tijd.

Het Probleem:
Wat als de wereld verandert terwijl je wacht? In de financiële wereld kan een bedrijf plotseling worden aangeklaagd. Op Wikipedia kan een grote gebeurtenis de geschiedenis in real-time herschrijven. Als het "werkgeheugen" van je assistent vol zit met oude feiten, kunnen ze geen nieuwe vragen correct beantwoorden.

Het artikel introduceert een oplossing genaamd Streaming Knowledge Compilation. Denk aan een slimme, proactieve bibliothecaris die niet wacht tot je een vraag stelt. In plaats daarvan houdt hij een live nieuwsfeed in de gaten, voorspelt welke verhalen belangrijk gaan worden voordat je erom vraagt, en vervangt hij oude feiten in het geheugen van de assistent door de nieuwe, cruciale informatie.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het "Materiality" Signaal: De Hittedetector

De grootste uitdaging is dat de nieuwsfeed enorm groot is. Je kunt niet alles in het geheugen van de assistent stoppen; daar is niet genoeg ruimte voor. Je moet kiezen.

De auteurs hebben een "hittedetector" (een materiality signal genoemd) gemaakt die elk nieuw artikel scant en vraagt: "Gaat dit verhaal voor een grote reactie zorgen?"

In de financiële wereld: De detector zoekt naar abnormale aandelenvolatiliteit. Als een nieuwsartikel waarschijnlijk ervoor zorgt dat een aandelenkoers springt of stort, is het "heet".
In Wikipedia: De detector zoekt naar abnormale bewerkingssnelheid. Als een pagina door honderden mensen in een korte tijd hectisch wordt bewerkt, is het "heet".

Als een artikel "heet" is, plaatst het systeem het vast in het geheugen (het wordt "gepinned"). Als het "koud" is (gewoon een saaie routine-update), wordt het weggegooid om ruimte te maken.

2. De "Proactieve" Stap: Voorspellen voordat je vraagt

Traditionele systemen wachten tot je een vraag stelt, beseffen dat ze het antwoord niet weten, en gaan dan pas hun geheugen bijwerken. Dit systeem is echter proactief.

Het voorspelt dat omdat een aandeel volatiel is, je er waarschijnlijk snel over gaat vragen. Dus het werkt het geheugen bij voordat je de vraag zelfs maar typt. Het is als een weer-app die je vertelt dat je een paraplu moet pakken voordat je naar buiten stapt, in plaats van te wachten tot je al nat bent geworden.

3. De "Slimme Wissel": Vermijden van redundantie

Het systeem is ook slim in wat het bewaart. Stel je voor dat je een nieuwsfeed hebt over een technologiebedrijf.

Artikel A: "Techbedrijf X had een slechte kwartaalcijfers."
Artikel B: "Aandeel van Techbedrijf X daalde met 10%."

Dit zijn hetzelfde verhaal. Als het systeem beide bewaart, verspilt het ruimte. De auteurs hebben een State-Aware Scorer gebouwd. Deze kijkt naar wat er al in het brein van de assistent zit. Als het brein het verhaal over de "slechte kwartaalcijfers" al heeft, realiseert het systeem zich dat het verhaal over de "koersdaling" redundant is en geeft het een lage score, zodat het niet wordt vastgezet. Het bewaart alleen de nieuwe informatie die waarde toevoegt.

4. De Twee Experimenten: Financiën en Wikipedia

Het team heeft dit idee in twee zeer verschillende werelden getest om te bewijzen dat het overal werkt:

De Financiële Test: Ze gebruikten beursgegevens. Ze trainden een klein "hoofd" op een bevroren AI-model om te voorspellen welk nieuws voor aandelenvolatiliteit zou zorgen.
- Resultaat: Het systeem voorspelde succesvol welk nieuws "heet" was (72,8% nauwkeurigheid in rangschikking).
- De Twist: Toen ze de uiteindelijke antwoorden testten, raakte de AI-beoordelaar (een andere AI) in de war. Omdat de AI-beoordelaar al veel wist over grote bedrijven, gaf het soms de voorkeur aan de "zelfverzekerde maar foutieve" antwoorden van de niet-bijgewerkte AI boven de "feitelijk correcte maar rommelige" antwoorden van het bijgewerkte systeem. Dit leerde hen dat regret analysis (meten hoe veel slechter het systeem presteert vergeleken met een perfecte versie) een betere manier is om succes te meten dan alleen te vragen "Kreeg het het juiste cijfer?".
De Wikipedia Test: Ze gebruikten Wikipedia-bewerkingen.
- Resultaat: Hier werkte het systeem perfect. Omdat de AI-beoordelaar de specifieke, actuele bewerkingen niet kende, scoorde het systeem dat de nieuwe feiten had een stuk hoger. Dit bevestigde dat het systeem echt werkt wanneer de informatie werkelijk nieuw is.

5. De "Regret" Garantie

De auteurs hebben zware wiskunde gebruikt om te bewijzen dat hun systeem efficiënt is. Ze lieten zien dat zelfs als hun "hittedetector" niet perfect is (hij maakt fouten maakt), het systeem nog steeds goed zal presteren over een langere periode.

Ze noemen dit Regret. Denk aan de "gemiste kansen-kosten".

Als je een perfecte orakel (een magische kristallen bol) had die precies wist welk nieuws belangrijk was, hoe beter zou die presteren?
Het artikel bewijst dat de "gemiste kansen" van hun systeem langzaam groeien (sub-lineair). Dit betekent dat naarmate de tijd verstrijkt, hun slimme, proactieve bibliothecaris bijna net zo goed wordt als de magische kristallen bol, zonder dat hij perfect hoeft te zijn.

Samenvattende Metafoor

Stel je voor dat je in een auto rijdt met een beperkt dashboardscherm.

De Oude Manier: Je wacht tot je een kuil ziet, en dan kijk je op de kaart om te zien of er een omleiding is. Je raakt de kuil eerst.
Deze Methode uit het Artikel: Je hebt een sensor die kuilen detecteert die op de weg voor je ontstaan. Voordat je de kuil zelfs maar ziet, wisselt het systeem automatisch de kaart op je scherm om de omleiding te tonen.
De Catch: De sensor is niet 100% perfect; soms denkt hij dat een plas een kuil is. Maar het systeem is slim genoeg om te beseffen: "Oh, ik heb al een omleiding voor deze weg," zodat het geen dubbele kaart op je scherm verspilt.

Het artikel concludeert dat deze "Streaming Knowledge Compilation" een krachtige, algemene manier is om AI-assistenten up-to-date te houden in snel veranderende werelden zoals financiën, nieuws en wetenschap, met behulp van één enkel, efficiënt algoritme dat zich aanpast aan welke "hittedetector" je ook geeft.

Technische Samenvatting: Streaming Knowledge Compilation voor Tijdsevoluerende LLM-Wiki's

1. Probleemformulering

Het artikel behandelt de beperking van bestaande LLM-wikisystemen, die kennis compileren in vooraf gevulde KV-caches voor efficiënte inferentie, maar uitgaan van een statische corpus. In hoogwaardige domeinen zoals de financiële sector en real-time encyclopedieën evolueert het informatielandschap continu. De fundamentele uitdaging is Streaming Knowledge Compilation: gegeven een continue stroom van documenten, een vast tokenbudget en toekomstige queries die op het moment van ingestie nog onbekend zijn, hoe onderhoudt men een gecompileerde wiki die de cumulatieve regret minimaliseert ten opzichte van een offline oracle met perfect vooruitziende blik?

De kernmoeilijkheid ligt in de beslissing welke van de honderden dagelijkse documenten een incorporatie binnen een vast budget rechtvaardigen zonder te wachten op een query die een kenniskloof blootlegt. Het artikel formaliseert dit als een budgetbeperkt online optimalisatieprobleem waarbij het doel is om de regret te minimaliseren, gedefinieerd als het verschil in antwoordkwaliteit tussen de online wiki en een oracle-wiki die is gecompileerd met perfecte kennis van toekomstige gebeurtenissen met een hoge materialiteit.

2. Methodologie: Online WiCER

De auteurs introduceren Online WiCER, een algoritme dat de reactieve "Compile–Evaluate–Refine"-lus van de oorspronkelijke WiCER (geïnspireerd door Counterexample-Guided Abstraction Refinement, CEGAR) transformeert naar een proactief, voorspellingsgestuurd proces.

Kerncomponenten:

Materialiteitsignaal ( $\phi_t$ ): Het framework vertrouwt op een domeinspecifiek signaal $\phi_t(k, n) \in [0, 1]$ $ϕ_{t} (k, n) \in [0, 1]$ dat de informatieve belangrijkheid van een document $n$ $n$ voor een entiteit $k$ $k$ op tijdstip $t$ $t$ scoort. Dit signaal fungeert als een surrogaat voor query-relevantie, wat proactieve pinning mogelijk maakt voordat queries arriveren.
- Financiële instantie: Abnormale aandelenvolatiliteit (Abnormal Volatility Ratio, AVR), gedefinieerd als de ratio van de gerealiseerde volatiliteit van een aandeel over 5 dagen vooruit versus het cross-sectionele marktgemiddelde.
- Wikipedia-instantie: Abnormale edit-ratio (Abnormal Edit Ratio, AER), gedefinieerd als de ratio van de edit-velocity van een entiteit versus het cross-sectionele gemiddelde.
State-Aware Marginal Regret Scorer: In plaats van feiten in isolatie te scoren, gebruikt het systeem een regressie-head op een bevroren LLM-backbone om de marginale verwachte reductie van de regret te schatten van een kandidaat-feit gegeven de huidige set gepinde feiten. Dit houdt rekening met redundantie; als een feit al gedekt wordt door bestaande pins, daalt de marginale waarde ervan.
Pin Selectie en Evictie:
- Selectie: Een guldig algoritme selecteert feiten die de marginale regret-reductie maximaliseren onder het tokenbudget. Theoretisch bereikt dit een $(1 - 1/e)$ benadering van de optimale set indien de wiki-kwaliteit submodulair is.
- Evictie: Een decay-weighted priority queue beheert het pin-budget. Pins vervallen in de loop van de tijd ( $\exp(-\lambda \cdot \Delta t)$ ), waardoor ervoor wordt gezorgd dat verouderde feiten met een hoge score worden verwijderd om ruimte te maken voor nieuwe gebeurtenissen.
Compilatie: Het systeem voert dagelijks incrementele updates uit en volledige recompilatie (met behulp van het oorspronkelijke WiCER-algoritme) op periodieke intervallen ( $T_r$ ) om gepinde feiten te integreren in de narratieve structuur.
Predictive CEGAR: Het framework formaliseert "Predictive CEGAR", waarbij "tegenvoorbeelden" (kenniskloven) worden voorspeld vanuit de stroom (bijv. hoge volatiliteit) in plaats van reactief te worden ontdekt via mislukte QA-probes.

Theoretische Garanties:
Het artikel bewijst een cumulatieve regret-bound van $O(\sqrt{T} \log K)$ . De bound deelt zich op in een eviction regret-term en een prediction error-term ( $\epsilon = E[|\phi_t - \hat{\phi}_t|]$ ). Cruciaal is dat de regret-bound domein-agnostisch is; het enige domeinspecifieke kwantiteit is de prediction error van het materialiteitssignaal.

3. Experimentele Resultaten

Het framework werd geïnstantieerd in twee domeinen: Financiën (76k artikelen, 39 S&P 500-bedrijven) en Wikipedia (25 entiteiten, 50k–200k edits).

Financieel Domein:

Materialiteitsvoorspelling: Een lichtgewicht classificatie-head getraind op een bevroren Llama 3.1 8B-backbone bereikte een AUROC van 0.728 op een strikte temporele split voor het voorspellen van abnormale volatiliteit. Het model identificeerde succesvol artikelen die geassocieerd waren met een 1.49 $\times$ hogere gerealiseerde voorwaartse volatiliteit.
Scorer Architectuur: Een hybride aanpak (zero-shot prompting + lineaire classificatie-head) toonde aan dat de classificatie-head alleen al het discriminerende signaal vastlegde, waarbij het zero-shot pad primair diende als een low-latency router voor ambigue gevallen.
End-to-End QA: Evaluatie onthulde een significante confound: wanneer een LLM-als-judge (dezelfde backbone) werd gebruikt om antwoorden op post-training feiten te evalueren, scoorde de "No Wiki"-baseline vaak het hoogst vanwege de voorkeur van de judge voor vloeiende, zelfverzekerde parametrische responsen boven feitelijk gefundeerde maar specifieke wiki-content.
Regret Analyse: Ondanks de QA-score confound, toonde de regret-analyse op gematchte paren aan dat Online WiCER convergeert naar een cumulatieve regret van -20.0 (gemiddeld -0.12/stap) tegenover de oracle. De auteurs interpreteren het negatieve teken niet als algoritmische superioriteit, maar als bewijs van de LLM-judge confound (de dichte, specifieke feiten van de oracle werden door de judge bestraft).

Wikipedia Domein:

Materialiteitssignaal: De Abnormal Edit Ratio (AER) diende als het signaal.
Regret Analyse: In dit domein was de LLM-judge confound afwezig (de backbone miste parametrische kennis van specifieke 2024–2025 edits). Hier verbeterde rijkere context de scores consistent. Online WiCER vertoonde een cumulatieve regret van +16.0 (gemiddeld +0.13/stap) tegenover de oracle. Het positieve teken bevestigt dat het algoritme de oracle succesvol volgde, waarbij het gat werd toegeschreven aan het ruisiger AER-signaal vergeleken met de financiële volatiliteit-predictor.
Vergelijking: De FIFO (alleen recentie-gebaseerde) baseline presteerde bijna net zo goed als de Oracle in Wikipedia, wat suggereert dat voor entiteiten met een hoge edit-velocity, recentie een sterke proxy is, hoewel het AER-signaal een principieel, domein-agnostisch selectiemechanisme bood.

Efficiëntie:
Het systeem demonstreerde een hoge throughput op commodity hardware (Apple M4), met verwerkingssnelheden van meer dan 30.000 artikelen per uur, wat 63 $\times$ de piek stroomsnelheid van financiële nieuwsfeeds is. De state-aware scorer voegde verwaarloosbare latentie toe (enkele dot product) bovenop de forward pass van de bevroren backbone.

4. Belangrijkste Bijdragen

Formalisering van Streaming Knowledge Compilation: Het definiëren van het probleem van het onderhouden van een budget-gebonden wiki tegen een streaming corpus met onbekende toekomstige queries.
Online WiCER Algoritme: Een proactief pinning-algoritme met materiaaliteit-gescorende selectie, decay-weighted evictie en periodieke recompilatie.
State-Aware Marginal Scorer: Een regressie-head op een bevroren backbone die conditioneert op de huidige pin-set om niet-redundante feiten te selecteren, met een $(1-1/e)$ submodulaire benaderingsgarantie.
Regret Decomposition Theorem: Het bewijzen van een $O(\sqrt{T} \log K)$ regret-bound waarbij de enige domeinspecifieke term de prediction error van het materialiteitssignaal is.
Predictive CEGAR: Het uitbreiden van het CEGAR-paradigma van reactieve tegenvoorbeeld-ontdekking naar proactieve voorspelling van kenniskloven.
Methodologische Bevinding: Het aantonen dat "LLM-as-judge" evaluatie geconfound is op post-training feiten, waardoor regret-analyse op gematchte paren de betrouwbare metriek wordt voor gecompileerde kennissystemen.

5. Betekenis en Claims

Het artikel claimt dat Streaming Knowledge Compilation een algemeen probleem is dat toepasbaar is op elk domein waar kenniskloven voorspeld kunnen worden vanuit streaming signalen (bijv. financiën, klinische literatuur, juridische documenten). De betekenis ligt in:

Proactiviteit: De verschuiving van reactieve updates (wachten op een query-fout) naar proactief onderhoud (het voorspellen van hoogwaardige gebeurtenissen).
Domein-Agnostiek: Het algoritme en de theoretische garanties zijn onafhankelijk van het specifieke materialiteitssignaal; de domeinexpert hoeft alleen een signaal $\phi_t$ te leveren.
Theoretische Onderbouwing: Het bieden van formele convergentiegaranties en regret-bounds voor een systeem dat opereert onder query-onzekerheid.
Praktische Leefbaarheid: Het demonstreren dat een enkele bevroren LLM-backbone zowel de kennis-compiler als de materiaaliteit-scorer kan dienen, waarbij een hoge throughput en lage latentie worden behaald die geschikt zijn voor real-time stromen.

De auteurs blijven bescheiden en wijzen op beperkingen zoals de inherente imperfectie van materiaaliteitsvoorspelling (het missen van "black swan" gebeurtenissen), de potentiële verstoring van cross-sectionale normalisatie tijdens gecorreleerde crises, en de huidige afhankelijkheid van specifieke domeinsignalen. Zij beweren niet dat het systeem een handelsinstrument is, maar eerder een mechanisme voor kenniscuratie.