🤖 machine learning

Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

Dieses Paper führt ein Framework für Streaming Knowledge Compilation ein, das effiziente LLM-Wikis für sich entwickelnde Korpora aufrechterhält, indem es Dokumente proaktiv basierend auf einem gelernten Materialitätssignal fixiert, wodurch eine beweisbare $O(\sqrt{T\log K})$ Regret-Schranke erreicht und eine überlegene Leistung gegenüber statischen Baselines in den Bereichen Finanzen und Wikipedia durch eine neuartige, auf Regret basierende Evaluationsmetrik demonstriert wird.

Ursprüngliche Autoren: Juan M. Huerta

Veröffentlicht 2026-06-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Juan M. Huerta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, superintelligenten Assistenten (eine KI), der viel über die Welt weiß, aber sein Gedächtnis begrenzt ist. Er kann nur eine bestimmte Menge an Informationen zurzeit in seinem „Arbeitsgedächtnis“ halten.

Normalerweise, wenn Sie diesen Assistenten eine Frage stellen, greift er entweder auf das zurück, was er bereits weiß (was veraltet sein kann), oder er geht in eine Bibliothek, um ein Buch zu finden, es zu lesen und dann zu antworten. Dieser Bibliotheksbesuch kostet Zeit.

Das Problem:
Was ist, wenn sich die Welt während des Wartens verändert? In der Finanzwelt kann ein Unternehmen über Nacht verklagt werden. Bei Wikipedia kann ein bedeutendes Ereignis die Geschichte in Echtzeit umschreiben. Wenn das „Arbeitsgedächtnis“ Ihres Assistenten voll mit alten Fakten ist, kann er keine neuen Fragen korrekt beantworten.

Das Paper stellt eine Lösung namens Streaming Knowledge Compilation vor. Stellen Sie sich das wie einen smarten, proaktiven Bibliothekar vor, der nicht erst wartet, bis Sie eine Frage stellen. Stattdessen beobachtet er einen Live-Newsfeed, sagt voraus, welche Geschichten wichtig werden werden, bevor Sie danach fragen, und tauscht alte Fakten im Gehirn des Assistenten gegen die neuen, kritischen aus.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das „Materialitäts“-Signal: Der Hitzedetektor

Die größte Herausforderung ist, dass der Newsfeed riesig ist. Man kann nicht alles in das Gehirn des Assistenten packen; es gibt nicht genug Platz. Man muss auswählen.

Die Autoren haben einen „Hitzedetektor“ (ein Materialitätssignal) entwickelt, der jeden neuen Artikel scannt und fragt: „Wird diese Geschichte eine große Reaktion hervorrufen?“

In der Finanzwelt: Der Detektor sucht nach abnormaler Aktienvolatilität. Wenn ein Nachrichtenartikel wahrscheinlich dazu führt, dass ein Aktienkurs springt oder abstürzt, ist er „heiß“.
In Wikipedia: Der Detektor sucht nach abnormaler Editierschwindigkeit. Wenn eine Seite in kurzer Zeit von Hunderten von Menschen hektisch bearbeitet wird, ist sie „heiß“.

Wenn ein Artikel „heiß“ ist, merkt sich das System ihn (pinnt ihn fest) im Gedächtnis des Assistenten. Wenn er „kalt“ ist (nur ein langweiliges, routinemäßiges Update), wird er weggeworfen, um Platz zu schaffen.

2. Der „proaktive“ Zug: Vorausahnen, bevor Sie fragen

Traditionelle Systeme warten darauf, dass Sie eine Frage stellen, merken dann, dass sie die Antwort nicht wissen, und gehen erst dann los, um ihr Gedächtnis zu aktualisieren. Dieses System in dem Paper ist proaktiv.

Es sagt voraus, dass weil eine Aktie volatil ist, Sie wahrscheinlich bald danach fragen werden. Es aktualisiert also das Gedächtnis, bevor Sie überhaupt die Frage eintippen. Es ist wie eine Wetter-App, die Ihnen sagt, dass Sie einen Regenschirm mitnehmen sollen, bevor Sie nach draußen gehen, anstatt zu warten, bis Sie nass geworden sind.

3. Der „smarte Tausch“: Redundanz vermeiden

Das System ist auch clever darin, was es behält. Stellen Sie sich einen Newsfeed über ein Technologieunternehmen vor.

Artikel A: „Tech-Unternehmen X hatte einen schlechten Quartalsbericht.“
Artikel B: „Die Aktie von Tech-Unternehmen X ist um 10 % gefallen.“

Dies ist dieselbe Geschichte. Wenn das System beide behält, verschwendet es Platz. Die Autoren haben einen State-Aware Scorer (zustandsbewussten Bewertungsalgorithmus) entwickelt. Er schaut nach, was sich bereits im Gehirn des Assistenten befindet. Wenn das Gehirn bereits die Geschichte über den „schlechten Quartalsbericht“ enthält, erkennt das System, dass die Geschichte über den „Aktiensturz“ redundant ist, und vergibt einen niedrigen Score, sodass sie nicht festgemerkt wird. Es behält nur die neuen Informationen, die einen Mehrwert bieten.

4. Die zwei Experimente: Finanzen und Wikipedia

Das Team hat diese Idee in zwei sehr unterschiedlichen Welten getestet, um zu beweisen, dass sie überall funktioniert:

Der Finanztest: Sie verwendeten Börsendaten. Sie trainierten einen kleinen „Head“ auf einem eingefrorenen KI-Modell, um vorherzusagen, welche Nachrichten für Aktienvolatilität sorgen würden.
- Ergebnis: Das System sagte erfolgreich voraus, welche Nachrichten „heiß“ waren (72,8 % Genauigkeit im Ranking).
- Die Wendung: Als sie die endgültigen Antworten testeten, wurde der KI-Richter (eine andere KI) verwirrt. Da der KI-Richter bereits viel über große Unternehmen wusste, bevorzugte er manchmal die „selbstbewussten, aber falschen“ Antworten der nicht-aktualisierten KI gegenüber den „faktenkorrekten, aber überladenen“ Antworten des aktualisierten Systems. Dies lehrte sie, dass eine Regret-Analyse (Messung, wie viel schlechter das System im Vergleich zu einer perfekten Version ist) ein besserer Weg ist, um Erfolg zu messen, als nur zu fragen: „Hat es die richtige Punktzahl erreicht?“
Der Wikipedia-Test: Sie verwendeten Wikipedia-Edits.
- Ergebnis: Hier funktionierte das System perfekt. Da der KI-Richter die spezifischen, brandaktuellen Edits nicht kannte, schnitt das System, das die neuen Fakten besaß, deutlich besser ab. Dies bestätigte, dass das System tatsächlich funktioniert, wenn die Informationen wirklich neu sind.

5. Die „Regret“-Garantie

Die Autoren haben komplexe Mathematik angewandt, um zu beweisen, dass ihr System effizient ist. Sie zeigten, dass das System selbst dann gut funktioniert, wenn der „Hitzedetektor“ nicht perfekt ist (also Fehler macht).

Sie nennen dies Regret (Reue/Bedauern). Denken Sie an die „entgangenen Opportunitätskosten“.

Wenn Sie einen perfekten Orakel (eine magische Kristallkugel) gehabt hätten, der genau wusste, welche Nachrichten wichtig sind, wie viel besser hätte dieser abgeschnitten?
Das Paper beweist, dass die „verpassten Chancen“ ihres Systems nur unterlinear wachsen. Das bedeutet, dass das System mit der Zeit fast so gut wird wie die magische Kristallkugel, ohne dass es perfekt sein muss.

Zusammenfassende Metapher

Stellen Sie sich vor, Sie fahren ein Auto mit einem begrenzten Armaturenbrett-Display.

Der alte Weg: Sie warten, bis Sie ein Schlagloch sehen, und schauen dann auf die Karte, um zu sehen, ob es eine Umleitung gibt. Sie treffen zuerst das Schlagloch.
Der Weg dieses Papers: Sie haben einen Sensor, der Schlaglöcher erkennt, die sich auf der Straße vor Ihnen bilden. Bevor Sie das Schlagloch überhaupt sehen, tauscht das System automatisch die Karte auf Ihrem Display aus, um die Umleitung anzuzeigen.
Der Haken: Der Sensor ist nicht zu 100 % perfekt; manchmal hält er eine Pfütze für ein Schlagloch. Aber das System ist klug genug, um zu erkennen: „Oh, ich habe bereits eine Umleitung für diese Straße“, und verschwendet so keinen Platz auf dem Display mit einer doppelten Karte.

Das Paper kommt zu dem Schluss, dass dieses „Streaming Knowledge Compilation“ eine leistungsstarke, allgemeine Methode ist, um KI-Assistenten in schnelllebigen Welten wie Finanzen, Nachrichten und Wissenschaft auf dem neuesten Stand zu halten, indem ein einzener, effizienter Algorithmus verwendet wird, der sich an den jeweiligen „Hitzedetektor“ anpasst.

Technisches Resümee: Streaming-Wissenskompilierung für zeitveränderliche LLM-Wikis

1. Problemformulierung

Die Arbeit adressiert die Einschränkung bestehender LLM-Wiki-Systeme, die Wissen in vorab gefüllte KV-Caches zur effizienten Inferenz kompilieren, dabei jedoch von einem statischen Korpus ausgehen. In hochsensiblen Bereichen wie dem Finanzwesen und Echtzeit-Enzyklopädien entwickeln sich Informationslandschaften kontinuierlich weiter. Die grundlegende Herausforderung ist die Streaming-Wissenskompilierung: Wie erhält man bei einem kontinuierlichen Dokumentenstrom, einem festen Token-Budget und zukünftigen Abfragen, die zum Zeitpunkt der Aufnahme noch unbekannt sind, ein kompiliertes Wiki, das das kumulative Regret gegenüber einem Offline-Oracle mit perfekter Voraussicht minimiert?

Die Kernschwierigkeit besteht darin, zu entscheiden, welche der hunderte täglichen Dokumente innerhalb eines festen Budgets eine Aufnahme rechtfertigen, ohne auf eine Abfrage warten zu müssen, die eine Wissenslücke offenlegt. Das Papier formalisiert dies als ein budgetbeschränktes Online-Optimierungsproblem, bei dem das Ziel darin besteht, das Regret zu minimieren, welches als Differenz in der Antwortqualität zwischen dem Online-Wiki und einem Oracle-Wiki definiert ist, das mit perfektem Wissen über zukünftige Ereignisse hoher Materialität kompiliert wurde.

2. Methodik: Online WiCER

Die Autoren führen Online WiCER ein, einen Algorithmus, der den reaktiven „Compile–Evaluate–Refine“-Zyklus des ursprünglichen WiCER (inspiriert durch Counterexample-Guided Abstraction Refinement, CEGAR) in einen proaktiven, vorhersagegesteuerten Prozess transformiert.

Kernkomponenten:

Materialitätssignal ( $\phi_t$ ): Das Framework stützt sich auf ein domänenspezifisches Signal $\phi_t(k, n) \in [0, 1]$ $ϕ_{t} (k, n) \in [0, 1]$ , das die informationelle Bedeutung eines Dokuments $n$ $n$ für eine Entität $k$ $k$ zum Zeitpunkt $t$ $t$ bewertet. Dieses Signal fungiert als Stellvertreter für die Relevanz der Abfrage und ermöglicht ein proaktives „Pinning“ vor dem Eintreffen von Abfragen.
- Finanz-Instanziierung: Anormale Aktienvolatilität (Abnormal Volatility Ratio, AVR), definiert als das Verhältnis der realisierten 5-Tage-Vorwärts-Volatilität einer Aktie zum querschnittlichen Marktdurchschnitt.
- Wikipedia-Instanziierung: Abnormal Edit Ratio (AER), definiert als das Verhältnis der Edit-Geschwindigkeit einer Entität zum Querschnittsdurchschnitt.
Zustandsbewusster Marginaler Regret-Scorer: Anstatt Fakten isoliert zu bewerten, nutzt das System einen Regressionskopf auf einem eingefrorenen LLM-Backbone, um die marginale erwartete Reduktion des Regrets eines Kandidatenfakts gegeben den aktuellen Satz gepinnter Fakten zu schätzen. Dies berücksichtigt Redundanz; wenn ein Fakt bereits durch bestehende Pins abgedeckt ist, sinkt sein marginaler Wert.
Pin-Selektion und Eviktierung:
- Selektion: Ein Greedy-Algorithmus wählt Fakten aus, die die marginale Regret-Reduktion unter Berücksichtigung des Token-Budgets maximieren. Theoretisch erreicht dies eine $(1 - 1/e)$ -Approximation des optimalen Satzes, sofern die Wiki-Qualität submodular ist.
- Eviktierung: Eine zeitgewichtete Prioritätswarteschlange verwaltet das Pin-Budget. Pins zerfallen über die Zeit ( $\exp(-\lambda \cdot \Delta t)$ ), wodurch sichergestellt wird, dass veraltete, hochbewertete Fakten evikiert werden, um Platz für neue Ereignisse zu schaffen.
Kompilierung: Das System führt tägliche inkrementelle Updates und periodische Vollrekompilationen (unter Verwendung des ursprünglichen WiCER-Algorithmus) in Intervallen ( $T_r$ ) durch, um gepinnte Fakte in die narrative Struktur zu integrieren.
Prädiktives CEGAR: Das Framework formalisiert „Predictives CEGAR“, wobei „Gegenbeispiele“ (Wissenslücken) aus dem Stream vorhergesagt werden (z. B. hohe Volatilität), anstatt reaktiv durch fehlgeschlagene QA-Probes entdeckt zu werden.

Theoretische Garantien:
Das Papier beweist eine kumulative Regret-Schranke von $O(\sqrt{T} \log K)$ . Die Schranke zerlegt sich in einen Eviktierungs-Regret-Term und einen Vorhersagefehler-Term ( $\epsilon = E[|\phi_t - \hat{\phi}_t|]$ ). Entscheidend ist, dass die Regret-Schranke domänenagnostisch ist; die einzige domänenspezifische Größe ist der Vorhersagefehler des Materialitätssignals.

3. Experimentelle Ergebnisse

Das Framework wurde in zwei Domänen instanziiert: Finanzen (76k Artikel, 39 S&P 500 Unternehmen) und Wikipedia (25 Entitäten, 50k–200k Edits).

Finanz-Domäne:

Materialitätsprognose: Ein leichtgewichtiger Klassifikationskopf, der auf einem eingefrorenen Llama 3.1 8B Backbone trainiert wurde, erreichte einen AUROC von 0,728 bei einem strikten temporalen Split zur Vorhersage abnormaler Volatilität. Das Modell identifizierte erfolgreich Artikel, die mit einer 1,49-mal höheren realisierten Vorwärts-Volatilität assoziiert waren.
Scorer-Architektur: Ein hybrider Ansatz (Zero-Shot Prompting + linearer Klassifikationskopf) zeigte, dass der Klassifikationskopf allein das diskriminative Signal erfasste, während der Zero-Shot-Pfad primär als Low-Latency-Router für ambivalente Fälle diente.
End-to-End QA: Die Evaluierung enthüllte einen signifikanten Confound: Wenn ein LLM-as-Judge (dasselbe Backbone) Antworten auf Post-Training-Fakten bewertete, schnitt die „No Wiki“-Baseline oft am besten ab, da der Judge eine Präferenz für fluide, selbstbewusste parametrische Antworten gegenüber faktisch fundierten, aber spezifischen Wiki-Inhalten zeigte.
Regret-Analyse: Trotz des QA-Score-Confounds zeigte die Regret-Analyse an gematchten Paaren, dass Online WiCER gegen ein kumulatives Regret von -20,0 (Mittelwert -0,12/Schritt) gegenüber dem Oracle konvergiert. Die Autoren interpretieren das negative Vorzeichen nicht als algorithmische Überlegenheit, sondern als Beleg für den LLM-Judge-Confound (die dichten, spezifischen Fakten des Oracles wurden vom Judge negativ bewertet).

Wikipedia-Domäne:

Materialitätssignal: Das Abnormal Edit Ratio (AER) diente als Signal.
Regret-Analyse: In dieser Domäne war der LLM-Judge-Confound nicht vorhanden (das Backbone besaß kein parametrisches Wissen über spezifische 2024–2025 Edits). Hier verbesserten reichhaltigere Kontexte die Scores konsistent. Online WiCER zeigte ein kumulatives Regret von +16,0 (Mittelwert +0,13/Schritt) gegenüber dem Oracle. Das positive Vorzeichen bestätigt, dass der Algorithmus dem Oracle erfolgreich folgte, wobei die Differenz auf das verrauschtere AER-Signal im Vergleich zum Finanz-Volatilitäts-Prädiktor zurückgeführt wird.
Vergleich: Die FIFO-Baseline (nur Rezente-basiert) performte fast so gut wie das Oracle in Wikipedia, was darauf hindeutet, dass für Entitäten mit hoher Edit-Geschwindigkeit die Rezente ein starker Proxy ist, obwohl das AER-Signal einen prinzipienbasierten, domänenagnostischen Selektionsmechanismus bietet.

Effizienz:
Das System demonstrierte einen hohen Durchsatz auf Standard-Hardware (Apple M4) und verarbeitete Artikel mit Raten von über 30.000 Artikeln pro Stunde, was das 63-fache der Spitzenrate von Finanznachrichten-Feeds ist. Der zustandsbewusste Scorer fügte eine vernachlässigbare Latenz hinzu (einzelner Skalarprodukt-Vorgang über den Frozen-Backbone-Forward-Pass).

4. Zentrale Beiträge

Formalisierung der Streaming-Wissenskompilierung: Definition des Problems der Aufrechterhaltung eines budgetbeschränkten Wikis gegen einen Streaming-Korpus mit unbekannten zukünftigen Abfragen.
Online WiCER Algorithmus: Ein proaktiver Pinning-Algorithmus unter Verwendung von Materialitäts-bewerteter Selektion, zeitgewichteter Eviktierung und periodischer Rekompilierung.
Zustandsbewusster Marginaler Scorer: Ein Regressionskopf auf einem eingefrorenen Backbone, der auf den aktuellen Pin-Satz konditioniert, um nicht-redundante Fakten zu selektieren, mit einer $(1-1/e)$ Submodularen Approximationsgarantie.
Regret-Dekompositions-Theorem: Beweis einer $O(\sqrt{T} \log K)$ Regret-Schranke, bei der der einzige domänenspezifische Term der Vorhersagefehler des Materialitätssignals ist.
Prädiktives CEGAR: Erweiterung des CEGAR-Paradigmas von der reaktiven Entdeckung von Gegenbeispielen zur proaktiven Vorhersage von Wissenslücken.
Methodische Erkenntnis: Demonstration, dass die „LLM-as-judge“-Evaluierung bei Post-Training-Fakten konfundiert ist, wodurch die Regret-Analyse an gematchten Paaren als zuverlässiger Metrik für kompilierte Wissenssysteme etabliert wird.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Streaming-Wissenskompilierung ein allgemeines Problem ist, das auf jede Domäne anwendbar ist, in der Wissenslücken aus Streaming-Signalen vorhergesagt werden können (z. B. Finanzen, klinische Literatur, juristische Dokumente). Die Signifikanz liegt in:

Proaktivität: Wechsel von reaktiven Updates (Warten auf das Scheitern einer Abfrage) zu proaktiver Wartung (Vorhersage hochvalenter Ereignisse).
Domänenagnostik: Der Algorithmus und die theoretischen Garantien sind unabhängig vom spezifischen Materialitätssignal; der Domänenexperte muss lediglich ein Signal $\phi_t$ bereitstellen.
Theoretische Fundierung: Bereitstellung formaler Konvergenzgarantien und Regret-Schranken für ein System, das unter Abfrageunsicherheit operiert.
Praktische Umsetzbarkeit: Demonstration, dass ein einzelner eingefrorener LLM-Backbone sowohl als Wissenskompiler als auch als Materialitätsscorer dienen kann, wobei ein hoher Durchsatz und eine niedrige Latenz erzielt werden, die für Echtzeit-Streams geeignet sind.

Die Autoren bleiben bescheiden und weisen auf Einschränkungen hin, wie die inhärente Imperfektion der Materialitätsprognose (Übersehen von „Black Swan“-Ereignissen), das Potenzial für Verzerrungen durch Querschnittsnormierung während korrelierter Krisen und die derzeitige Abhängigkeit von spezifischen Domänen-Signalen. Sie behaupten nicht, dass das System ein Handelstool ist, sondern ein Mechanismus zur Wissenskuration.