🤖 machine learning

Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

Ce document introduit un cadre de compilation de connaissances en flux (Streaming Knowledge Compilation) qui maintient des wikis de LLM efficaces pour des corpus évolutifs en épinglant proactivement des documents sur la base d'un signal de matérialité appris, atteignant une borne de regret prouvable de $O(\sqrt{T\log K})$ et démontrant une performance supérieure aux bases statiques dans les domaines de la finance et de Wikipédia grâce à une nouvelle métrique d'évaluation basée sur le regret.

Auteurs originaux : Juan M. Huerta

Publié 2026-06-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan M. Huerta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant brillant, surdoué (une IA) qui en sait beaucoup sur le monde, mais dont la mémoire est limitée. Il ne peut contenir qu'une certaine quantité d'informations dans son « cerveau de travail » à un instant donné.

D'habitude, quand vous posez une question à cet assistant, soit il s'appuie sur ce qu'il sait déjà (ce qui peut être obsolète), soit il se rend dans une bibliothèque pour trouver un livre, le lire, puis répondre. Ce trajet à la bibliothèque prend du temps.

Le Problème :
Et si le monde changeait pendant que vous attendez ? En finance, une entreprise peut être poursuise en justice du jour au lendemain. Sur Wikipédia, un événement majeur peut réécrire l'histoire en temps réel. Si le « cerveau de travail » de votre assistant est rempli de faits anciens, il ne peut pas répondre correctement aux nouvelles questions.

Le papier présente une solution appelée Compilation de Connaissances en Flux Continu (Streaming Knowledge Compilation). Voyez cela comme un bibliothécaire intelligent et proactif qui ne se contente pas d'attendre que vous posiez une question. Au lieu de cela, il surveille un flux d'actualités en direct, prédit quelles histoires vont être importantes avant même que vous ne posiez la question, et remplace les vieux faits dans le cerveau de l'assistant par les nouveaux, plus critiques.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Signal de « Matérialité » : Le Détecteur de Chaleur

Le plus grand défi est que le flux d'actualités est immense. Vous ne pouvez pas mettre tout dans le cerveau de l'assistant ; il n'y a pas assez de place. Vous devez choisir.

Les auteurs ont créé un « détecteur de chaleur » (appelé signal de matérialité) qui scanne chaque nouvel article et demande : « Cette histoire va-t-elle provoquer une grande réaction ? »

En Finance : Le détecteur recherche une volatilité anormale des actions. Si un article de presse est susceptible de faire bondir ou s'effondrer le cours d'une action, il est « chaud ».
Sur Wikipédia : Le détecteur recherche une vitesse d'édition anormale. Si une page est modifiée frénétiquement par des centaines de personnes en peu de temps, elle est « chaude ».

Si un article est « chaud », le système l'épingle (le garde) dans la mémoire de l'assistant. S'il est « froid » (juste une mise à jour de routine ennuyeuse), il est jeté pour faire de la place.

2. Le Mouvement « Proactif » : Deviner Avant de Demander

Les systèmes traditionnels attendent que vous posiez une question, réalisent qu'ils ne connaissent pas la réponse, et ensuite vont mettre à jour leur mémoire. Le système de ce papier est proactif.

Il prédit que parce qu'une action est volatile, vous allez probablement poser une question à son sujet bientôt. Il met donc à jour la mémoire avant même que vous ne tapiez la question. C'est comme une application météo qui vous dit de prendre un parapluie avant que vous ne sortiez, plutôt que d'attendre que vous soyez mouillé.

3. L'Échange Intelligent : Éviter la Redondance

Le système est également intelligent dans ce qu'il conserve. Imaginez que vous avez un flux d'actualités sur une entreprise technologique.

Article A : « L'entreprise technologique X a eu un mauvais rapport de résultats. »
Article B : « L'action de l'entreprise technologique X a chuté de 10 %. »

Ce sont les deux versions de la même histoire. Si le système garde les deux, il gaspille de l'espace. Les auteurs ont conçu un Évaluateur Sensible à l'État (State-Aware Scorer). Il regarde ce qui est déjà dans le cerveau de l'assistant. Si le cerveau possède déjà l'histoire des « mauvais résultats », le système réalise que l'histoire de la « chute de l'action » est redondante et lui donne un score faible, de sorte qu'il n'est pas épinglé. Il ne garde que l'information nouvelle qui apporte une valeur ajoutée.

4. Les Deux Expériences : Finance et Wikipédia

L'équipe a testé cette idée dans deux mondes très différents pour prouver qu'elle fonctionne partout :

Le Test de la Finance : Ils ont utilisé des données boursières. Ils ont entraîné une petite « tête » sur un modèle d'IA figé pour prédire quelles actualités causeraient une volatilité boursière.
- Résultat : Le système a réussi à prédire quelles actualités étaient « chaudes » (72,8 % de précision dans le classement).
- Le Rebondissement : Lorsqu'ils ont testé les réponses finales, le juge IA (une autre IA) a été confus. Comme le juge IA connaissait déjà beaucoup de choses sur les grandes entreprises, il préférait parfois les réponses « confiantes mais fausses » de l'IA non mise à jour aux réponses « factuellement correctes mais encombrées » du système mis à jour. Cela leur a appris que l'analyse du regret (mesurer à quel point le système est moins bon qu'une version parfaite) est un meilleur moyen de juger le succès que de simplement demander « A-t-il obtenu le bon score ? ».
Le Test de Wikipédia : Ils ont utilisé les modifications Wikipédia.
- Résultat : Ici, le système a parfaitement fonctionné. Comme le juge IA ne connaissait pas les modifications spécifiques et récentes, le système qui possédait les nouveaux faits a obtenu des scores bien plus élevés. Cela a confirmé que le système fonctionne réellement lorsque l'information est véritablement nouvelle.

5. La Garantie du « Regret »

Les auteurs ont fait des calculs mathématiques complexes pour prouver que leur système est efficace. Ils ont montré que même si leur « détecteur de chaleur » n'est pas parfait (il fait des erreurs), le système fonctionnera bien sur le long terme.

Ils appellent cela le Regret. Considérez-le comme le « coût d'opportunité manquée ».

Si vous aviez un oracle parfait (une boule de cristal magique) qui savait exactement quelle actualité était importante, de combien ferait-il mieux ?
Le papier prouve que les « opportunités manquées » de leur système croissent très lentement (sous-linéairement). Cela signifie qu'avec le temps, leur bibliothécaire proactif et intelligent devient presque aussi performant que la boule de cristal magique, sans avoir besoin d'être parfait.

Métaphore de Résumé

Imaginez que vous conduisez une voiture avec un écran de tableau de bord limité.

L'Ancienne Méthode : Vous attendez de voir un nid-de-poule, puis vous regardez la carte pour voir s'il y a un détour. Vous frappez le nid-de-poule en premier.
La Méthode de ce Papier : Vous avez un capteur qui détecte la formation de nids-de-poule sur la route devant vous. Avant même que vous ne voyiez le nid-de-poule, le système remplace automatiquement la carte sur votre écran pour afficher le détour.
Le Piège : Le capteur n'est pas 100 % parfait ; parfois, il prend une flaque d'eau pour un nid-de-poule. Mais le système est assez intelligent pour réaliser : « Oh, j'ai déjà un détour pour cette route », afin de ne pas gaspiller l'espace de l'écran avec une carte en double.

Le papier conclut que cette « Compilation de Connaissances en Flux Continu » est une manière puissante et générale de maintenir les assistants IA à jour dans des mondes en mouvement rapide comme la finance, les actualités et la science, en utilisant un algorithme unique et efficace qui s'adapte à n'importe quel « détecteur de chaleur » que vous lui fournissez.

Résumé Technique : Compilation de Connaissances en Flux pour les Wikis LLM Évolutifs Temporellement

1. Formulation du Problème

L'article traite de la limitation des systèmes de wiki existants pour LLM, qui compilent les connaissances dans des caches KV pré-remplis pour une inférence efficace mais supposent un corpus statique. Dans les domaines à haute valeur ajoutée comme la finance et les encyclopédies en temps réel, les paysages informationnels évoluent continuellement. Le défi fondamental est la Compilation de Connaissances en Flux : étant donné un flux continu de documents, un budget de jetons fixe et des requêtes futures inconnues au moment de l'ingestion, comment maintenir un wiki compilé qui minimise le regret cumulatif par rapport à un oracle hors ligne possédant une connaissance parfaite de l'avenir ?

La difficulté centrale réside dans la décision de savoir quels documents, parmi les centaines quotidiens, méritent d'être incorporés dans un budget fixe sans attendre qu'une requête expose un manque de connaissances. L'article formalise cela comme un problème d'optimisation en ligne sous contrainte de budget, où l'objectif est de minimiser le regret défini comme la différence de qualité de réponse entre le wiki en ligne et un wiki oracle compilé avec une connaissance parfaite des événements de haute matérialité futurs.

2. Méthodologie : Online WiCER

Les auteurs introduisent Online WiCER, un algorithme qui transforme la boucle réactive « Compilation–Évaluation–Raffinement » de l'original WiCER (inspiré de la méthode CEGAR - Counterexample-Guided Abstraction Refinement) en un processus proactif piloté par la prédiction.

Composants Clés :

Signal de Matérialité ( $\phi_t$ ) : Le cadre repose sur un signal spécifique au domaine $\phi_t(k, n) \in [0, 1]$ $ϕ_{t} (k, n) \in [0, 1]$ qui évalue l'importance informationnelle d'un document $n$ $n$ pour une entité $k$ $k$ au temps $t$ $t$ . Ce signal agit comme un substitut de la pertinence des requêtes, permettant un épinglage proactif avant l'arrivée des requêtes.
- Instanciation Financière : Volatilité anormale des actions (Abnormal Volatility Ratio, AVR), définie comme le ratio de la volatilité réalisée à 5 jours de l'avance d'une action par rapport à la moyenne du marché transversale.
- Instanciation Wikipedia : Ratio d'édition anormal (Abnormal Edit Ratio, AER), défini comme le ratio de la vélocité d'édition d'une entité par rapport à la moyenne transversale.
Évaluateur de Regret Marginal Sensible à l'État : Au lieu d'évaluer les faits de manière isolée, le système utilise une tête de régression sur un squelette de LLM gelé pour estimer la réduction du regret marginal attendu d'un fait candidat compte tenu de l'ensemble actuel de faits épinglés. Cela tient compte de la redondance ; si un fait est déjà couvert par des épingles existantes, sa valeur marginale diminue.
Sélection et Éviction d'Épingles :
- Sélection : Un algorithme glouton sélectionne les faits qui maximisent la réduction du regret marginal sous le budget de jetons. Théoriquement, cela atteint une approximation de $(1 - 1/e)$ de l'ensemble optimal si la qualité du wiki est sous-modulaire.
- Éviction : Une file de priorité pondérée par la décroissance gère le budget d'épingles. Les épingles décroissent avec le temps ( $\exp(-\lambda \cdot \Delta t)$ ), garantissant que les faits de haut score devenus obsolètes sont évincés pour faire de la place aux nouveaux événements.
Compilation : Le système effectue des mises à jour incrémentielles quotidiennes et une recompilation complète (en utilisant l'algorithme WiCER original) à des intervalles périodiques ( $T_r$ ) pour intégrer les faits épinglés dans la structure narrative.
CEGAR Prédictif : Le cadre formalise le « CEGAR Prédictif », où les « contre-exemples » (lacunes de connaissances) sont prédits à partir du flux (ex: haute volatilité) plutôt que découverts de manière réactive via des sondes de QA défaillantes.

Garanties Théoriques :
L'article prouve une borne de regret cumulatif de $O(\sqrt{T} \log K)$ . La borne se décompose en un terme de regret d'éviction et un terme d'erreur de prédiction ( $\epsilon = E[|\phi_t - \hat{\phi}_t|]$ ). Crucialement, la borne de regret est indépendante du domaine ; la seule quantité spécifique au domaine est l'erreur de prédiction du signal de matérialité.

3. Résultats Expérimentaux

Le cadre a été instancié dans deux domaines : la Finance (76k articles, 39 sociétés du S&P 500) et Wikipedia (25 entités, 50k–200k éditions).

Domaine de la Finance :

Prédiction de la Matérialité : Une tête de classification légère entraînée sur un squelette Llama 3.1 8B gelé a atteint un AUROC de 0,728 sur un split temporel strict pour prédire la volatilité anormale. Le modèle a identifié avec succès les articles associés à une volatilité réalisée future 1,49 $\times$ plus élevée.
Architecture du Scorer : Une approche hybride (prompting zero-shot + tête de classification linéaire) a montré que la tête de classification seule capturait le signal discriminatif, le chemin zero-shot servant principalement de routeur à faible latence pour les cas ambigus.
QA de Bout en Bout : L'évaluation a révélé un biais de confusion important : lors de l'utilisation d'un LLM-as-judge (le même squelette) pour évaluer les réponses sur des faits post-entraînement, la ligne de base « No Wiki » obtenait souvent le score le plus élevé en raison de la préférence du juge pour des réponses paramétriques fluentes et confiantes plutôt que pour un contenu wiki spécifique mais ancré dans les faits.
Analyse du Regret : Malgré le biais de l'évaluation par LLM, l'analyse du regret sur des paires appariées a montré qu'Online WiCER converge vers un regret cumulatif de -20,0 (moyenne de -0,12/étape) contre l'oracle. Les auteurs interprètent le signe négatif non pas comme une supériorité algorithmique, mais comme une preuve du biais du juge LLM (les faits denses et spécifiques de l'oracle étaient pénalisés par le juge).

Domaine Wikipedia :

Signal de Matérialité : Le Ratio d'Édition Anormal (AER) a servi de signal.
Analyse du Regret : Dans ce domaine, le biais du juge LLM était absent (le squelette manquait de connaissances paramétriques sur les éditions spécifiques de 2024–2025). Ici, un contexte plus riche améliorait systématiquement les scores. Online WiCER a montré un regret cumulatif de +16,0 (moyenne de +0,13/étape) contre l'oracle. Le signe positif confirme que l'algorithme a suivi l'oracle avec succès, l'écart étant attribué au signal AER plus bruité par rapport au prédicteur de volatilité financière.
Comparaison : La ligne de base FIFO (uniquement basée sur la récence) a performé presque aussi bien que l'Oracle dans Wikipedia, suggérant que pour les entités à haute vélocité d'édition, la récence est un proxy puissant, bien que le signal AER fournisse un mécanisme de sélection plus fondé et agnostique au domaine.

Efficacité :
Le système a démontré un débit élevé sur du matériel courant (Apple M4), traitant les articles à des taux dépassant 30 000 articles/heure, soit 63 $\times$ le taux de pointe des flux de nouvelles financières. Le scorer sensible à l'état a ajouté une latence négligeable (produit scalaire unique) par rapport au passage direct du squelette gelé.

4. Contributions Clés

Formalisation de la Compilation de Connaissances en Flux : Définition du problème du maintien d'un wiki à budget limité face à un corpus en flux avec des requêtes futures inconnues.
Algorithme Online WiCER : Un algorithnement d'épinglage proactif utilisant une sélection par score de matérialité, une éviction pondérée par la décroissance et une recompilation périodique.
Scorer Marginal Sensible à l'État : Une tête de régression sur un squelette gelé qui se conditionne sur l'ensemble d'épingles actuel pour sélectionner des faits non redondants, avec une garantie d'approximation sous-modulaire de $(1-1/e)$ .
Théorème de Décomposition du Regret : Preuve d'une borne de regret de $O(\sqrt{T} \log K)$ où le seul terme spécifique au domaine est l'erreur de prédiction du signal de matérialité.
CEGAR Prédictif : Extension du paradigme CEGAR de la découverte réactive de contre-exemples à la prédiction proactive des lacunes de connaissances.
Constat Méthodologique : Démonstration que l'évaluation par « LLM-as-judge » est biaisée sur les faits post-entraînement, établissant l'analyse du regret sur des paires appariées comme la métrique fiable pour les systèmes de connaissances compilées.

5. Signification et Revendications

L'article affirme que la Compilation de Connaissances en Flux est un problème général applicable à tout domaine où les lacunes de connaissances peuvent être prédites à partir de signaux de flux (ex: finance, littérature clinique, dépôts juridiques). La signification réside dans :

Proactivité : Passer de mises à jour réactives (attendre l'échec d'une requête) à une maintenance proactive (prédire les événements à haute valeur).
Agnosticisme du Domaine : L'algorithme et les garanties théoriques sont indépendants du signal de matérialité spécifique ; l'expert du domaine doit seulement fournir un signal $\phi_t$ .
Fondement Théorique : Fournir des garanties de convergence formelles et des bornes de regret pour un système opérant sous incertitude de requête.
Viabilité Pratique : Démontrer qu'un seul squelette de LLM gelé peut servir à la fois de compilateur de connaissances et de scoreur de matérialité, atteignant un débit élevé et une faible latence adaptée aux flux en temps réel.

Les auteurs restent modestes, notant des limites telles que l'imperfection inhérente de la prédiction de la matérialité (manquer les événements « cygne noir »), le potentiel de distorsion de la normalisation transversale lors de crises corrélées, et la dépendance actuelle à des signaux de domaine spécifiques. Ils ne prétendent pas que le système est un outil de trading, mais plutôt un mécanisme de curation de connaissances.