🤖 machine learning

Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams

Cet article propose une architecture de mémoire de travail auditable qui organise le contexte par dépendance de tâche — allouant le rappel, le résumé et l'information de localité à des composants distincts — permettant ainsi à la mémoire de croître en fonction du nombre d'éléments d'information distincts plutôt que du nombre total de jetons, ce qui améliore l'efficacité et l'interprétabilité dans les flux longs et redondants.

Auteurs originaux : Siddharth Pal, Viktoria Rojkova

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siddharth Pal, Viktoria Rojkova

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de vous souvenir d'une histoire longue et chaotique. Peut-être s'agit-il de la transcription d'une conversation, d'un journal d'erreurs informatiques ou d'une liste de codes médicaux. La méthode standard utilisée par l'IA pour gérer cela ressemble à un étudiant qui révise pour un examen : ils essaient de mémoriser chaque mot dans l'ordre où ils ont été prononcés. Si l'histoire fait 10 000 mots, le cerveau de l'étudiant se retrouve rempli de 10 000 petites notes. Même si l'histoire répète les mêmes trois blagues encore et encore, l'étudiant note quand même chaque « haha » et chaque « lol ».

Cette publication suggère une méthode plus intelligente : Ne mémorisez pas les mots ; mémorisez les idées.

La règle de la « Nouvelle Idée »

Les auteurs proposent un système qui agit comme un bibliothécaire très exigeant. Au lieu de classer un nouveau livre pour chaque fois que quelqu'un mentionne « pizza », le bibliothécaire vérifie d'abord ses étagères.

Si « pizza » est déjà sur l'étagère, le bibliothécaire ignore la nouvelle mention et met simplement à jour le compteur d'utilisation.
Si « pizza » est nouvelle (un élément « novel »), alors le bibliothécaire crée un tout nouvel emplacement pour elle.

C'est ce qu'on appelle un Processus de Dirichlet de Mémoire de Travail (Dirichlet-Process Working Memory). En langage courant, c'est une mémoire qui ne croît que lorsqu'elle rencontre quelque chose qu'elle n'a pas vu auparavant. Si un flux de données est rempli de répétitions (redondant), cette mémoire reste petite. Si les données sont pleines de faits uniques, la mémoire croît.

Les trois types de mémoires

L'article soutient qu'un modèle unique ne convient pas à tous. Selon la tâche, vous avez besoin de trois types différents de compartiments de mémoire :

La fenêtre de « Récence » (Le tampon à court terme) :
- Ce que c'est : Une fenêtre glissante qui ne se souvient que des dernières secondes ou des derniers mots.
- Quand l'utiliser : Quand la réponse dépend de ce qui se passe en ce moment même.
- La conclusion : Sur des tâches courtes (comme prédire le prochain caractère dans une phrase), cette simple fenêtre est en réalité plus efficace que le nouveau système sophistiqué. L'article exclut explicitement l'idée que le nouveau système soit un « vainqueur universel » pour tout.
Le flux de « Résumé » (L'état récurrent) :
- Ce que c'est : Un résumé compressé et continu de toute l'histoire, comme un bulletin météo qui dit « il a plu toute la semaine ».
- Quand l'utiliser : Quand la réponse dépend de la moyenne ou de la tendance sur une longue période.
- La conclusion : Lorsqu'on prédit le coût d'une demande de remboursement médical, la mémoire de « résumé » l'emporte. La mémoire de « cache de nouvelles idées » (le bibliothécaire exigeant) n'est pas du tout utile ici car la tâche ne nécessite pas de se rappeler des éléments passés spécifiques ; elle a juste besoin de l'ambiance générale.
Le cache d'« Éléments Distincts » (Le bibliothécaire exigeant) :
- Ce que c'est : Le système à seuil de nouveauté qui ne stocke que des éléments uniques.
- Quand l'utiliser : Quand la réponse dépend de la mémorisation d'un événement passé spécifique, comme « Quel était le code de diagnostic pour le patient X il y a trois mois ? »
- La conclusion : C'est là que la magie opère. Sur des tâches comme la prédiction du prochain code médical ou la recherche d'un endroit visité il y a 500 images, ce système bat l'approche standard consistant à « tout mémoriser ».

Les grands succès (et les limites)

Le résultat du « Moitié du travail » :
Dans des expériences avec du texte (utilisant un ensemble de données appelé enwik8), le nouveau système a réussi à prédire le caractère suivant aussi bien que le système standard, mais il n'a prêté attention qu'à environ 49 % à 53 % des jetons (tokens). Il a sauté les répétitions.

Le bémol : L'article note que si la lecture est plus rapide et moins coûteuse, l' écriture (vérifier si un nouvel élément est réellement nouveau) est plus lente. C'est un compromis : on passe plus de temps à organiser la bibliothèque pour pouvoir lire plus rapidement plus tard.

L'avantage de la « Longue Histoire » :
À mesure que l'histoire s'allonge, l'avantage grandit.

À une longueur de 256 jetons, le nouveau système était légèrement moins bon que l'ancien.
À 512 jetons, ils étaient à peu près équivalents.
À 1 024 jetons, le nouveau système était nettement meilleur, battant le système standard de 0,300 bit par caractère.
L'article suggère que pour des contextes très longs, sauter les répétitions change la donne.

Le test du « Monde Réel » :
Les auteurs ont testé cela sur des données réelles, comme des dossiers hospitaliers (MIMIC-IV) et des demandes d'assurance (DE-SynPUF).

Pour une tâche de prédiction du prochain code médical, le nouveau système a battu le « système de fenêtre glissante » standard de manière significative (environ 0,311 bit par événement à un horizon de 1 024 événements).
Cependant, pour une tâche de prédiction du coût d'une demande, le nouveau système était neutre. Il n'a pas aidé, mais il n'a pas non plus nui. La mémoire de « résumé » était la véritable héroïne ici. Cela prouve le point principal de l'article : vous devez adapter le type de mémoire à la tâche.

Ce à quoi l'article dit « Non »

Il est important de savoir ce que cet article ne prétend pas :

Ce n'est pas une solution miracle pour tout. Les auteurs affirment explicitement que pour les tâches locales et courtes, une simple fenêtre glissante reste le meilleur choix.
Cela ne résout pas le « Décalage de Distribution » (Distribution Shift). Dans une expérience avec des journaux informatiques (BGL), le système a totalement échoué. Pourquoi ? Parce que le schéma des erreurs a changé au fil du temps (la « distribution des modèles a dérivé »). Le système n'a pas pu s'adapter à la nouvelle réalité. L'article admet que c'est un obstacle majeur : si les règles du jeu changent, la mémoire est confuse.
Ce n'est pas encore prêt pour les conversations humaines complexes. L'article ne prétend pas que cela fonctionne pour les chatbots multi-tours ou les agents de recherche où il faut comprendre la nuance, les contradictions ou qui a dit quoi. C'est un « primitif » (un bloc de construction), pas un produit fini.

L'essentiel

L'article suggère que nous devrions arrêter de traiter le contexte comme une longue et ennuyeuse liste de jetons. Au lieu de cela, nous devrions le traiter comme une collection d'éléments distincts.

Si vous avez besoin de vous souvenir d'un fait spécifique du passé, utilisez un Cache de Nouveauté (le bibliothécaire exigeant).
Si vous avez besoin de connaître la tendance générale, utilisez un Résumé (le bulletin météo).
Si vous avez juste besoin des dernières secondes, utilisez une Fenêtre (le tampon à court terme).

Les auteurs ont mesuré cela sur des données publiques et ont constaté qu'en mélangeant ces outils, on peut construire une mémoire qui est auditable (on peut voir exactement ce qu'elle a retenu) et efficace (elle évolue avec le nombre de choses uniques, et non avec le nombre total de mots). Mais ils précisent bien : c'est un début, pas la ligne d'arrivée. Le système fonctionne très bien lorsque les données sont répétitives et stables, mais il peine lorsque les données changent d'avis.

Résumé technique : Une mémoire de travail à processus de Dirichlet auditable pour les flux de contexte longs et redondants

1. Le problème : Contexte centré sur le jeton vs centré sur l'information

Les conceptions actuelles d'ingénierie de contexte traitent le jeton (token) comme l'unité fondamentale de la mémoire. Qu'il s'agisse de caches de clés-valeurs (KV) à fenêtre fixe, d'états récurrents bornés ou de politiques d'éviction par fenêtre glissante, ces systèmes font croître la mémoire et le calcul de manière linéaire ou quadratique avec le nombre de jetons. Cette approche est inefficace pour les flux longs et redondants où la même information (par exemple, un nom, un statut d'outil, un modèle de journal ou un code) réapparaît fréquemment. Dans de tels scénarios, la tâche dépend souvent des informations distinctes portées par le flux plutôt que du nombre brut de jetons.

L'article soutient que mesurer le contexte en jetons revient à facturer de manière répétée pour une preuve déjà présente. Au lieu de cela, les auteurs proposent un primitif d'ingénierie de contexte où la mémoire évolue en fonction du nombre d'éléments distincts (classes de nouveauté) plutôt qu'en fonction du nombre de jetons observés.

2. Méthodologie : Une mémoire de travail décomposée

L'article introduit une architecture de mémoire de travail qui décompose le contexte selon la manière dont une tâche dépend du passé, en assignant chaque type de dépendance à une structure de mémoire spécifique :

Information portée par le rappel (Recall-Carried) : Informations pour lesquelles une requête ultérieure dépend d'un élément antérieur spécifique (ex: un code rare ou une entité spécifique). Cela est géré par un cache de nouveauté adressé par le contenu.
Information portée par le résumé (Summary-Carried) : Informations pour lesquelles la cible dépend d'un agrégat à longue portée ou d'un historique lissé. Cela est géré par un état récurrent (ex: un modèle d'espace d'états).
Information portée par la localité (Locality-Carried) : Informations pour lesquelles la cible dépend principalement du passé immédiat. Cela est géré par une fenêtre de récence.

Le cache à porte de nouveauté

Le mécanisme central est un cache à allocation sur nouveauté (allocate-on-novelty cache), dérivé d'un article compagnon sur les mécanismes (Pal et Rojkova, 2026). Il fonctionne comme suit :

Règle d'allocation : Pour une paire clé-valeur entrante $(k_t, v_t)$ , la nouveauté est calculée comme $nov_t = 1 - \max_{i} \text{sim}(k_t, \kappa_i)$ , où $\kappa_i$ sont les clés des slots existants.
Décision : Si $nov_t > \tau$ (un seuil), un nouveau slot est ajouté. Sinon, la paire entrante est fusionnée dans le slot existant le plus similaire.
Opération de lecture : Les requêtes ne portent l'attention que sur les slots occupés, et non sur l'ensemble du flux de jetons.
Base théorique : Cette règle correspond à la limite de l'estimation du maximum a posteriori à faible variance d'un mélange de processus de Dirichlet (DP-means), agissant comme un opérateur de mémoire différentiable.

Architecture

Le modèle de séquence est une pile résiduelle standard. L'opérateur de mélange (lecture) au sein de chaque bloc peut être :

Une convolution d'espace d'états diagonale (état fixe).
Une attention causale complète (cache de jetons croissant).
Une attention causale à porte de nouveauté (cache adressé par le contenu).
Lectures couplées : Le composant proposé couple une voie récurrente (intégrant l'historique) avec le cache à porte de nouveauté (rappelant des éléments distincts).

3. Principales contributions

Décomposition du contexte : L'article établit que le contexte n'est pas monolithique. Il sépare les informations portées par le rappel, le résumé et la localité, démontrant qu'une politique de mémoire unique (ex: une fenêtre glissante ou une attention complète) est sous-optimale pour des dépendances mixtes.
Mémoire auditable : Contrairement aux états récurrents opaques ou aux caches d'éviction à budget fixe, le cache à porte de nouveauté maintient une table inspectable des éléments conservés. Dans les domaines structurés, les slots s'alignent sur des objets explicites (modèles, médicaments, codes, lieux), permettant au système de rapporter ce qui a été conservé et pourquoi (via la provenance de la fusion).
Validation de bout en bout : L'article dépasse les preuves de niveau mécanisme pour entraîner des modèles de bout en bout, montrant que le cache à porte de nouveauté peut être couplé avec succès à des résumés récurrents pour égaler ou dépasser les performances de l'attention complète à une fraction du coût.

4. Résultats expérimentaux

A. Preuve au niveau du mécanisme (Flux réels)

Sur quatre flux publics avec vérité de terrain, le mécanisme pur d'allocation sur nouveauté a réussi à compresser les données en représentations d'éléments distincts :

Journaux système (Loghub HDFS) : A compressé 2 000 lignes en 15 modèles (143× redondance), récupérant les modèles de vérité de terrain avec une précision de 0,89.
Clinique (MIMIC-IV) : A réduit 18 087 événements de prescription en 628 slots (29× redondance), égalant la performance de la mémoire d'attention avec 1/29ème de la taille.
Réclamations (DE-SynPUF) : A réduit 150 000 événements de diagnostic en 3 933 slots (38× redondance), atteignant un rappel de 0,989 pour les chapitres ICD-9. L'éviction à budget fixe a échoué (0,30 de rappel).
Cartographie (KITTI) : A maintenu exactement un slot par lieu, atteignant un rappel de visite de 1,00, là où les fenêtres glissantes et les politiques de "heavy-hitter" ont échoué sur de longues trajectoires.

B. Contrôle au niveau des caractères (enwik8)

Nouveauté vs Attention complète : L'attention à porte de nouveauté a atteint la parité avec l'attention complète (2,073 vs 2,087 bits par caractère) tout en ne portant l'attention que sur 49 % des jetons.
Le composant couplé : Combiner la récurrence d'espace d'états avec le cache à porte de nouveauté a permis d'atteindre 1,877 bpc (en portant l'attention sur 53 % des jetons), égalant la performance de l'espace d'états + attention complète (1,932 bpc) mais avec un cache considérablement réduit.
Signal vs Approximation : L'ajout du cache à porte à côté de l'attention complète a encore amélioré les performances (1,836 bpc), prouvant que le cache fournit un signal unique plutôt que de simplement approximer l'attention.

C. Mise à l'échelle du contexte (Balayage d'horizon)

À mesure que la longueur de la séquence augmentait de 256 à 1 024 jetons, la performance de l'attention complète se dégradait significativement (2,36 à 2,69 bpc).
Le composant couplé est resté presque plat (2,42 à 2,39 bpc), creusant l'écart de performance à +0,300 bpc à 1 024 jetons.
La fraction admise diminuait à mesure que le contexte s'allongeait (0,45 à 0,42), indiquant une exploitation croissante de la redondance.

D. Résultats spécifiques au domaine

Prédiction du prochain code (Réclamations) : Le composant couplé a surpassé l'attention complète d'environ 0,3 bit par événement sur un horizon de 1 024 événements. Les politiques d'éviction basées sur la récence ou la popularité ont échoué, confirmant que les codes rares et distincts pilotent cette tâche.
Prévision des coûts (Réclamations) : Cette tâche était portée par le résumé. Les lectures récurrentes ont surpassé l'attention et le cache. Le cache était neutre, démontant que le cache n'aide pas universellement ; la politique de mémoire doit correspondre à la dépendance de la tâche.
Flux de journaux : Le cache a bien fonctionné sur les journaux HDFS stationnaires mais a échoué sur les journaux BGL en raison du changement de distribution (template drift), limitant la portée de la revendication.
Keep-First vs Keep-Latest : Pour le texte, garder la dernière occurrence d'une clé répétée (Keep-Latest) était plus performant que Keep-First. Cependant, pour les réclamations structurées, Keep-First était supérieur, renforçant l'idée que la stratégie de rétention optimale dépend du domaine.

5. Signification et Revendications

L'article affirme modestement mais définitivement que le contexte peut évoluer avec les informations distinctes dont une tâche a besoin plutôt qu'avec les jetons.

Primitif architectural : Le cache à porte de nouveauté est un composant de mémoire de travail viable, adressable par le contenu et auditable.
Supériorité conditionnelle : L'avantage de la mémoire à porte de nouveauté augmente avec la longueur du contexte et la redondance. Cependant, ce n'est pas un remplacement universel ; il est plus efficace pour les tâches portées par le rappel. Pour les tâches portées par le résumé, la récurrence est supérieure, et pour les tâches portées par la localité, une fenêtre glissante est préférable.
Auditabilité : La mémoire retenue est une table inspectable de modèles, de codes ou d'entités, offrant une transparence que les modèles d'espace d'états opaques ne peuvent fournir.
Limites : Les expériences sont à petite échelle, utilisent des données publiques et n'évaluent pas encore les assistants multi-tours ou les agents dotés de récupération d'informations (RAG). La règle actuelle de porte par cosinus et de fusion n'est pas présentée comme suffisante pour des faits sémantiques complexes (ex: résolution de contradictions ou mises à jour temporelles) sans ingénierie frontale supplémentaire.

La principale conclusion technique est qu'un système pratique de contexte long ne devrait pas forcer toute l'information à travers une politique unique. Au lieu de cela, il devrait décomposer le contexte en rappel d'éléments distincts, résumé récurrent et fenêtres de récence, en les couplant selon les demandes spécifiques de la tâche.