💬 NLP

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

L'article présente MEMOIR, un cadre qui exploite des mémoires comportementales sémantiques générées par des LLM à partir de fenêtres d'interaction temporelles pour modéliser efficacement la dérive des préférences des utilisateurs, démontrant que, bien que sa performance globale soit équivalente à celle de la solide référence UniSRec, sa contribution la plus significative et reproductible est une qualité de classement supérieure spécifiquement pour les utilisateurs situés aux extrêmes de haut et de bas niveau de dérive du spectre des préférences.

Auteurs originaux : Younggue Bae

Publié 2026-07-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Younggue Bae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner ce que votre ami veut pour son anniversaire. Si vous ne regardez que ce qu'il a acheté la semaine dernière, vous pourriez vous tromper. Peut-être vient-il d'acheter un nouveau jeu vidéo, mais cela ne signifie pas qu'il en veut un autre ; peut-être est-il en train de se passionner pour la cuisine. C'est le cœur des systèmes de recommandation : les programmes informatiques qui nous suggèrent des films, des chansons ou des chaussures. Pendant longtemps, ces programmes traitaient nos choix passés comme une simple photo statique. Ils supposaient que si vous aimiez les films d'action hier, vous les aimeriez pour toujours. Mais les gens sont complexes et changeants. Nous avons une dérive des préférences (preference drift), ce qui est juste une façon sophistiquée de dire que nos goûts évoluent avec le temps. La grande question dans ce domaine est la suivante : comment construire un système qui ne se contente pas de voir ce que nous sommes en ce moment, mais qui comprend l'histoire de comment nous en sommes arrivés là et où nous pourrions aller ensuite ?

C'est là qu'intervient un nouveau cadre appelé MEMOIR. Considérez MEMOIR comme un gardien de journal intime super intelligent pour vos habitudes d'achat en ligne. Au lieu de simplement regarder une liste d'articles sur lesquels vous avez cliqué, MEMOIR découpe votre historique en « chapitres » mensuels. Pour chaque mois, il utilise un immense ordinateur au fonctionnement cérébral (appelé Grand Modèle de Langage, ou LLM) pour rédiger un court résumé sémantique de votre comportement — du type : « Ce mois-ci, l'utilisateur était obsédé par l'équipement de course et la poudre de protéines ».

Mais MEMOIR ne se contente pas de lire le journal. Il essaie de comprendre l'intrigue. Il observe comment votre histoire a changé de janvier à février. Êtes-vous passé de manière fluide des vêtements décontractés aux vêtements de sport ? Ou avez-vous oscillé d'avant en arrière ? Pour ce faire, MEMOIR utilise une astuce mathématique spéciale appelée apprentissage contrastif (contrastive learning). Imaginez que c'est un jeu où l'ordinateur apprend que les « chaussures de course » et les « tapis de yoga » appartiennent au même chapitre de votre vie, tandis que les « costumes » appartiennent à un autre. Cela force l'ordinateur à prêter attention à la direction de votre changement, et pas seulement aux articles eux-mêmes.

Les chercheurs ont testé MEMOIR sur des données réelles provenant d'Amazon, en examinant des millions d'avis sur l'électronique et l'habillement. Ils ont découvert quelque chose de fascinant : MEMOIR est incroyablement doué pour déterminer la qualité des recommandations pour les personnes dont les goûts sont soit très stables, soit en pleine mutation rapide. Cependant, pour les personnes dont les goûts sont un peu instables ou dans une phase de transition lente et confuse, un autre système appelé UniSRec a fait un travail légèrement meilleur pour simplement deviner combien d'articles vous pourriez cliquer.

Voici le rebondissement qui rend cet article spécial : les auteurs ont essayé de comprendre pourquoi MEMOIR fonctionnait si bien. Ils ont démonté la machine, pièce par pièce, pour voir quelle partie était la recette secrète. Ils ont retiré le traqueur de « direction », ils ont retiré les « chapitres mensuels », et ils ont même remplacé le cerveau sophistiqué par un devineur aléatoire. Étonnamment, aucune de ces pièces isolées n'a pu expliquer tout le succès. C'est comme démonter une équipe de sport gagnante et constater qu'aucun joueur individuel n'est la raison de leur victoire ; c'est toute l'équipe qui travaille ensemble d'une manière que nous ne comprenons pas encore totalement.

La découverte la plus importante n'est pas que MEMOIR est parfait partout, mais plutôt là où il excelle. Cela suggère que cette approche « consciente de l'évolution » est un tournant décisif pour les extrêmes : les utilisateurs aux habitudes immuables et les utilisateurs en pleine transformation rapide. Pour le groupe du « milieu », les anciennes méthodes conservent leur efficacité. L'article conclut que, bien que nous ne puissions pas déterminer exactement quelle partie de la mathématique est la magie, l'idée de traiter l'historique d'un utilisateur comme une histoire en mouvement plutôt que comme un instantané statique est une nouvelle direction puissante. C'est un rappel que pour vraiment comprendre une personne, il faut écouter toute son histoire, et pas seulement la dernière phrase qu'elle a écrite.

Résumé Technique : MEMOIR – Mémoire Comportementale Temporelle pour la Recommandation à travers le Spectre de la Dérive des Préférences

1. Énoncé du Problème

Les modèles de recommandation séquentielle existants (ex. : SASRec, BERT4Rec) et les récentes méthodes enrichies par les LLM traitent généralement les préférences des utilisateurs soit comme des résumés statiques, soit comme des sous-produits de la prédiction du prochain article. Ils apprennent implicitement les schémas comportementaux mais échouent à modéliser explicitement l'évolution des préférences. Les auteurs soutiennent que deux utilisateurs ayant des historiques d'achats actuels identiques peuvent avoir des besoins radicalement différents si leurs trajectoires diffèrent (ex. : un passionné de fitness de longue date versus un novice).

Une analyse empirique de l'ensemble de données Amazon Reviews 2023 révèle que la dérive des préférences est omniprésente :

La divergence de Jensen-Shannon moyenne entre les distributions de catégories mensuelles adjacentes est de 0,795 (sur 1,0).
92,2 % des articles avec lesquels un utilisateur a interagi dans une fenêtre donnée sont nouveaux pour lui.
Même les utilisateurs se situant dans le quartile inférieur des scores de dérive présentent des changements substantiels.

Les approches actuelles enrichies par les LLM utilisent souvent les LLM comme étapes de prétraitement hors ligne pour générer des résumés ou des vues augmentées pour des architectures de base basées sur des identifiants (ID). Ces signaux sémantiques sont généralement abandonnés au moment de l'inférence, et l'architecture centrale reste basée sur les ID, échouant ainsi à porter la structure de l'évolution des préférences dans le score de recommandation final.

2. Méthodologie : Le Cadre MEMOIR

MEMOIR (Memory-based Evolution MOdel for Inference in Recommendation) inverse la relation standard : le LLM agit comme un encodeur de mémoire temporelle de premier rang, et l'apprentissage contrastif encode la structure de l'évolution directement dans la représentation.

2.1 Composants de l'Architecture

Segmentation Temporelle et Encodage de la Mémoire :
- Les historiques d'interaction des utilisateurs sont partitionnés en fenêtres temporelles basées sur les mois calendaires.
- Chaque fenêtre est sérialisée en une description en langage naturel (ex. : « L'utilisateur a fortement apprécié 'chaussures de course'... »).
- Un encodeur LLM (TinyLlama-1.1B-Chat avec fine-tuning LoRA) projette ces descriptions vers des plongements de mémoire sémantique ( $m_t$ ).
- Cela produit une séquence de mémoires comportementales $M_u = [m_1, \dots, m_W]$ .
Perte Contrastive de Préservation de l'Évolution ( $L_{evo}$ ) :
- Lissage Temporel ( $L_{smooth}$ ) : Impose une continuité entre les fenêtres adjacentes en utilisant une perte de type InfoNCE, en traitant les fenêtres adjacentes du même utilisateur comme des paires positives.
- Cohérence Directionnelle ( $L_{dir}$ ) : Impose que la direction de l'évolution reste cohérente. Elle calcule des vecteurs de direction ( $d_t = \hat{m}_{t+1} - \hat{m}_t$ ) et pénalise le désalignement entre les vecteurs de direction consécutifs. Cela encode le biais inductif selon lequel les changements de préférence (ex. : de amateur à sportif) devraient suivre une trajectoire cohérente.
Prédiction de Trajectoire :
- Un GRU traite la séquence de mémoire pour produire un état caché final.
- Un MLP projette cet état pour prédire la mémoire de l'étape suivante ( $\hat{m}_{W+1}$ ).
- Une perte d'extrapolation de trajectoire ( $L_{extrap}$ ) supervise cette prédiction en utilisant une dernière fenêtre de test (hold-out).
Agrégation Sensible à l'Évolution :
- Au lieu d'une simple moyenne, la représentation finale de l'utilisateur ( $u^*$ $u^{*}$ ) est une fusion par MLP de trois signaux :
  - État Actuel : Agrégat des mémoires pondéré par la récence ( $\bar{m}$ ).
  - Direction : Le vecteur de direction de l'évolution ( $d$ ).
  - Futur Prédit : La mémoire de l'étape suivante extrapolée ( $\hat{m}_{W+1}$ ).
- Cela garantit que les utilisateurs ayant des états actuels identiques mais des trajectoires différentes reçoivent des représentations distinctes.
Perte de Cohérence Comportementale ( $L_{con}$ ) :
- Un régularisateur qui pénalise la distance entre la mémoire agrégée normalisée et l'embedding de l'article cible normalisé. Cela ancre la trajectoire sémantique dans l'espace réel des embeddings d'articles, évitant une dérive vers des régions sémantiquement détachées.

2.2 Objectif d'Entraînement

La perte totale combine la recommandation, l'évolution, la cohérence et l'extrapolation :
$L = L_{rec} + \lambda_1 L_{evo} + \lambda_2 L_{con} + \lambda_3 L_{extrap}$
où $L_{rec}$ est une perte de recommandation InfoNCE sur les produits scalaires utilisateur-article.

3. Contributions Clés

Changement Architectural : Propose un cadre où le LLM est le principal encodeur d'utilisateur pour les fenêtres temporelles, et l'apprentissage contrastif est le mécanisme pour apprendre la structure de l'évolution, plutôt qu'une étape auxiliaire hors ligne.
Représentation Sensible à l'Évolution : Introduit une méthode pour fusionner l'état actuel, la direction de l'évolution et le futur prédit en un seul embedding utilisateur.
Analyse Stratifiée par la Dérive : Va au-delà des métriques agrégées pour analyser les performances à travers un spectre de dérive des préférences, révélant que les gains sont concentrés dans des segments d'utilisateurs spécifiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur les catégories Electronics et Clothing_Shoes_and_Jewelry d'Amazon Reviews 2023 (99 355 utilisateurs).

4.1 Performance Agrégée

MEMOIR a atteint un NDCG@10 de 0,0643, statistiquement égal au modèle de référence le plus fort, UniSRec (0,0641).
Les modèles se partagent les quatre métriques rapportées (2 contre 2) :
- MEMOIR mène : NDCG@10 et MRR.
- UniSRec mène : HR@10 et HR@20.
Les deux surpassent significativement six autres modèles de référence (incluant SASRec, CL4SRec et SRA-CL).
SASRec-Text (SASRec avec des embeddings sémantiques gelés remplaçant les embeddings d'ID) a sous-performé par rapport au SASRec classique, indiquant que les caractéristiques sémantiques seules n'améliorent pas la recommandation sans mécanismes d'alignement architecturaux spécifiques.

4.2 Étude d'Ablation

Étonnamment, aucun composant architectural unique (perte contrastive de préservation de l'évolution, terme de cohérence directionnelle ou segmentation de fenêtre temporelle) n'explique à lui seul la majeure partie du gain de MEMOIR par rapport aux modèles de référence basés sur les ID.

Le retrait de n'importe quel composant individuel entraînait une performance restant à moins de 2 % du modèle complet sur le NDCG@10 agrégé.
Même le remplacement des encodeurs d'articles pré-entraînés par des embeddings d'ID aléatoires (« w/ Random-Init Items ») a produit le meilleur NDCG@10 parmi les variantes d'ablation (0,0650), suggérant que le gain global n'est pas piloté par un module isolé.

4.3 Analyse Stratifiée par la Dérive (La Découverte Centrale)

Lorsque la performance est stratifiée par un score de dérive de préférence composite (Haute, Moyenne, Basse) :

Extrêmes de Dérive Haute et Basse : MEMOIR surpasse UniSRec sur les métriques de qualité de classement (NDCG@10, MRR).
Dérive Moyenne (50 % des utilisateurs) : UniSRec mène sur les quatre métriques.
Conclusion : L'égalité agrégée masque un schéma spécifique : l'avantage de MEMOIR est concentré aux extrêmes de la distribution de dérive, tandis qu'UniSRec domine la tranche médiane et les métriques orientées sur le volume (HR) à travers toutes les strates.

5. Signification et Revendications

L'article pose que sa découverte la plus substantielle et reproductible n'est pas l'égalité agrégée avec UniSRec, ni la contribution d'un composant ablaté, mais plutôt le schéma de performance stratifié par la dérive :

MEMOIR est spécifiquement efficace pour les utilisateurs aux extrêmes de dérive haute et basse, là où la modélisation de la trajectoire (direction et futur) offre un avantage de qualité de classement.
L'hypothèse de cohérence directionnelle de MEMOIR (qui suppose une dérive monotone) peut être moins efficace pour les utilisateurs à « dérive moyenne » qui présentent des préférences plus oscillantes ou saisonnières, expliquant pourquoi UniSRec domine ce segment.

Les auteurs concluent que bien que MEMOIR offre des représentations plus riches et sensibles à l'évolution, il sacrifie la simplicité d'inférence et la latence sub-milliseconde des approches basées sur les ID (comme SASRec) au profit du coût computationnel des embeddings de fenêtres dérivés par LLM. L'article laisse ouvert le débat sur l'explication mécaniste de la concentration du gain aux extrêmes de la dérive, identifiant cela comme une piste pour de futurs travaux.