🤖 machine learning

Measuring the stability and plasticity of recommender systems

Ce papier propose un nouveau protocole d'évaluation hors ligne pour mesurer la stabilité et la plasticité des systèmes de recommandation, permettant une compréhension plus approfondie de la manière dont les modèles conservent les motifs passés par rapport à l'adaptation aux nouvelles données au fil du temps, tout en révélant un compromis potentiel entre ces deux propriétés à travers différents algorithmes.

Auteurs originaux : Maria João Lavoura, Robert Jungnickel, João Vinagre

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maria João Lavoura, Robert Jungnickel, João Vinagre

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un bibliothécaire personnel pour vous recommander des livres. Vous souhaitez que ce bibliothécaire soit fiable (se souvenant de ce que vous avez aimé l'année dernière) mais aussi flexible (apprenant rapidement les nouvelles tendances ou les changements de vos goûts).

Ce papier, présenté à la conférence UMAP '26, introduit une nouvelle méthode pour évaluer dans quelle mesure les systèmes de recommandation (comme ceux de Netflix, Amazon ou Goodreads) équilibrent ces deux traits. Les auteurs appellent ces traits Stabilité et Plasticité.

Voici une décomposition de leurs idées à l'aide d'analogies simples :

1. Le Problème : Le Piège de la « Photo Instantanée »

Actuellement, lorsque les entreprises testent leurs algorithmes de recommandation, ils prennent une « photo » des données. Ils entraînent le modèle sur d'anciennes données et vérifient dans quelle mesure il prédit les quelques interactions suivantes.

L'Analogie : C'est comme tester un conducteur en lui faisant conduire sur une route ensoleillée et vide pendant 10 minutes. Vous savez qu'il sait conduire, mais vous ne savez pas comment il gère une pluie soudaine, un pneu crevé ou un nouveau schéma de circulation la semaine prochaine.
Le Problème : La vie réelle change. Les goûts des utilisateurs évoluent, de nouveaux livres paraissent et les anciens favoris s'estompent. Les tests actuels ne nous disent pas si un modèle va « oublier » les anciens favoris lorsqu'il apprend de nouveaux, ou s'il va rester « coincé » dans le passé et échouer à apprendre de nouvelles tendances.

2. La Solution : Un Test de « Voyage dans le Temps »

Les auteurs proposent une nouvelle méthode de test qui simule le changement. Ils ne regardent pas seulement une photo instantanée ; ils observent le modèle évoluer.

Comment fonctionne le test :

La Configuration : Ils prennent un ensemble de données d'avis sur des livres et le divisent en deux périodes : Année 1 (Le Passé) et Année 2 (Le Futur).
La Surprise : Dans l'« Année 2 », ils modifient secrètement les noms de 50 % des livres. Pour l'ordinateur, ce sont désormais des livres entièrement nouveaux et inconnus. Cela force le modèle à s'adapter.
La Course : Ils entraînent deux versions du bibliothécaire :
- Bibliothécaire A (La Vieille Garde) : Entraîné uniquement sur l'Année 1.
- Bibliothécaire B (Le Nouveau Recruté) : Entraîné sur l'Année 1 et l'Année 2 (avec les nouveaux noms de livres).
La Fiche de Notes :
- Plasticité (Adaptabilité) : Dans quelle mesure le Bibliothécaire B est-il meilleur pour recommander les nouveaux livres par rapport au Bibliothécaire A ? Si B est bien meilleur, le système est plastique (flexible).
- Stabilité (Mémoire) : Dans quelle mesure la capacité du Bibliothécaire B à recommander les anciens livres (de l'Année 1) diminue-t-elle par rapport au Bibliothécaire A ? Si B se souvient encore bien des anciens livres, le système est stable.

3. Le « Dilemme Stabilité-Plasticité »

Le papier met en évidence un compromis classique, comme une balançoire :

Haute Plasticité : Le système apprend rapidement de nouvelles choses mais peut oublier les anciennes (comme un étudiant qui révise dur pour un nouveau test mais oublie la leçon de la semaine dernière).
Haute Stabilité : Le système se souvient de tout parfaitement mais peine à s'adapter aux nouvelles tendances (comme un bibliothécaire qui ne recommande que des livres de 1990 parce qu'il refuse d'apprendre de nouveaux genres).

4. Ce qu'ils ont trouvé (L'Expérience)

Les chercheurs ont testé trois types différents de « bibliothécaires » (algorithmes) en utilisant des données de Goodreads :

KNN basé sur les utilisateurs (UKNN) : Une méthode qui trouve des personnes ayant des goûts similaires.
BPRMF : Une méthode qui utilise les mathématiques pour trouver des modèles cachés dans les notes.
NeuMF : Une méthode complexe de réseau de neurones (IA).

Les Résultats :

Le Bibliothécaire « Rigide » (UKNN) : Celui-ci était très stable. Il se souvenait parfaitement des anciens livres et ne se laissait pas confondre par les nouveaux. Cependant, il avait une faible plasticité ; il peinait à s'adapter aux nouveaux livres « factices ». C'était comme un bibliothécaire qui avait mémorisé le catalogue mais ne pouvait pas gérer les nouveaux arrivages.
Le Bibliothécaire « Flexible » (BPRMF) : Celui-ci était hautement plastique. Il s'adaptait très rapidement aux nouveaux livres. Cependant, il était légèrement moins stable ; apprendre les nouvelles choses le rendait légèrement moins bon pour se souvenir des anciennes.
Le Bibliothécaire « Équilibré » (NeuMF) : Celui-ci se situait quelque part au milieu, montrant un mélange des deux traits.

5. Pourquoi cela compte

Les auteurs soutiennent que connaître la « personnalité » d'un système (est-il rigide ou flexible ?) aide les développeurs à choisir le bon outil pour le travail :

Les mondes à changement rapide (comme les actualités ou les réseaux sociaux) ont besoin de systèmes plastiques capables de s'adapter instantanément.
Les mondes à changement lent (comme la littérature classique ou la musique) pourraient bénéficier de systèmes stables qui ne se laissent pas confondre par le bruit.

Résumé

Ce papier ne se contente pas de demander : « Cet algorithme fonctionne-t-il ? » Il demande : « Comment se comporte cet algorithme lorsque le monde change ? » Ils ont construit un nouveau « test de résistance » pour mesurer si un système de recommandation est un vieux routier entêté (haute stabilité, faible plasticité) ou un élève rapide (haute plasticité, stabilité potentiellement plus faible), aidant ainsi les développeurs à construire de meilleurs et plus fiables systèmes pour l'avenir.

1. Énoncé du problème

Les protocoles d'évaluation hors ligne traditionnels pour les systèmes de recommandation reposent sur des jeux de données statiques, divisant les données en ensembles d'entraînement et de test pour mesurer les performances instantanées. Cependant, les systèmes réels sont dynamiques ; ils évoluent dans le temps, nécessitant un réentraînement fréquent avec des données récentes. Cela crée un fossé critique dans les méthodes d'évaluation actuelles :

Le dilemme stabilité-plasticité : Les systèmes font face à un compromis entre la stabilité (conserver les modèles appris précédemment) et la plasticité (s'adapter rapidement aux nouveaux modèles).
Limites des méthodes actuelles : Les cadres d'apprentissage continu existants (souvent utilisés en classification supervisée) reposent sur des « tâches » distinctes, un concept ambigu dans les systèmes de recommandation où les données circulent continuellement sans frontières de tâches claires. De plus, la plupart des recherches se concentrent sur l'« oubli catastrophique » (stabilité) tout en négligeant la plasticité.
Le besoin : Il manque un cadre unifié et agnostique pour mesurer comment différents algorithmes de recommandation se comportent lors d'un réentraînement sur des données évolutives, spécifiquement concernant leur capacité à équilibrer la rétention des anciennes connaissances et l'assimilation de nouveaux modèles.

2. Méthodologie

Les auteurs proposent un protocole d'évaluation hors ligne agnostique vis-à-vis de l'algorithme et des métriques, conçu pour simuler l'évolution des données réelles et mesurer la stabilité et la plasticité.

3.1 Dynamique des données (Déplacement artificiel)

Pour contrôler le moment et la nature du changement, les auteurs introduisent un déplacement artificiel dans le jeu de données :

Division temporelle : Le jeu de données $D$ est divisé chronologiquement en deux intervalles égaux, $D_1$ (plus ancien) et $D_2$ (plus récent).
Manipulation des étiquettes : 50 % des éléments de $D_2$ $D_{2}$ sont sélectionnés au hasard et leurs identifiants sont modifiés pour de nouvelles étiquettes uniques.
- Cela force le modèle à traiter ces éléments comme de nouvelles entités totalement distinctes dans $D_2$ .
- Les 50 % restants d'éléments conservent leurs identifiants originaux, préservant certains modèles d'interaction naturels.
Résultat : Cela crée un scénario où la distribution sous-jacente change, obligeant les modèles à s'adapter (plasticité) tout en risquant d'oublier d'anciens modèles (stabilité).

3.2 Protocole expérimental

Deux modèles sont entraînés pour simuler un scénario « hérité » versus « réentraîné » :

Modèle $M_1$ (Hérité) : Entraîné uniquement sur $D_1$ .
Modèle $M_2$ (Réentraîné) : Entraîné sur les deux $D_1$ et $D_2$ .
Évaluation : Les deux modèles sont testés sur les ensembles de test retenus des deux périodes ( $D_{Test}^1$ et $D_{Test}^2$ ).

3.3 Métriques

Le cadre définit deux métriques fondamentales basées sur les scores de performance ( $S$ ) des modèles sur les ensembles de test :

Stabilité : Mesure dans quelle mesure le modèle réentraîné ( $M_2$ $M_{2}$ ) conserve ses performances sur les anciennes données par rapport au modèle hérité ( $M_1$ $M_{1}$ ).
$Stabilité = 1 - (S_{1,1} - S_{2,1})$
Où $S_{1,1}$ est $M_1$ sur $D_{Test}^1$ et $S_{2,1}$ est $M_2$ sur $D_{Test}^1$ .
- Interprétation : Une valeur proche de 1 indique une haute stabilité (aucune baisse de performance sur les anciennes données). Des valeurs $>1$ impliquent que le modèle réentraîné s'est en fait amélioré sur les anciennes données.
Plasticité : Mesure la capacité du modèle réentraîné ( $M_2$ $M_{2}$ ) à s'adapter aux nouvelles données par rapport au modèle hérité ( $M_1$ $M_{1}$ ).
$Plasticité = S_{2,2} - S_{1,2}$
Où $S_{2,2}$ est $M_2$ sur $D_{Test}^2$ et $S_{1,2}$ est $M_1$ sur $D_{Test}^2$ .
- Interprétation : Des valeurs plus élevées indiquent une meilleure adaptation au nouveau régime.

3. Contributions clés

Un cadre novateur : Un protocole d'évaluation spécifiquement conçu pour les systèmes de recommandation qui ne nécessite pas de « tâches » prédéfinies, le rendant applicable aux flux de données continus.
Conception agnostique : La méthodologie est indépendante de l'algorithme spécifique (par exemple, Réseaux de neurones vs Factorisation de matrices), du jeu de données ou de la métrique d'évaluation (précision, diversité, etc.).
Insights empiriques : Des preuves préliminaires d'un compromis entre stabilité et plasticité à travers différents paradigmes algorithmiques.

4. Résultats expérimentaux

Les auteurs ont évalué trois algorithmes représentatifs de la bibliothèque RecBole sur le jeu de données GoodReads (avis de livres) :

UKNN : K-Plus Proches Voisins basé sur les utilisateurs (basé sur le voisinage).
BPRMF : Factorisation de Matrices avec Classement Personnalisé Bayésien (Facteur latent).
NeuMF : Factorisation de Matrices Neurale (Apprentissage profond).

Principales constatations :

UKNN (Basé sur le voisinage) :
- Haute stabilité (1,038) : Il a conservé, voire amélioré, ses performances sur les anciennes données après réentraînement.
- Faible plasticité (0,180) : Il a considérablement peiné à s'adapter aux nouveaux éléments de $D_2$ .
- Analyse : Les méthodes basées sur le voisinage agissent comme une « mémorisation » des interactions ; l'ajout de nouvelles données ne surécrit pas les anciens modèles mais échoue à intégrer efficacement les nouveaux.
BPRMF (Factorisation de matrices) :
- Stabilité plus faible (0,989) : A subi une légère baisse de performance sur les anciennes données.
- Plasticité la plus élevée (0,283) : A montré la meilleure capacité à s'adapter aux nouveaux modèles.
NeuMF (Neuronal) :
- Profil équilibré : La stabilité (1,008) et la plasticité (0,276) se situaient entre UKNN et BPRMF, montrant une forte rétention et une bonne adaptabilité.

Conclusion sur les compromis : Les résultats suggèrent un compromis distinct. Les modèles basés sur le voisinage (UKNN) sont rigides et stables mais inflexibles. Les approches basées sur des modèles (BPRMF, NeuMF) sont plus sensibles aux nouveaux modèles (plasticité plus élevée) mais risquent une légère dégradation sur les données historiques (stabilité plus faible).

5. Importance et travaux futurs

Impact pratique : Ce cadre permet aux architectes de systèmes de sélectionner des algorithmes en fonction de la dynamique du domaine. Par exemple, des domaines hautement dynamiques (actualités, réseaux sociaux) pourraient privilégier des modèles à haute plasticité, tandis que des domaines statiques (livres, musique) pourraient bénéficier de modèles à haute stabilité.
Conformité réglementaire : La compréhension de ces profils aide à l'évaluation des risques pour des réglementations comme la Loi européenne sur les services numériques, en prédisant comment les systèmes réagissent aux déplacements de données.
Limites et travaux futurs :
- Le déplacement artificiel de 50 % pourrait sous-estimer l'impact de la dérive réelle.
- Le protocole actuel présente un biais potentiel de « fuite temporelle » où $M_2$ possède des connaissances futures par rapport à $D_1$ .
- Les travaux futurs incluent l'extension à davantage de jeux de données, le test de métriques au-delà de la précision (diversité, équité), et la publication d'un package logiciel open source pour la reproductibilité.

En résumé, cet article va au-delà des métriques de précision statiques pour offrir une lentille dynamique pour l'évaluation des systèmes de recommandation, soulignant que le « meilleur » algorithme dépend de l'équilibre spécifique entre stabilité et plasticité requis par le contexte de l'application.