Résumé Technique : Un Cadre Statistique pour l'Apprentissage des Préférences à Partir du Passé

Énoncé du Problème

Dans divers domaines réels tels que la recommandation en ligne, la modélisation du choix des consommateurs et les services de streaming, les individus effectuent des sélections répétées à partir d'un ensemble fixe d'options. Estimer avec précision les préférences sous-jacentes des utilisateurs est crucial pour générer des recommandations personnalisées pour le futur. Bien que les méthodes existantes reposent souvent sur la fréquence du choix, cet article soutient que l'intensité d'un choix (par exemple, le montant dépensé, la durée de visionnage ou la valeur de la commande) fournit une quantification plus forte de la préférence que la fréquence seule.

Le défi central abordé est l'estimation des probabilités de préférence des utilisateurs basées sur les décisions passées, sous une hypothèse de monotonie naturelle : les options choisies plus fréquemment ou plus intensément dans le passé ont plus de chances d'être choisies à nouveau à l'avenir. Les auteurs visent à dépasser l'ajustement de courbes heuristique et les modèles paramétriques (tels que ceux utilisés pour le fourrage des colonies de fourmis) pour développer un cadre statistique rigoureux et non paramétrique qui prend en compte à la fois l'historique des choix et leurs intensités variables.

Méthodologie

Formulation du Modèle

Les auteurs proposent un cadre probabiliste où le choix d'un utilisateur au temps $t+1$ est conditionné par l'intensité relative des choix passés jusqu'au temps $t$.

• Structure des Données : Pour $N$ utilisateurs, chacun effectue une séquence de choix parmi deux options ($c_1$ et $c_0$) sur une fenêtre de temps discrète. Chaque choix est associé à une intensité $W_t$.
• Intensité Relative ($R_t$) : Définie comme la proportion pondérée des fois où l'option $c_1$ a été choisie par rapport à l'intensité totale de tous les choix jusqu'au temps $t$ :
  $$R_t = \frac{\sum_{i=1}^t U_i W_i}{\sum_{i=1}^t W_i}$$
  où $U_i \in \{0, 1\}$ indique le choix et $W_i$ est l'intensité.
• Fonction de Préférence ($h$) : La probabilité de choisir $c_1$ au temps $t+1$ est modélisée comme $P(U_{t+1}=1 | R_t) = h(R_t)$.
• Contrainte : La fonction $h: [0, 1] \to [0, 1]$ est supposée non décroissante, capturant la dynamique de renforcement où une intensité relative passée plus élevée augmente la probabilité de sélection future.

Lien avec les Processus Stochastiques

Le cadre s'inspire de la marche aléatoire d'éléphant généralisée (introduite par [16]). Dans le cas particulier où les intensités de choix sont égales ($W_t \equiv 1$), la séquence des choix dans ce modèle correspond un à un avec les étapes d'une marche aléatoire d'éléphant généralisée. Cette connexion motive l'utilisation de méthodes non paramétriques plutôt que des modèles paramétriques précédemment appliqués à la sélection de chemins par les fourmis (par exemple, [7], [9]).

Procédure d'Estimation

Les auteurs emploient l'Estimation du Maximum de Vraisemblance Non Paramétrique (EMVNP) sous la contrainte de monotonie.

1. Construction de la Vraisemblance : Le log-vraisemblance est formulé à partir des observations des choix et de leurs intensités relatives correspondantes.
2. Optimisation : L'estimateur $\hat{h}_N$ est défini comme la fonction en escalier unique, non décroissante et continue à droite, qui maximise le log-vraisemblance. Ceci est résolu comme un problème d'optimisation convexe (régression isotone) en utilisant l'Algorithme des Violateurs Adjacents Poolés (PAVA).
3. Ensembles de Confiance : Au lieu de s'appuyer sur des intervalles de type Wald (qui nécessitent l'estimation de paramètres de nuisance tels que les dérivées de $h$ et la distribution de $R_t$), les auteurs construisent des ensembles de confiance par inversion de tests du rapport de vraisemblance. Cette approche exploite la distribution asymptotique de la statistique du rapport de vraisemblance, qui est pivotale et ne nécessite pas l'estimation de paramètres de nuisance.

Résultats Théoriques Clés

L'article établit des propriétés asymptotiques rigoureuses pour l'estimateur proposé sous des hypothèses de régularité standard (support borné des comptes de choix, régularité de la distribution sous-jacente, et dérivée non nulle de $h$).

1. Distribution Asymptotique de l'Estimateur :
   L'estimateur $\hat{h}_N(r_0)$ en un point fixe $r_0$ converge à un taux de $N^{1/3}$ (plus lent que le taux standard $N^{1/2}$ typique des cadres paramétriques). La distribution limite est caractérisée par la distribution de Chernoff (la distribution de l'emplacement du minimum d'un mouvement brownien à deux faces avec dérive quadratique).
   $$N^{1/3}(\hat{h}_N(r_0) - h(r_0)) \xrightarrow{d} C \cdot \arg\max_{x \in \mathbb{R}} (B(x) - x^2)$$
   où $B(x)$ est un mouvement brownien à deux faces.

2. Statistique du Rapport de Vraisemblance :
   La statistique du rapport de vraisemblance pour tester $H_0: h(r_0) = h_0$ converge en distribution vers une variable aléatoire $D$, définie comme l'intégrale du carré de la différence entre la plus petite enveloppe convexe d'un mouvement brownien avec dérive et sa restriction.
   $$2 \log \lambda_N(h_0) \xrightarrow{d} \int \left( (g_{1,1}(x))^2 - (g^0_{1,1}(x))^2 \right) dx$$
   Ce résultat permet la construction d'intervalles de confiance sans estimer la dérivée $h'(r_0)$ ni la densité des covariables, évitant ainsi le problème du « paramètre de nuisance » courant dans l'estimation de fonctions monotones.

Résultats Empiriques

Études de Simulation

Les auteurs ont mené des simulations extensives à travers six configurations variant le nombre de choix (constant vs aléatoire) et les régimes d'intensité (égal, uniforme et persistant).

• Métriques de Performance : Ils ont évalué l'Erreur de Test (précision prédictive par rapport à un oracle) et l'Erreur de Calibration Attendue (ECE).
• Constats :
  • L'erreur de test et l'ECE ont diminué régulièrement à mesure que la taille de l'échantillon $N$ augmentait, démontrant la consistance.
  • Les estimateurs étaient bien calibrés même à des tailles d'échantillon modérées.
  • Les ensembles de confiance à 95 % ont présenté un comportement souhaitable : leur longueur a diminué de manière monotone avec $N$, et les probabilités de couverture sont restées proches du niveau nominal de 0,95 dans toutes les configurations.

Application Réelle

Le cadre a été appliqué à l'ensemble de données MovieLens (20M) pour estimer les préférences des utilisateurs pour les genres de films (par exemple, Action vs Romance).

• Configuration : Les notes des utilisateurs ont été traitées comme des intensités de choix. Le modèle a été entraîné sur les choix 11 à 15 et testé sur les choix 16 à 20.
• Comparaison d'Intensité : Les auteurs ont comparé un modèle d'« Intensité Constante » (tous les choix pondérés de manière égale) à un modèle d'« Intensité Basée sur la Note » (poids égaux à la note de l'utilisateur).
• Résultats : L'intensité basée sur la note n'a pas produit d'améliorations substantielles par rapport au modèle d'intensité constante en termes de précision prédictive ou de calibration. Cela suggère que, pour cet ensemble de données spécifique, le modèle plus simple d'intensité constante capture la structure essentielle des données.
• Interprétabilité : Les fonctions de préférence estimées et leurs ensembles de confiance ont fourni des informations exploitables. Par exemple, les intervalles de confiance ont permis une prise de décision consciente des risques, distinguant les utilisateurs ayant une certitude de préférence élevée de ceux ayant une incertitude élevée.

Importance et Revendications

L'article revendique fournir un cadre statistique novateur qui comble le fossé entre les dynamiques de renforcement observées dans la nature (colonies de fourmis) et la prise de décision humaine. Ses contributions principales sont :

1. Flexibilité Non Paramétrique : Contrairement aux approches paramétriques précédentes, ce cadre n'impose pas d'hypothèses fortes sur la forme fonctionnelle, lui permettant de capturer des comportements utilisateurs divers.
2. Intégration de l'Intensité : Il modélise explicitement l'intensité des choix, reconnaissant que toutes les actions des utilisateurs ne portent pas le même poids.
3. Rigueur Statistique : Il fournit les premières garanties théoriques (consistance, distribution asymptotique et ensembles de confiance) pour l'estimation des préférences sous contraintes de monotonie dans ce contexte de renforcement spécifique.
4. Utilité Pratique : Les ensembles de confiance basés sur le rapport de vraisemblance offrent une manière principielle de quantifier l'incertitude sans estimation complexe de paramètres de nuisance, rendant la méthode robuste et applicable aux systèmes de recommandation réels.

Les auteurs concluent que, bien que le cadre soit actuellement conçu pour des environnements stationnaires, il sert d'étape fondamentale pour les travaux futurs impliquant des dynamiques non stationnaires et l'inclusion de covariables spécifiques aux utilisateurs.