🤖 machine learning

Building a User Foundation Model for the Open Web

Ce document présente un modèle de fondation utilisateur pour le web ouvert qui surmonte la fragmentation de l'identité des utilisateurs et les contraintes de confidentialité en exploitant l'apprentissage auto-supervisé sur les historiques de navigation ainsi qu'un pipeline d'optimisation avec un LLM en boucle, atteignant finalement des améliorations significatives des taux de victoire d'enchères en production, des taux de clics et des mesures de coût par clic.

Auteurs originaux : Solal Vernier, Ivan Can Arisoy, Merwan Barlier, Blaž Škrlj

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Solal Vernier, Ivan Can Arisoy, Merwan Barlier, Blaž Škrlj

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une ville immense et bouillonnante où chaque personne laisse une trace de pas numériques en passant d'une boutique à l'autre. Pendant des années, les entreprises qui nous montrent des publicités ont tenté de construire un « profil » de chaque personne basé sur ces empreintes pour deviner ce qu'elle pourrait vouloir acheter ensuite. C'est le monde des systèmes de recommandation, une branche de l'informatique qui utilise les mathématiques pour prédire le comportement humain. La recette secrète des systèmes modernes est l'apprentissage automatique (machine learning), où les ordinateurs apprennent des modèles à partir de quantités massives de données, et les modèles de fondation (foundation models), qui sont comme de gigantesques cerveaux pré-entraînés ayant déjà appris à comprendre des séquences d'événements avant d'être enseignés pour une tâche spécifique.

Mais voici la partie délicate : sur le « web ouvert » (la partie d'internet que vous visitez sans vous connecter à un compte spécifique), ces empreintes sont désordonnées. Vous pouvez visiter un site sur votre téléphone, puis plus tard sur un ordinateur portable, et l'ordinateur n'a aucun moyen de savoir qu'il s'agit de la même personne. Votre historique est souvent court, fragmenté en petits morceaux, ou totalement absent à cause des paramètres de confidentialité. Ce document traite d'une question cruciale : pouvons-nous construire un système intelligent capable de comprendre ces empreintes fragmentées et désordonnées aussi bien qu'il comprend les historiques longs et propres des utilisateurs connectés ? La réponse est importante car si nous n'y parvenons pas, nous manquons de comprendre une immense partie d'internet, ce qui conduit à des publicités qui semblent aléatoires ou non pertinentes.

Le puzzle du sentier brisé

Les auteurs, une équipe de Teads, ont été confrontés à un défi unique. Dans la plupart des systèmes de recommandation (comme sur les réseaux sociaux ou les applications de shopping), vous disposez d'un long film continu de la vie d'un utilisateur : il s'est connecté, a regardé une vidéo, a acheté une chaussure et a aimé une photo. L'ordinateur peut regarder tout ce film pour comprendre l'utilisateur.

Mais sur le web ouvert, le « film » n'est souvent que quelques images éparpillées, ou parfois juste une seule image. L'utilisateur peut être anonyme, et son historique peut être coupé par des choix de confidentialité. L'ancienne méthode consistait à compter les choses : « Cet utilisateur a cliqué 3 fois sur des publicités de sport ». Mais c'est comme essayer de comprendre la personnalité d'une personne en sachant seulement combien de fois elle a cligné des yeux. Cela manque l'aspect narratif — l'ordre des événements, le timing et le flux.

L'équipe s'est posé la question suivante : Pouvons-nous apprendre à un ordinateur à comprendre ces histoires courtes et brisées ? Et si nous le faisons, cela aidera-t-il à prédire ce qu'un utilisateur va cliquer, même si nous ne savons pas qui il est ?

Le cerveau du « Voyageur Temporel »

Pour résoudre cela, l'équipe a construit un Modèle de Fondation Utilisateur (UFM). Considérez ce modèle comme un voyageur temporel super intelligent qui a lu des millions d'histoires courtes et fragmentées sur les gens naviguant sur le web.

Au lieu de simplement compter les clics, le modèle examine la séquence des événements. Il traite l'historique de navigation d'un utilisateur comme une phrase. Tout comme une phrase possède un sujet, un verbe et un complément, l'historique d'un utilisateur possède un Éditeur (où il se trouvait), un Annonceur (ce qu'il a vu) et un Événement (ce qu'il a fait, comme cliquer ou simplement regarder).

Le modèle a été entraîné en utilisant un jeu appelé Apprentissage Auto-Supervisé (Self-Supervised Learning). Imaginez que vous avez une phrase dont certains mots sont cachés (masqués), et que vous devez deviner lesquels en vous basant sur le contexte. Le modèle s'est exercé en regardant l'historique d'un utilisateur, en cachant certaines parties, et en essayant de remplir les blancs. Il a aussi joué à un jeu d'appariement : il a pris deux parties différentes de l'historique du même utilisateur (comme le matin et l'après-midi) et a appris qu'elles appartiennent à la même personne, même si elles paraissent différentes.

Le « Coach Robot » qui ajuste le cerveau

C'est ici que cela devient vraiment cool. L'équipe n'a pas seulement construit le modèle ; elle a utilisé une IA pour construire l'IA. Ils ont appelé cela « LLM-as-Optimizer ».

Imaginez que vous essayez de construire la voiture de course parfaite. Au lieu de deviner quel moteur ou quel pneu est le meilleur, vous avez un coach robot (un Grand Modèle de Langage) qui lit un catalogue de 150 différents « conseils de réglage » provenant de livres scientifiques. Le coach robot suggère des changements : « Essayons de rendre le moteur légèrement plus gros », ou « Changeons le mélange de carburant ». L'équipe teste ces changements, et si un changement rend la voiture plus rapide, le coach robot s'en souvient et essaie de construire sur ce succès.

Dans ce document, le coach robot a ajusté le « Modèle de Fondation Utilisateur » en modifiant des éléments tels que le nombre de couches de réflexion, la gestion du temps et la manière dont il apprend. Ce processus, appelé Recherche d'Architecture Neuronale (NAS), a trouvé une version du modèle qui était nettement meilleure que l'originale.

Les Résultats : De « Peut-être » à « Oui »

L'équipe a testé son nouveau modèle piloté par un robot de deux manières : d'abord dans une simulation (hors ligne), puis dans le monde réel (en ligne).

1. La Simulation (Hors ligne) :
Ils ont testé le modèle sur un ensemble massif de données de requêtes publicitaires réelles. Ils l'ont comparé au système que Teads utilisait déjà.

La Bonne Nouvelle : Le nouveau modèle a amélioré la prédiction de ce sur quoi les utilisateurs cliqueraient de +1,354 %. Dans le monde de la publicité, c'est un bond énorme.
Le Test du « Sentier Brisé » : Ils ont spécifiquement testé les utilisateurs ayant des historiques très courts ou manquants. Même pour les utilisateurs ayant presque aucun historique, le modèle a amélioré les prédictions de +0,99 %. Cela prouve que le modèle fonctionne même quand le « film » n'est qu'une seule image.
Le Test de Généralisation : Ils ont testé le modèle sur différents types de tâches de prédiction (comme deviner si une publicité gagnerait une enchère, et pas seulement si elle serait cliquée). Cela fonctionnait aussi là, améliorant ces prédictions de +1,197 %. Cela suggère que le modèle a acquis une compréhension profonde du comportement humain, et non un simple truc pour une tâche spécifique.

2. Le Monde Réel (En ligne) :
L'équipe a mené un test en direct pendant 7 jours, montant le nouveau modèle à la moitié de leurs utilisateurs et l'ancien modèle à l'autre moitié.

Le Résultat : Le groupe avec le nouveau modèle a cliqué sur les publicités 2,13 % de plus souvent.
Le Coût : Comme les publicités étaient plus pertinentes, le coût par clic a baissé de 1,13 %.
La Confiance : L'équipe est très sûre de ces chiffres. Ils ont calculé un intervalle de confiance de 80 %, ce qui signifie qu'ils sont statistiquement convaincus que l'amélioration est réelle et n'est pas due à la chance.

Pourquoi cela importe

Ce document montre que nous n'avons pas besoin d'un historique parfait et long pour comprendre un utilisateur. Même avec des données fragmentées, courtes et anonymes, un modèle intelligent peut reconstituer l'histoire.

Les auteurs suggèrent que cette approche ouvre un « nouvel axe » d'amélioration. Il ne s'agit pas seulement de rendre les mathématiques existantes légèrement meilleures ; il s'agit d'ajouter une toute nouvelle façon de penser les données utilisateur. En traitant l'historique de navigation comme une séquence à comprendre plutôt que comme une simple liste de comptages, ils ont trouvé un moyen de rendre les publicités plus pertinentes, même pour les « fantômes » d'internet qui ne se connectent pas.

L'équipe admet qu'il existe des limites. Ils n'ont testé qu'un type spécifique d'architecture de modèle et un ensemble spécifique de données. Ils notent également que leur « coach robot » a peut-être trouvé une bonne solution, mais nous ne savons pas s'il s'agit de la meilleure solution absolue possible. Cependant, le test en direct confirme que cette approche fonctionne dans le monde réel, transformant une idée théorique en un outil pratique qui rend le web ouvert un peu moins chaotique et un peu plus personnel.

Résumé Technique : Construction d'un Modèle de Fondation Utilisateur pour le Web Ouvert

Énoncé du Problème
Les modèles de fondation utilisateur (UFM - User Foundation Models) ont connu un succès significatif dans l'e-commerce et la recommandation sociale, mais ces déploiements reposent sur des environnements dotés d'identités d'utilisateurs stables et persistantes ainsi que d'historiques d'actions longs et contigus. En revanche, le Real-Time Bidding (RTB) en Open-Web opère sous des contraintes structurellement différentes :

Identité Fragmentée : L'identité de l'utilisateur est non persistante et fragmentée entre les sessions et les appareils.
Historique Clairsemé : Une partie importante du trafic ne possède aucun historique (en raison des options de retrait de confidentialité), et les historiques disponibles sont courts, bornés et disjoints.
Contraintes de Latence : Les prédictions doivent être servies avec une latence sub-milliseconde sur le chemin d'enchère (bid path).

Les modèles de deep learning existants pour le RTB reposent sur des vecteurs de caractéristiques discrets et façonnés à la main (ex: compartiments de récence/fréquence), échouant à exploiter la structure séquentielle, l'ordre temporel et les trajectoires comportementales des actions des utilisateurs. Les auteurs étudient si l'apprentissage auto-supervisé sur ces séquences fragmentées est viable et peut constituer un nouvel axe d'amélioration découplé pour les modèles de production.

Méthodologie
Les auteurs proposent un Modèle de Fondation Utilisateur (UFM) entraîné et déployé sous les contraintes du RTB en Open-Web. Le pipeline se compose de quatre étapes principales :

Construction des Données et Tokenisation :
- Les actions des utilisateurs sont modélisées comme des séquences de triplets : (Éditeur, Annonceur, Type d'Interaction).
- Construction à Double Vue : Pour l'apprentissage contrastif, l'historique d'un utilisateur est partitionné en un point de coupure aléatoire en une sous-séquence passée ( $A$ ) et une sous-séquence future ( $B$ ). Cette stratégie garantit que le modèle rencontre des régimes d'« absence d'historique » (où $A$ ne contient qu'un seul événement) pendant le pré-entraînement.
- Embedding Temporel : Les événements sont augmentés d'embeddings temporels continus encodant le délai relatif à l'événement le plus récent de la sous-séquence, en utilisant une paramétrisation à échelle logarithmique.
Pré-entraînement Auto-supervisé :
- Architecture : Un encodeur Transformer bidirectionnel (de type BERT) traite les sous-séquences tokenisées.
- Objectifs : Le modèle est entraîné avec un objectif conjoint :
  - Masked Language Modeling (MLM) : Reconstruit les tokens masqués au sein de chaque vue ( $A$ et $B$ ).
  - Contrastif au niveau de la Séquence (NT-Xent) : Aligne les embeddings [CLS] agrégés du passé ( $c_A$ ) et du futur ( $c_B$ ) pour le même utilisateur, en traitant les embeddings des autres utilisateurs comme des négatifs.
- Entrée : Les triplets sont tokenisés en tokens de vocabulaire fixes (Éditeur, Annonceur, Type d'Événement) plus un token [CLS].
Fine-Tuning Supervisé :
- L'encodeur pré-entraîné est affiné sur une tâche de prédiction de clic (CTR).
- Seule la sous-séquence passée ( $A$ ) est utilisée comme entrée.
- Une couche dense avec une activation sigmoïde est attachée à l'embedding [CLS] pour prédire le résultat binaire du clic.
- À l'inférence, la tête de clic est supprimée, et l'embedding [CLS] agrégé est exporté comme la représentation de l'utilisateur.
LLM-as-Optimizer (NAS) :
- Les auteurs implémentent un flux de travail de Recherche d'Architecture Neuronale (NAS) où un LLM (Claude Opus 4.7) agit comme l'optimiseur.
- Atomes de Recherche : Au lieu d'un échantillonnage aléatoire d'hyperparamètres, le LLM propose des « lifters » — des modifications au niveau du code, révisables, du pipeline d'entraînement (ex: placement de la normalisation, familles d'activation, ratios de masquage) ancrées dans la littérature.
- Processus : Le LLM propose de manière itérative des lifters à partir d'un catalogue d'environ 150 options et de l'historique des résultats des essais. Les candidats sont évalués via un classifieur proxy et la perte de pré-entraînement.

Contributions Clés

Un UFM Déployé pour le Web Ouvert : Un modèle de fondation utilisateur pré-entraîné sur des séquences de navigation fragmentées en utilisant les objectifs MLM et contrastif, déployé avec succès sous des contraintes strictes de latence et d'historique clairsemé.
Optimisation avec LLM dans la boucle : Une instanciation industrielle du paradigme « LLM-as-optimizer », utilisant un catalogue de modifications au niveau du code (« lifters ») pour améliorer systématiquement le pipeline de pré-entraînement de l'encodeur.
Généralisation : Démonstration que la représentation apprise améliore diverses tâches en aval (CTR et taux de victoire d'enchère/win-rate) et architectures (GDCN et DCN2) sans nécessiter de nouveau fine-tuning de l'encodeur.

Résultats

Performance Hors-ligne :
- L'encodeur optimisé par NAS (UFM-NAS) a obtenu un Gain d'Information Relatif (RIG) de +1,354 % sur le classeur CTR GDCN de production par rapport à la ligne de base non étendue.
- Les gains sont constants à travers les régimes d'historique : +0,99 % de RIG pour les utilisateurs sans historique (dominés par l'opt-out) et +1,62 % de RIG pour les utilisateurs avec historique.
- La représentation s'est généralisée à une tâche structurellement différente (prédiction du taux de victoire d'enchère/win-rate), produisant +1,197 % de RIG sans fine-tuning spécifique à la tâche.
- Elle a également amélioré une seconde architecture de CTR (DCN2) avec +0,894 % de RIG.
Test A/B en Ligne :
- Un test réel de 7 jours sur le trafic de production a montré une augmentation de +2,13 % du CTR et une diminution de -1,13 % de l'eCPC (coût effectif par clic).
- Le trafic optimisé pour les visites a vu une augmentation de +2,37 % du taux de visite et une diminution de -1,47 % de l'eCPV.
- Tous les indicateurs présentaient des intervalles de confiance à 80 % excluant zéro.
Efficacité de l'Optimisation : Le processus NAS a réduit la perte totale de pré-entraînement de 25,2 % tout en convergeant en moins d'époques (6 contre 10), entraînant une augmentation négligeable du temps de calcul total (+2,6 %).

Signification et Revendications
L'article affirme démontrer la viabilité de la modélisation séquentielle dans le domaine du RTB en Open-Web, un contexte auparavant considéré comme intraitable pour de telles approches en raison de la fragmentation de l'identité et des contraintes de latence. Les auteurs positionnent l'UFM non pas simplement comme une amélioration de modèle, mais comme un nouvel axe d'amélioration découplé pour les systèmes de production.

Ce travail sert de preuve d'existence pour :

L'application de modèles de fondation à des données utilisateur éparses et non persistantes.
L'utilisation de LLM pour optimiser les pipelines d'entraînement industriels via des modifications de code (« lifters »).
La transférabilité des représentations séquentielles d'utilisateurs à travers différentes architectures de classement et cibles de prédiction (CTR vs Win-Rate).

Les auteurs restent modestes quant à la contribution spécifique du LLM par rapport au catalogue de lifters, notant que l'isolement de ces facteurs nécessite des études contrôlées futures. Ils reconnaissent également les limites des estimations ponctuelles à graine unique et le potentiel de biais de « l'erreur du vainqueur » (winner's curse) dans le processus de sélection, s'appuyant sur le test A/B en direct pour valider les gains hors-ligne.