Résumé technique : Bidirectional User Modeling via Profiles (BUMP)

Énoncé du problème

La personnalisation des grands modèles de langage (LLM) est un défi critique à mesure que ces modèles sont déployés dans la recommandation, la recherche, le dialogue et la génération de contenu. Les méthodes traditionnelles de représentation de l'utilisateur, telles que les plongements (embeddings) de filtrage collaboratif, ne s'interfacent pas naturellement avec les LLM ajustés par instructions, qui reposent sur des prompts pour le conditionnement. De plus, la simple concaténation de l'historique complet des interactions d'un utilisateur dans un prompt est irréalisable à grande échelle en raison des limites de la fenêtre de contexte, de la latence et du phénomène de « perte au milieu » (lost in the middle) où les signaux saillants se dégradent dans les contextes longs.

Les approches existantes pour générer des profils d'utilisateurs en langage naturel reposent généralement sur des récompenses explicites dérivées de tâches aval étiquetées (par exemple, les taux de clics ou des étiquettes de classification spécifiques). Cette dépendance crée des goulots d'étranglement importants :

1. Évolutivité : Les récompenses sont coûteuses et éparses, nécessissant une supervision annotée pour chaque tâche cible.
2. Généralisation : Les profils optimisés pour une tâche étiquetée spécifique peuvent mal se transférer vers d'autres domaines ou dans des scénarios zero-shot.
3. Biais : Les profils deviennent des caractéristiques conçues pour des classifieurs spécifiques plutôt que des descriptions fidèles de l'utilisateur.

L'article postule qu'un générateur de profil robuste doit pouvoir être entraîné sans aucune étiquette de tâche en aval, en s'appuyant uniquement sur les journaux d'interactions bruts.

Méthodologie : BUMP

Les auteurs introduisent le Bidirectional User Modeling via Profiles (Bression de l'utilisateur par profils - BUMP), un cadre auto-supervisé qui entraîne un générateur de profil en utilisant uniquement des données d'interaction utilisateur brutes. L'intuition centrale est qu'un profil de haute qualité doit satisfaire deux propriétés complémentaires :

1. Prédictive : Le profil doit prédire les futures interactions (retenues) de l'utilisateur.
2. Identifiable : Les interactions de l'utilisateur doivent identifier de manière unique le profil parmi d'autres utilisateurs.

Cadre d'entraînement

Le système utilise un algorithme d'Optimisation de Politique Relative au Groupe (GRPO) pour entraîner une politique $\pi_\theta$ (le générateur de profil) en utilisant un petit LLM gelé comme juge ($J$). Le processus d'entraînement opère sur un lot d'utilisateurs $\mathcal{B}$ :

1. Partitionnement des données : Pour chaque utilisateur $u$, l'historique des interactions est divisé en un préfixe visible ($H^{vis}_u$) utilisé pour la génération et une partie retenue ($H^{ho}_u$) utilisée pour la supervision.
2. Conception de la récompense bidirectionnelle : Le juge gelé $J$ calcule une récompense dense basée sur deux directions de classement :
   • Direction directe (Profil $\to$ Historique) : Le profil généré $s_u$ est utilisé comme requête pour classer les articles retenus de l'utilisateur ($H^{ho}_u$) par rapport aux articles du lot provenant d'autres utilisateurs. La récompense est un score NDCG multi-positif.
   • Direction inverse (Historique $\to$ Profil) : Un article retenu $h^{(p)}_u$ est utilisé comme requête pour classer le profil généré $s_u$ de l'utilisateur par rapport aux profils des autres utilisateurs du lot. La récompense est un score NDCG mono-positif.
3. Régularisation :
   • Débiaisage de position : Pour atténuer le biais de position du classificateur de liste du LLM, les articles candidats sont présentés dans $M$ ordres aléatoires, et les scores NDCG sont moyennés.
   • Pénalité de longueur : Une pénalité douce est appliquée si le profil dépasse un seuil de tokens $T$ pour empêcher le modèle de pratiquer le « détournement de récompense » (reward hacking) en remplissant les profils de textes génériques de remplissage.
4. Optimisation : La récompense totale $R(s_u)$ combine les scores NDCG direct et inverse moins la pénalité de longueur. GRPO met à jour $\pi_\theta$ pour maximiser cette récompense.

BUMP+ : Recherche de négatifs difficiles

Pour traiter le problème où les négatifs aléatoires du lot sont trop faciles (sans rapport thématique), les auteurs proposent BUMP+. Cette variante utilise un modèle d'embedding gelé (BGE) pour extraire des négatifs plus difficiles :

• Direct : Sélectionne des articles retenus de l'utilisateur qui sont thématiquement distincts de son historique visible (faible similitude avec le centroïde de l'historique).
• Inverse : Sélectionne des profils d'utilisateurs dont les historiques visibles sont thématiquement similaires à l'utilisateur cible, forçant le juge à distinguer des profils d'utilisateurs hautement similaires.

Principales contributions

1. Nouvel objectif auto-supervisé : L'article formule la génération de profil d'utilisateur comme un problème de classement bidirectionnel au sein d'un lot, dérivant une supervision dense à partir de journaux bruts sans étiquettes en aval.
2. BUMP et BUMP+ : L'instanciation de cet objectif via GRPO et un juge LLM gelé, améliorée par la recherche de négatifs difficiles pour affiner le signal d'apprentissage.
3. Validation empirique : Démontrer qu'un modèle de 4 milliards de paramètres auto-supervisé peut égaler ou surpasser les API propriétaires (ex: Gemini-3-Pro) et les méthodes antérieures reposant sur des récompenses étiquetées.

Résultats expérimentaux

Le cadre a été évalué sur le benchmark LaMP, couvrant six tâches à travers cinq domaines (classification, régression et génération).

• Performance vs Méthodes supervisées par tâche : BUMP+ égale ou surpasse la ligne de base « Récompense Directe » (qui utilise des signaux de tâches aval étiquetés) sur 9 des 11 lignes de métriques. Cela confirme que l'auto-supervision peut substituer les récompenses étiquetées.
• Performance vs API propriétaires : BUMP+ surpasse Gemini-3-Pro sur l'ensemble des 11 lignes de métriques, malgré l'utilisation d'un modèle open-weight beaucoup plus petit (4B).
• Comparaison avec l'historique brut : Bien que l'historique brut ait obtenu les meilleurs résultats sur les tâches de génération (où le chevauchement de n-grammes de surface est récompensé), BUMP+ surpasse nettement l'historique brut sur les tâches de classification et de notation, où les préférences thématiques sont plus critiques que le texte verbatim.
• Études d'ablation :
  • Supprimer soit la direction directe, soit la direction inverse dégrade les performances, confirmant que les deux sont nécessaires.
  • La direction « Directe » seule est plus efficace que la direction « Inverse » seule, suggérant que le terme direct conduit le signal principal pertinent pour la tâche tandis que le terme inverse agit comme un régularisateur contre les profils génériques.
  • La recherche de négatifs difficiles (BUMP+) apporte des gains significatifs par rapport aux négatifs aléatoires, bien qu'une recherche excessive introduise du bruit.

Signification et affirmations

L'article affirme que l'apprentissage auto-supervisé peut efficacement remplacer les récompenses étiquetées en aval pour l'entraînement de profils d'utilisateurs textuels. En exploitant la structure inhérente des journaux d'interaction des utilisateurs via le classement bidirectionnel, BUMP génère des profils qui sont :

• Indépendants de la tâche : Optimisés pour être une description fidèle de l'utilisateur plutôt qu'une caractéristique pour un classifieur spécifique, permettant le transfert entre tâches sans réentraînement.
• Évolutifs : Le budget de supervision augmente automatiquement avec la population d'utilisateurs plutôt que de nécessiter une annotation manuelle.
• Efficaces : Les profils résultants sont des représentations compactes de taille fixe qui peuvent être précalculées et mises en cache, évitant ainsi les coûts de latence et de mémoire liés au traitement de l'historique complet des interactions lors de l'inférence.

Les auteurs reconnaissent des limites, notamment les biais potentiels inhérents au « LLM-as-a-judge » (ex: verbosité, préférence pour soi-même) et la dépendance à la similitude d'embedding comme proxy de la confusion pour la recherche de négatifs difficiles. Cependant, les résultats suggèrent que l'auto-supervision bidirectionnelle est une alternative viable et puissante aux méthodes traditionnelles de génération de profils supervisées.