💬 NLP

How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning

Cette étude examine l'impact du masquage de l'attention sur l'apprentissage de représentations d'utilisateurs via des modèles de langage de type « decoder-only » et propose le *Gradient-Guided Soft Masking* pour faciliter la transition vers une attention bidirectionnelle, améliorant ainsi la qualité des plongements (embeddings) sur des données comportementales réelles.

Auteurs originaux : Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang

Publié 2026-02-12

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Cerveau" qui ne regarde que derrière lui

Imaginez que vous essayez de comprendre la personnalité d'un client dans un magasin.

Les modèles d'intelligence artificielle actuels (les LLM, comme ChatGPT) sont comme des détectives qui ont une règle très stricte : ils ne peuvent regarder que ce qui s'est passé dans le passé. S'ils lisent l'histoire d'un utilisateur, ils lisent chaque action l'une après l'autre, sans jamais pouvoir revenir en arrière pour voir si l'action n°10 donne un nouveau sens à l'action n°2. C'est ce qu'on appelle l'attention "causale".

C'est très bien pour écrire une histoire (on ne connaît pas la fin avant de l'avoir écrite), mais c'est un peu limité pour comprendre quelqu'un. Pour vraiment comprendre une personne, il faut pouvoir regarder l'ensemble de son parcours d'un seul coup d'œil, comme une photo globale, et non comme un film qu'on regarde en ne voyant que l'image actuelle. C'est ce qu'on appelle l'attention "bidirectionnelle".

Le Défi : Le choc des mondes

Le problème, c'est que ces modèles ont été "éduqués" (pré-entraînés) à ne regarder que vers l'arrière. Si, d'un coup, vous leur demandez de regarder tout le passé et le futur en même temps, c'est comme si vous demandiez à quelqu'un qui a passé sa vie à marcher dans le noir de soudainement allumer un projecteur géant : il est ébloui, désorienté, et son cerveau "bugue". L'apprentissage devient instable et le modèle perd ses moyens.

La Solution : La méthode "GG-SM" (Le Gradateur Intelligent)

Les chercheurs d'Ant Group ont inventé une astuce pour réussir cette transition en douceur. Ils ont créé le Gradient-Guided Soft Masking (GG-SM).

Imaginez que vous voulez apprendre à un aveugle à voir.

Au lieu de lui allumer une lumière aveuglante d'un coup, vous commencez par une lueur très faible.
Mais ce n'est pas n'importe quelle lueur : vous utilisez un "gradateur intelligent". Ce gradateur analyse où le modèle a le plus de mal à comprendre (ce qu'ils appellent le "gradient").
Si le modèle trébuche sur un détail important, le gradateur augmente la lumière précisément sur ce détail pour l'aider à mieux le voir.
Petit à petit, la lumière augmente de façon fluide jusqu'à ce que le modèle puisse voir tout le paysage d'un seul coup d'œil.

Les Résultats : Un portrait beaucoup plus précis

En utilisant cette méthode de "transition douce", le modèle est devenu un bien meilleur psychologue de l'utilisateur.

Dans les tests réalisés sur les données réelles d'Alipay (un géant du paiement en Chine), ils ont comparé leur méthode à d'autres. Résultat : leur modèle est capable de prédire avec beaucoup plus de précision :

Les goûts des gens (ce qu'ils aiment manger ou regarder).
Leurs comportements futurs (s'ils vont cliquer sur un concert ou utiliser un transport en commun).
Leur sensibilité au marketing (ce qui pourrait les inciter à acheter).

En résumé : Au lieu de forcer l'IA à changer de vision d'un coup sec, les chercheurs lui ont appris à "ouvrir les yeux" progressivement, en se concentrant sur ce qui est le plus important. Cela transforme une IA qui "lit une liste de courses" en une IA qui "comprend une personnalité".

Résumé Technique : Repenser le Masquage de l'Attention pour l'Apprentissage de Représentations Utilisateurs

Problématique

L'utilisation des grands modèles de langage (LLM) de type "decoder-only" (comme la famille GPT ou Qwen) pour l'apprentissage de représentations d'utilisateurs (user embeddings) est en pleine expansion. Cependant, un conflit fondamental subsiste : ces modèles sont pré-entraînés avec une attention causale (unidirectionnelle), ce qui limite leur capacité à capturer les dépendances globales et bidirectionnelles nécessaires pour comprendre un profil utilisateur complexe.

L'étude identifie que le choix de la stratégie de masquage de l'attention (causal, hybride ou bidirectionnel) et, surtout, la dynamique de transition entre le mode causal et le mode bidirectionnel, impactent lourdement la qualité des plongements (embeddings) et la stabilité de l'optimisation.

Méthodologie

Les auteurs proposent un cadre d'apprentissage contrastif unifié appliqué à des données massives et hétérogènes provenant d'Alipay (comportements de paiement, mini-programmes, recherches, etc.). Leur approche repose sur trois piliers :

Stratégies de Masquage Comparées : Ils testent trois configurations :
- Causal : Masquage unidirectionnel standard.
- Hybrid : Attention bidirectionnelle sur un segment utilisateur, suivie d'une attention causale pour les jetons suivants.
- Bidirectional : Pleine auto-attention sur l'ensemble de la séquence.
Gradient-Guided Soft Masking (GG-SM) - La contribution majeure :
Pour résoudre l'instabilité lors du passage de l'attention causale à bidirectionnelle, les auteurs introduisent un mécanisme de "pre-warmup" basé sur le gradient. Au lieu d'ouvrir brutalement l'attention vers le futur, le modèle utilise la norme du gradient ( $\|\nabla h_j^L\|$ ) pour déterminer l'importance des jetons. Les jetons qui influencent le plus la perte reçoivent une visibilité accrue (masquage progressif), permettant une transition fluide et une meilleure convergence.
Données Synthétiques de Haute Qualité : Ils utilisent un pipeline de synthèse pour générer des paires "Requête-Réponse" (QA) difficiles à aligner, renforçant ainsi la capacité du modèle à comprendre l'intention utilisateur profonde.

Contributions Clés

Étude Systématique : Première comparaison rigoureuse des types de masquage pour l'encodage d'utilisateurs dans un cadre contrastif.
Innovation Algorithmique (GG-SM) : Introduction d'un mécanisme de masquage doux guidé par le gradient qui stabilise l'apprentissage et améliore la qualité des représentations.
Framework de Données : Un pipeline de synthèse de données "hard positives" pour améliorer l'alignement sémantique.

Résultats

L'évaluation a été réalisée sur 9 benchmarks industriels d'Alipay couvrant la prédiction de comportement, la préférence et la sensibilité marketing.

Performance Supérieure : La méthode GG-SM surpasse systématiquement les approches causales, hybrides et les autres méthodes de transition (schedulers classiques).
Efficacité des Paramètres : Le modèle (basé sur Qwen2.5-0.5B) surpasse des modèles d'embeddings généralistes beaucoup plus massifs (comme Llama-embed-nemotron), prouvant que l'adaptation du masquage est plus cruciale que la simple augmentation de la taille du modèle pour les données comportementales.
Robustesse : Le modèle montre une excellente stabilité, particulièrement dans les tâches de "sensibilité marketing" où l'intention est la plus difficile à capturer.

Signification et Impact

Ce travail démontre que pour transformer un LLM génératif en un encodeur d'utilisateurs performant, il ne suffit pas de changer l'objectif d'entraînement ; il faut adapter la structure même de l'attention de manière dynamique. La méthode GG-SM offre une voie pratique pour adapter des modèles pré-entraînés (decoder-only) à des tâches de recommandation et de marketing ultra-personnalisées, tout en conservant la compatibilité avec les architectures de pré-entraînement existantes.