Résumé technique : Tokenisation des caractéristiques numériques et d'embeddings pour les systèmes de recommandation basés sur les LLM

Énoncé du problème

Bien que les grands modèles de langage (LLM) soient devenus des backbones puissants pour les systèmes de recommandation grâce à leurs capacités de modélisation de séquences et de compréhension sémantique, un décalage fondamental existe entre les interfaces d'entrée des LLM et les pipelines de recommandation industriels. Les LLM consomment principalement des tokens textuels discrets, alors que les systèmes de recommandation pratiques reposent fortement sur des caractéristiques numériques continues (ex: prix, notes) et des caractéristiques d'embeddings denses générées par l'ingénierie en amont ou par des encodeurs pré-entraînés.

Les stratégies existantes pour combler ce fossé — telles que la verbalisation des signaux en texte, la discrétisation des représentations d'items, ou l'ajout de caractéristiques externes uniquement après l'encodage par le LLM — masquent souvent les informations numériques sensibles à l'échelle, rejettent les signaux continus de précision ou limitent l'interaction entre les caractéristiques textuelles et non textuelles au sein du modèle. Cet article traite du défi consistant à intégrer ces signaux hétérogènes et non textuels directement dans l'espace d'embedding du LLM sans perdre leur nature continue ni nécessiter de traitement post-hoc.

Méthodologie

Les auteurs proposent un cadre de fusion de soft-tokens qui mappe les caractéristiques numériques et d'embeddings en « soft tokens » (vecteurs continus) compatibles avec l'interface de tokens standard des LLM. Ce cadre est instancié au sein d'un modèle de recherche à deux tours basé sur un LLM avec paramètres partagés.

1. Construction des Soft-Tokens

La méthode convertit les caractéristiques non textuelles en séquences de soft tokens en utilisant des stratégies d'encodage et de compression spécifiques :

• Caractéristiques d'Embeddings : Les caractéristiques d'embeddings denses (dérivées des métadonnées de l'item ou de l'historique de l'utilisateur) sont d'abord encodées par un encodeur de texte LLM auxiliaire (Qwen3-4B). Pour gérer la longueur de la séquence, un pooling moyen (mean pooling) est appliqué sur les embeddings de tokens consécutifs. Ces embeddings poolés sont ensuite compressés en un nombre fixe de soft tokens d'embedding via un adaptateur Q-Former. Le Q-Former utilise des tokens de requête apprenables pour porter attention aux caractéristiques d'entrée de longueur variable, agissant comme un goulot d'étranglement informationnel.
• Caractéristiques Numériques : Les caractéristiques numériques continues (spécifiquement le prix) sont encodées à l'aide d'un encodage de caractéristiques de Fourier afin de préserver les différences de valeurs fines et la sensibilité à l'échelle. Ces valeurs encodées sont projetées dans la dimension cachée du LLM et sont ensuite compressées en soft tokens numériques via un Q-Former numérique dédié.

2. Fusion basée sur l'interaction

Un composant critique du cadre est le module de fusion basé sur l'interaction. Plutlement que de simplement concaténer les tokens textuels, les soft tokens d'embedding et les soft tokens numériques (ce que les auteurs ont jugé sous-optimal), la méthode proposée affine les soft tokens hétérogènes avant l'insertion.

• Les soft tokens d'embedding et numériques sont concaténés et passés à travers un module de fusion Transformer léger.
• Ce module modélise les relations entre les deux types de caractéristiques en utilisant des mécanismes d'attention (attention croisée bidirectionnelle ou unidirectionnelle).
• Les soft tokens raffinés sont ensuite insérés dans la séquence d'entrée finale du LLM (Qwen3-0.6B) aux côtés des tokens de prompt textuels et du token de fin de séquence ([EOS]).

3. Architecture

Le système emploie une architecture de recherche à deux tours où les deux tours (utilisateur et item) partagent les mêmes paramètres de LLM. Les tours encodent les séquences d'entrée fusionnées en représentations de recherche denses en utilisant le pooling du dernier token sur le jeton [EOS]. Le modèle est entraîné avec un objectif contrastif utilisant des négatifs intra-batch.

Contributions clés

1. Identification du décalage : L'article identifie explicitement la déconnexion entre les entrées de LLM basées sur les tokens et les caractéristiques numériques continues/d'embeddings denses standards dans les pipelines de recommandation.
2. Cadre de fusion de Soft-Tokens : Il propose une méthode pour convertir les caractéristiques non textuelles en soft tokens compatibles avec les LLM, permettant aux signaux hétérogènes d'être consommés via l'interface de tokens standard.
3. Fusion basée sur l'interaction : Les auteurs introduisent un module spécifique qui modélise les interactions entre les soft tokens dérivés d'embeddings et numériques avant l'encodage par le LLM, démontrant que cela est supérieur à une simple concaténation directe.
4. Validation empirique : Le cadre est instancié dans un modèle de recherche à deux tours à paramètres partagés et évalué sur trois benchmarks de recommandation d'Amazon (Beauty, Sports and Outdoors, Toys and Games).

Résultats expérimentaux

Les auteurs ont évalué leur méthode par rapport à plusieurs lignes de base, incluant des variantes de LLM textuelles uniquement, des variantes de soft-tokens à source unique, des bases de concaténation directe, ainsi que des modèles de recommandation séquentiels/génératifs établis (ex: SASRec, TIGER).

• Efficacité des caractéristiques non textuelles : Les soft tokens numériques et d'embeddings ont tous deux apporté des gains de performance par rapport aux bases textuelles seules. L'utilité relative variait selon le jeu de données (les caractéristiques numériques étaient plus impactantes sur Beauty et Sports ; les caractages d'embeddings étaient plus impactants sur Toys).
• Supériorité de l'interaction : La concaténation directe de soft tokens hétérogènes s'est révélée incohérente et a souvent sous-performé par rapport aux variantes à source unique. En revanche, l'approche de fusion basée sur l'interaction a obtenu les meilleures performances (ou a égalé les meilleures) sur la plupart des métriques (Recall@K, NDCG@K) sur les trois jeux de données.
• Comparaison avec les baselines : Le modèle proposé par interaction a surpassé la baseline TIGER en Recall@10 sur tous les jeux de données et a obtenu la performance globale la plus forte sur le jeu de données Toys and Games. Il a également dépassé les modèles séquentiels traditionnels comme GRU4Rec, Caser et HGN.
• Études d'ablation : Des expériences supplémentaires ont confirmé la nécessité de choix de conception spécifiques :
  • Remplacer les adaptateurs Q-Former par des projections MLP a considérablement dégradé les performances (jusqu'à une chute de 60 % de R@5 sur Sports).
  • Remplacer l'encodage de Fourier par une représentation numérique par tokenizer a systématiquement réduit les performances.
  • La concaténation de prompt naïve était moins efficace que la construction explicite de soft tokens et l'interaction.

Signification et affirmations

L'article affirme que la fusion de soft-tokens sert d'interface pratique pour jeter un pont entre les LLM et les pipelines de systèmes de recommandation riches en caractéristiques. En représentant les caractéristiques numériques continues et les embeddings denses sous forme de soft tokens et en modélisant explicitement leurs interactions avant l'encodage par le LLM, la méthode permet aux récommandeurs basés sur les LLM d'exploiter des signaux non textuels fins sans abandonner l'architecture basée sur les tokens.

Les auteurs positionnent ce travail comme une étape vers le passage de architectures de recommandation spécifiques à des tâches vers des modèles centrés sur les LLM capables de consommer nativement des types de données hétérogènes. Ils notent que les travaux futurs pourraient étendre ce cadre à d'autres types de caractéristiques, à des modèles de backbone plus larges et à des contextes de recherche à grande échelle plus réalistes. Les résultats suggèrent que la modélisation des relations entre les caractéristiques non textuelles est cruciale pour maximiser le potentiel des LLM dans les tâches de recommandation.