Résumé Technique : UniSID – Génération de Identifiants Sémantiques de Bout en Bout pour la Recommandation Publicitaire Générative

1. Énoncé du Problème

La Recommandation Générative (GR) s'est imposée comme un paradigme puissant en cadrant la recommandation comme une tâche de prédiction du prochain token, reposant sur des Identifiants Sémantiques (SIDs) pour tokeniser des articles à grande échelle en séquences discrètes. Cependant, les approches GR existantes utilisent principalement un paradigme de compression en cascade à deux étapes basé sur la Quantification Résiduelle (RQ). Dans ce pipeline, les articles sont d'abord encodés en plongements denses (Étape 1) puis quantifiés en SIDs discrets (Étape 2).

Les auteurs identifient trois limitations inhérentes à ce paradigme à deux étapes prédominant :

1. Inadéquation des Objectifs : L'étape d'apprentissage des plongements est optimisée pour la richesse sémantique, tandis que l'étape de génération de SID est optimisée pour la prédiction de token discret. Ce découplage empêche une co-optimisation de bout en bout, conduisant à des représentations de SID sous-optimales.
2. Dégradation Sémantique : Puisque les SIDs sont générés uniquement à partir de plongements pré-entraînés, le processus ne peut pas utiliser directement les caractéristiques brutes des articles (par exemple, signaux multimodaux ou attributs structurés). Ce goulot d'étranglement entraîne la perte de sémantiques critiques et réduit la fidélité des SID.
3. Accumulation d'Erreurs : La RQ quantifie hiérarchiquement les plongements en approximatant les résidus. Le bruit de quantification s'accumule à travers les niveaux, et les couches profondes n'observent que le résidu de l'étape précédente, entraînant une information progressivement plus clairsemée et des SID plus bruyants et moins fiables aux niveaux profonds.

La question de recherche centrale est de savoir si un framework unifié de génération de SID de bout en bout peut être conçu pour se détacher de ce paradigme de compression en cascade à deux étapes.

2. Méthodologie : UniSID

Les auteurs proposent UniSID, un framework unifié pour la recommandation publicitaire générative qui optimise conjointement les plongements et les SIDs directement à partir de données publicitaires brutes. Le framework se compose de trois composants principaux :

2.1 Schéma d'Entrée Amélioré par la Publicité

Pour répondre à la dégradation sémantique, UniSID linéarise des signaux publicitaires hétérogènes en une séquence de tokens unifiée traitée par un Modèle de Langage Multimodal à Grande Échelle (MLLM) partagé. L'entrée comprend :

• Prompts d'Instruction Publicitaire : Guidant explicitement le modèle à générer des SIDs et des plongements.
• Modalités Non Structurées : Contenu visuel (images) et descriptions textuelles (titres/descriptions).
• Attributs Publicitaires Structurés : Informations sur l'industrie et la catégorie hiérarchique (par exemple, Produits de Première Nécessité → Vaisselle → Ustensiles de Cuisine → Verre à Eau) pour résoudre l'ambiguïté sémantique inhérente aux images/textes bruts.
• Tokens Apprenables : Un ensemble de tokens SID apprenables et un token de plongement ajoutés à l'entrée.

Le MLLM encode ces entrées en états cachés. Une Tête SID projette les représentations des tokens SID dans l'espace SID, tandis qu'une Tête de Plongement projette la représentation du token de plongement dans l'espace de plongement des articles. Crucialement, le token de plongement est conditionné par la séquence de SID précédente, lui permettant d'intégrer à la fois les données brutes et les informations sémantiques du grossier au fin.

2.2 Génération Unifiée de SID et de Plongements

Contrairement aux méthodes RQ qui quantifient hiérarchiquement les résidus, UniSID prédit chaque couche du SID multicouche directement à partir du même contexte publicitaire complet. Cela garantit que toutes les couches de SID accèdent à une information publicitaire complète, atténuant la raréfaction progressive de l'information.

• Le modèle sort des logits pour $L$ couches sémantiques.
• Des tokens SID discrets sont obtenus via une opération argmax sur les logits pour chaque couche.
• Le SID final est la concaténation de ces tokens par couche.

2.3 Apprentissage Contrastif Multi-Granularité

Pour imposer une cohérence sémantique à travers différents niveaux de SID, les auteurs introduisent une stratégie d'apprentissage contrastif multi-granularité.

• Au lieu d'un ensemble de positifs fixe, la méthode détermine de manière adaptative les relations positives basées sur la pertinence de la publicité à chaque niveau sémantique $l$.
• Les ensembles de positifs ($P_l$) consistent en des articles partageant la même catégorie sémantique au niveau $l$.
• La fonction de perte ($\mathcal{L}_{sid}$) est optimisée indépendamment à chaque niveau de granularité, garantissant que les SID fins n'absorbent pas le bruit de niveau grossier et que la cohérence hiérarchique est maintenue.
• Une perte contrastive standard ($\mathcal{L}_{emb}$) est également appliquée aux plongements d'articles.

2.4 Reconstruction Publicitaire Basée sur le Résumé

Pour encourager les SIDs à capturer des sémantiques latentes de haut niveau non explicitement présentes dans les données brutes, un mécanisme de reconstruction basé sur le résumé est proposé.

1. Génération de Résumé : Un LLM figé résume les attributs publicitaires structurés en un résumé sémantique de haut niveau ($s^{sum}_i$) qui infère des informations implicites (par exemple, l'intention de l'audience cible).
2. Reconstruction : Le modèle concatène l'embedding du SID et l'embedding de l'article, les projette à travers une tête de reconstruction, et utilise un LLM pour reconstruire le résumé sémantique via la prédiction du prochain token.
3. Objectif : Ce processus ($\mathcal{L}_{rec}$) agit comme un signal de supervision auxiliaire, contraignant les SIDs à encoder des caractéristiques sémantiques discriminatives de haut niveau.

2.5 Optimisation Conjointe

L'objectif global d'entraînement combine les trois composants :
$$\mathcal{L}_{total} = \mathcal{L}_{sid} + \mathcal{L}_{emb} + \lambda \mathcal{L}_{rec}$$
Cette conception unifiée permet aux SIDs et aux plongements de se renforcer mutuellement, évitant l'incohérence des objectifs des pipelines à deux étapes.

3. Contributions Clés

1. Identification des Limitations : L'article identifie et analyse formellement les limitations du paradigme RQ à deux étapes prédominant : inadéquation des objectifs, dégradation sémantique et accumulation d'erreurs.
2. Framework UniSID : Un framework de bout en bout novateur qui optimise conjointement les SIDs et les plongements à partir de données brutes, utilisant un schéma d'entrée amélioré par la publicité et une prédiction multicouche à contexte complet.
3. Mécanismes de Préservation Sémantique : L'introduction de l'apprentissage contrastif multi-granularité pour imposer une cohérence sémantique spécifique au niveau et d'un mécanisme de reconstruction basé sur le résumé pour capturer des sémantiques latentes de haut niveau.
4. Validation Empirique : Évaluation complète sur des ensembles de données publicitaires industriels et des benchmarks publics.

4. Résultats Expérimentaux

Les auteurs ont évalué UniSID sur deux ensembles de données publicitaires industriels (Ad-60W, Ad-100W) et un benchmark public (Amazon Beauty).

• Qualité du SID : Sur l'ensemble de données Ad-60W, UniSID a obtenu une amélioration de 1,86 % à 3,09 % de la mesure V (qualité de clustering) sur trois couches sémantiques par rapport à la meilleure base (RQ-Kmeans).
• Prédiction de la Prochaine Publicité : Sur l'ensemble de données Ad-100W, UniSID a amélioré le Taux de Réussite (HR@5) de 4,62 % par rapport à RQ-Kmeans.
• Récupération par Plongement : Sur l'ensemble de données Ad-60W, UniSID a surpassé les méthodes d'embedding multimodal de pointe (par exemple, VLM2Vec2) avec une amélioration massive de 45,46 % du Recall@1.
• Benchmark Public : Lorsqu'intégré au framework TIGER sur l'ensemble de données Amazon Beauty, UniSID a amélioré le Recall@5 de 11,83 % par rapport à la meilleure base (TIGER-LETTER).

Des Études d'Ablation ont confirmé que :

• L'Entraînement Conjoint est supérieur à l'entraînement sur une seule tâche, car le renforcement mutuel entre la génération de SID et de plongement améliore les deux.
• La Perte Contrastive Multi-Granularité surpasse les pertes standard d'appariement de distributions (KL, JS) et la perte BCE dans la préservation des structures sémantiques hiérarchiques.
• La Reconstruction Basée sur le Résumé améliore considérablement la qualité des SID en guidant le modèle à capturer des caractéristiques sémantiques implicites de haut niveau.

Des Études de Cas ont démontré que les SIDs générés par UniSID peuvent reconstruire avec succès non seulement les attributs explicites, mais aussi des sémantiques implicites de haut niveau (par exemple, "confort", "mode", "image professionnelle") inférées à partir du mécanisme de résumé.

5. Signification et Revendications

L'article revendique que UniSID représente un changement significatif par rapport au paradigme de compression découplé à deux étapes vers une approche unifiée de bout en bout. En induisant directement des SIDs à partir de données publicitaires brutes, la méthode atténue efficacement la perte d'information et l'accumulation d'erreurs inhérentes à la Quantification Résiduelle.

Les auteurs affirment que leur approche :

• Fournit une solution plus robuste et évolutive pour la Recommandation Générative dans des environnements publicitaires complexes et hétérogènes.
• Permet aux SIDs de capturer à la fois des détails fins et des sémantiques latentes de haut niveau, améliorant à la fois la qualité des identifiants et les performances de recommandation en aval.
• Démontre de fortes capacités de généralisation, performant bien à la fois sur des ensembles de données industriels à grande échelle et sur des benchmarks publics standards.

L'étude conclut que UniSID surmonte avec succès les limitations inhérentes des méthodes actuelles de génération de SID, offrant un framework unifié qui aligne les objectifs de l'apprentissage de représentation et de la recommandation générative.