Résumé Technique : Combler le fossé informationnel avec SemRaD

1. Définition du Problème

Le papier traite du problème de démarrage à froid (cold-start) pour les nouveaux utilisateurs dans l'e-commerce, plus précisément le défi de la prédiction de la Valeur de Vie Client (LTV) et du Taux de Conversion (CVR) pour les utilisateurs ayant des historiques d'interaction parsemés. Les modèles de séquence standards (ex: DIN, SASRec) reposent sur des données historiques riches ; lorsque les traces d'utilisateurs ne contiennent que quelques événements, les prédictions dégénèrent vers des moyennes de population, entraînant un marketing inefficace et des opportunités de rétention manquées.

Les auteurs identifient deux approches existantes et leurs limites spécifiques :

1. Augmentation Sémantique basée sur les LLM : Bien que les Grands Modèles de Langage (LLM) puissent densifier les historiques parsemés en inférant l'intention de l'utilisateur, ils génèrent généralement des rationales non structurées et de forme libre. En production, celles-ci sont bruitées, difficiles à valider et incohérentes entre les utilisateurs ou les changements de marché, ce qui les rend difficiles à opérationnaliser.
2. Apprentissage avec Informations Privilégiées (LUPI) : Cette approche utilise un modèle « enseignant » ayant accès aux signaux post-conversion (informations privilégiées) pour entraîner un modèle « étudiant » qui ne voit que les données pré-conversion. Cependant, la distillation naïve échoue souvent car l'écart d'information entre l'enseignant et l'étudiant est trop grand et hétérogène selon les utilisateurs. Un chemin de distillation partagé unique tend à moyenner ces régimes, échouant à transférer efficacement les connaissances vers les utilisateurs qui en ont le plus besoin.

2. Méthodologie : Le Framework SemRaD

Les auteurs proposent SemRaD (Semantic Reasoning-aware Distillation), un framework conçu pour combler le fossé d'information via deux composants complémentaires : un Pipeline de Raisonnement Sémantique Structuré et un Réseau de Distillation Sensible à la Rétrospection (Hindsight-Aware).

A. Pipeline de Raisonnement Sémantique Structuré

Au lieu de générer du texte libre, SemRaD emploie un flux de travail de découverte-curation-audit pour créer un schéma fixe et interprétable de dimensions comportementales (ex: Résolution Temporelle, Magnitude de la Transaction).

• Construction du Schéma : Les LLM proposent des dimensions candidates, qui sont dédoublées et consolidées par un second appel LLM, puis examinées par des experts du domaine pour garantir leur distinction et leur pertinence prédictive.
• Profilage Sémantique :
  • Pré-conversion ($Z_{pre}$) : Le LLM analyse le journal parcellaire pré-conversion pour générer un Profil Sémantique Densifié composé de rationales structurées pour chaque dimension. C'est le seul signal dérivé de LLM utilisé par l'étudiant déployé.
  • Post-conversion ($Z_{post}$) : Pendant l'entraînement, le LLM analyse le journal privilégié post-conversion pour générer un profil futur.
  • Fusion par Rétrospection ($Z_{fused}$) : Un prompt de fusion réconcilie les raisonnements pré- et post-conversion. Il identifie quels signaux pré-conversion étaient réellement prédictifs et résout les contradictions, produisant une Cible de Distillation par Rétrospection. Cette cible fournit à l'enseignant une supervision auto-cohérente dont l'étudiant peut apprendre, plutôt que des signaux bruts potentiellement contradictoires.

B. Réseau de Distillation Sensible à la Rétrospection

Le framework utilise un paradigme de distillation simultanée avec un Étudiant (en ligne) et un Enseignant (uniquement pour l'entraînement).

• Encodeur à Porte Sémantique (Semantic-Gated Encoder) : Pour gérer l'hétérogénéité des utilisateurs (où différentes dimensions importent pour différents utilisateurs), le modèle utilise un Encodeur à Porte Sémantique. Il encode chaque rationale sémantique avec un intégrateur de texte gelé et calcule des poids d'importance par utilisateur via un mécanisme de porte. Cela permet au modèle de se concentrer sur les dimensions les plus informatives pour chaque utilisateur spécifique.
• Experts de Distillation : Pour traiter l'écart d'information hétérogène, le framework remplace un chemin de distillation unique par des Experts de Distillation. Un routeur Gumbel-softmax, conditionné par la représentation de l'enseignant, sélectionne parmi plusieurs MLP experts pour reconstruire la cible de l'enseignant à partir de l'entrée de l'étudiant. Cela permet au modèle d'adapter la stratégie de transfert en fonction du régime de données de l'utilisateur.
• Objectif d'Entraînement : La perte totale combine la perte supervisée spécifique à la tâche (Huber pour la LTV, BCE pour la CVR), la distillation de connaissance (KD) à cible douce, et la perte de reconstruction routée par expert.

3. Contributions Clés

1. Pipeline de Raisonnement Sémantique Structuré : Remplace les rationales LLM non structurées par un flux de travail guidé par un schéma (découverte-curation-audit). Cela produit un Profil Sémantique Densifié pour l'inférence et une Cible de Distillation par Rétrospection pour l'entraînement, garantissant cohérence et opérationnalité.
2. Réseau de Distillation Sensible à la Rétrospection : Introduit un mécanisme de distillation qui comble l'écart enseignant-étudiant via la cible de rétrospection réconciliée et gère la variabilité par utilisateur grâce aux Experts de Distillation, évitant la fragilité d'une distillation à chemin unique.
3. Déploiement en Production et Généralisation : Démontre que SemRaD se généralise à travers les tâches (LTV et CVR), les architectures d'étudiants (Transformer, DIN, Avg-Pooling) et les LLM de profilage. Il valide l'approche dans un cadre industriel à grande échelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données industriel à grande échelle (120k utilisateurs) et validées via un test A/B en ligne de quatre semaines chez Keeta.

• Performance Hors-ligne : Comparé à un modèle de base de production, SemRaD a atteint :
  • Une amélioration de +1,9 % de la LTV (Coefficient de Gini).
  • Une amélioration de +1,0 % de la CVR (AUROC).
  • Les études d'ablation confirment que le profilage sémantique structuré et la distillation sensible à la rétrospection (incluant les experts) sont tous deux nécessaires pour une performance optimale.
• Efficacité des Données : SemR_ad a égalé la performance LTV du système de production en utilisant seulement 9 % des données d'entraînement tout en améliorant la CVR de 0,8 %, soulignant l'efficacité du signal des profils sémantiques.
• Test A/B en Ligne : Dans un déploiement réel (5 % du trafic, ~10k utilisateurs), SemR_ad a montré :
  • Un gain relatif de +1,0 % en LTV.
  • Un gain relatif de +0,43 % en CVR.
  • La latence de service a légèrement augmenté (P50 : +7,6 %, P99 : +34 %) en raison du MLP à porte, mais aucun appel LLM n'est requis lors de l'inférence (les profils sont mis en cache).
• Analyse des Mécanismes :
  • Poids des Portes (Gate Weights) : Les poids de porte appris s'alignaient avec l'intuition de l'expert (ex: la Spécificité de l'Intention de Navigation dominait), validant l'utilité du schéma.
  • Experts de Distillation : Le routeur a naturellement regroupé les utilisateurs en régimes distincts (ex: convertisseurs vs non-convertisseurs) sans supervision explicite.
  • Écart d'Information : SemR_ad a considérablement réduit le désaccord de prédiction entre l'enseignant et l'étudiant pour les utilisateurs en démarrage à froid par rapport à une distillation naïve, confirmant que la fusion par rétrospection rend la supervision privilégiée plus accessible.

5. Signification et Revendications

Le papier affirme que SemR_ad traite efficacement les doubles défis du bruit sémantique non structuré et des écarts d'information hétérogènes. En convertissant le raisonnement des LLM en un schéma structuré et en réconciliant les signaux privilégiés par la fusion par rétrospection, le framework permet un transfert de connaissances robuste d'un enseignant privilégié vers un étudiant aux données parsemées.

Les auteurs soulignent que le framework est indépendant du modèle et a été adopté avec succès pour d'autres tâches de production chez Keeta, notamment la prédiction de CTR, la simulation d'utilisateurs et la réengagement des utilisateurs silencieux. Ce travail démontre que la combinaison du raisonnement sémantique structuré et des techniques de distillation avancées peut générer une valeur commerciale significative et mesurable tout en maintenant l'efficacité des données et la faisabilité opérationnelle.