Résumé Technique : LADMF pour la Prédiction Explicable de la Conversion dans l'E-Commerce

1. Définition du Problème

L'article traite du défi de la prédiction de la conversion dans l'e-commerce, qui consiste à estimer si un utilisateur achètera un article compte tenu de signaux hétérogènes (flux de clics, images, descriptions textuelles, attributs et comportement historique). Les auteurs identifient trois limitations entrelacées des méthodes de pointe actuelles :

1. Représentations Multimodales Entremêlées : Les méthodes de fusion actuelles mélangent souvent des signaux causaux partagés entre les modalités et du bruit spécifique aux modalités, ce qui entraîne des prédictions et des interprétations instables.
2. Explications Basées sur l'Attention Non Fidèles : Les poids d'attention dans les modèles de Graphes de Connaissances (KG) (ex. : KGAT) sont optimisés pour la précision plutôt que pour la suffisance causale, ce qui les rend peu fiables en tant qu'explications.
3. Écart Sémantique : Il existe un déconnect entre les chemins de raisonnement extraits des KG et les rationalisations compréhensibles par l'humain. Le fait de solliciter naïvement des Grands Modèles de Langage (LLM) pour générer des explications entraîne souvent des hallucinations.

L'objectif est de développer un cadre unifié qui soit précis, efficace en termes de données en situation de parcimonie, interprétable via des rationalisations compréhensibles par l'humain, et robuste aux corrélations spécieuses.

2. Méthodologie : Le Cadre LADMF

Les auteurs proposent LADMF (LLM-Augmented Disentangled Multimodal Framework), un modèle unifié comprenant quatre composantes étroitement couplées :

2.1 Encodeurs de Modalités

Les signaux bruts sont encodés en plongements (embeddings) :

• Visuel : Backbone CLIP-ViT gelé.
• Textuel : BERT-base pour les titres, descriptions et avis.
• Comportemental : Encodeur d'auto-attention temporelle sur les séquences d'interactions utilisateur (article, horodatage, type d'action).

2.2 Fusion Multimodale Désenchevêtrée (DMF)

Ce module décompose la représentation conjointe des utilisateurs et des articles en :

• Sous-espace Partagé par les Modalités ($z_{sh}$) : Capture les signaux causaux et invariants de la modalité.
• Sous-espaces Spécifiques aux Modalités ($z_m$) : Capture les nuances idiosyncrasiques pour chaque modalité (visuelle, textuelle, attributaire, comportementale).
• Contraintes :
  • Désenchevêtrement par Corrélation de Distance : Impose l'orthogonalité entre les facteurs partagés et spécifiques, ainsi qu'entre les facteurs spécifiques, en utilisant la corrélation de distance ($dCor$) pour assurer une véritable indépendance statistique.
  • Goulot d'Étranglement Informationnel Multimodal (MIB) : Minimise l'information mutuelle entre les facteurs spécifiques et l'étiquette cible conditionnellement au facteur partagé, garantissant que les facteurs spécifiques ne contribuent qu'à l'information unique.

2.3 Raisonnement sur Graphe de Connaissances Augmenté par LLM (LKGR)

Ce module traite de la parcimonie des KG et des écarts sémantiques :

• Complétion de KG : Un LLM gelé (LLaMA-3-8B) est sollicité avec les voisinages locaux d'articles pour générer des triplets sémantiques candidats, qui sont validés par un scoreur apprenable avant d'être ajoutés au graphe.
• Re-scoring de Chemins : Les chemins de raisonnement sont énumérés et scorés par le LLM gelé pour leur plausibilité sémantique. Le poids final du chemin combine des scores structurels (issus de réseaux d'attention de graphes relationnels, R-GAT) et des scores sémantiques ($\rho(\pi)$) pour filtrer les chemins structurellement plausibles mais sémantiquement implausibles.

2.4 Attention Causale Cross-Modale (CMCA)

Pour remplacer l'attention standard par un mécanisme ancré causalement :

• Intervention Contrefactuelle : Le module calcule les poids d'attention en contrastant le score factuel avec un score contrefactuel dérivé d'un opérateur do. Cela implique de remplacer les modalités non ciblées par leurs espérances marginales (moyenne empirique par pooling).
• Mécanisme : Le poids d'attention $\tilde{\alpha}_{ij}$ est calculé comme le softmax du score factuel moins un score contrefactuel mis à l'échelle. Cela estime l'Effet de Traitement Moyen (ATE) d'une modalité spécifique sur la prédiction.
• Garantie Théorique : Les auteurs prouvent que les poids CMCA fournissent une borne supérieure sur l'effet de traitement moyen au niveau du chemin, garantissant que le mécanisme d'attention est fidèle à l'influence causale des caractéristiques.

2.5 Fonction d'Objectif

Le modèle est entraîné avec une fonction de perte composite :

• Entropie Croisée Binaire ($L_{BCE}$) : Pour la prédiction de la conversion.
• Perte de Désenchevêtrement ($L_{dCor}$) : Impose la séparation des facteurs.
• Perte de Goulot d'Étranglement Informationnel ($L_{MIB}$) : Empêche la dominance d'une modalité.
• Perte de Fidélité du Chemin ($L_{path}$) : Aligne la distribution des chemins de raisonnement avec l'étiquette de prédiction, encourageant les chemins qui soutiennent causalement la prédiction.
• Perte Contrastive Sensible à l'Achat ($L_{ctr}$) : Impose que les paires positives de conversion soient plus proches dans l'espace d'embedding que les paires de simple clic (négatifs difficiles).

3. Contributions Clés

1. Cadre Unifié : Le premier cadre capable d'effectuer simultanément le désenchevêtrement causal des facteurs multimodaux et le raisonnement sur KG augmenté par LLM pour la prédiction de la conversion, couplés via un espace latent partagé.
2. Attention Causale Cross-Modale (CMCA) : Introduit un opérateur d'attention sensible à l'intervention qui soustrait les scores contrefactuels des scores factuels. Les auteurs prouvent que cela implémente une borne supérieure sur l'effet de traitement moyen au niveau du chemin.
3. Scoring de Chemin Intégré au LLM : Conçoit un scoreur de chemin via un LLM gelé combiné à une perte de fidélité du chemin pour générer des explications en langage naturel qui sont explicitement alignées avec les prédictions, atténuant ainsi l'hallucination.
4. Validation Empirique : Expérimentations approfondies sur trois benchmarks publics (Amazon-Electronics, Taobao-CTR, JD-Conversion) démontrant des performances de pointe et une qualité d'explication supérieure.

4. Résultats Expérimentaux

Le modèle a été évalué sur trois jeux de données à l'aide de métriques standards (AUC, Log-loss, HR@10, NDCG@10) et d'une évaluation humaine pour la qualité de l'explication (Fidélité, Plausibilité, Diversité, Utilité).

• Performance Quantitative : LADMF a obtenu les meilleurs résultats sur tous les jeux de données.
  • Amélioration de l'AUC : Amélioration de 2,5 % à 3,4 % par rapport à la base la plus forte (G-Refer). Spécifiquement, +2,95 % sur Amazon-Electronics, +3,00 % sur Taobao-CTR, et +2,89 % sur JD-Conversion.
  • Log-Loss : Réduction de la log-perte relative jusqu'à 7,3 %.
  • Métriques de Classement : Gains significatifs en HR@10 (jusqu'à +7,16 %) et NDCG@10 (jusqu'à +8,37 %).
• Robustesse : Le modèle a démontré une performance supérieure dans les scénarios de démarrage à froid (cold-start) et de forte parcimonie (utilisateurs avec <5 interactions), surpassant les bases de référence dans chaque tranche de parcimonie.
• Évaluation Humaine : Les explications de LADMF ont été nettement préférées par les évaluateurs humains (30 annotateurs) par rapport aux bases :
  • Fidélité : +0,50 (4,42 contre 3,92 pour G-Refer).
  • Plausibilité : +0,46 (4,51 contre 4,05).
  • Utilité : +0,50 (4,58 contre 4,08).
• Étude d'Ablation : Le retrait du module CMCA a provoqué la chute de performance la plus forte (−1,82 % d'AUC sur Amazon), confirmant la nécessité de l'attention causale. Le retrait du scoreur de chemin LLM a également entraîné une baisse significative (−1,93 % d'AUC), soulignant la valeur de l'ancrage sémantique.
• Efficacité : Bien que l'entraînement soit 1,4× plus lent que KGAT en raison de l'augmentation par LLM, la latence d'inférence n'est que de 1,08× plus élevée car les sorties du LLM sont mises en cache.

5. Signification et Revendications

L'article affirme que LADMF fait progresser l'état de l'art en résolvant le compromis entre précision prédictive et explicabilité dans l'e-commerce. En couplant le désenchevêtrement par corrélation de distance, les goulots d'étranglement informationnels multimodaux, l'augmentation de KG validée par LLM et l'attention contrefactuelle, le cadre délivre :

• Précision de Pointe : Améliorations constantes par rapport aux bases solides sur divers jeux de données.
• Explications Fidèles : Produit des rationalisations que les évaluateurs humains jugent plus fidèles, plausibles et utiles que celles issues de modèles basés sur l'attention ou purement génératifs.
• Robustesse : Maintient ses performances sous une forte parcimonie de données et des conditions de démarrage à froid en séparant efficacement les signaux causaux du bruit.

Les auteurs notent des limitations, notamment le coût computationnel de la complétion de KG par LLM (atténué par la mise en cache) et la mise à l'échelle quadratique de la perte de corrélation de distance avec la taille du lot (batch size). Ils suggèrent que les travaux futurs porteront sur l'entraînement de bout en bout avec le LLM dans la boucle via des adaptateurs à efficacité de paramètres, ainsi que sur des audits d'équité utilisant le signal d'attention contrefactuelle.