T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

Each language version is independently generated for its own context, not a direct translation.

🛒 T-REX : Le Super-Intelligent qui devine votre liste de courses

Imaginez que vous allez faire vos courses en ligne. Souvent, vous ne cherchez pas à découvrir de nouvelles choses exotiques (comme quand vous achetez un nouveau meuble ou un vêtement), mais vous avez une routine. Vous achetez du lait, des œufs, du pain et des pâtes, encore et encore.

Le problème pour les ordinateurs, c'est que les humains sont imprévisibles dans le temps. Parfois, on achète tout le lundi, parfois le jeudi, et parfois on oublie le café pendant deux semaines. Les anciens systèmes de recommandation étaient comme des robots rigides : ils se disaient "Ah, ce client achète du lait tous les lundis, donc je lui propose du lait". C'est bien, mais c'est un peu bête si vous avez déjà acheté du lait hier.

C'est là qu'intervient T-REX (Transformer-Based Category Sequence Generation). C'est un nouveau système d'intelligence artificielle conçu spécifiquement pour Amazon, qui agit comme un assistant de cuisine très perspicace.

Voici comment il fonctionne, avec des images simples :

1. Au lieu de regarder chaque produit, il regarde les "Rayons" 🏪

Au lieu de se soucier de la marque exacte de votre yaourt (il y en a des milliers !), T-REX pense par catégories : "Produits laitiers", "Fruits et légumes", "Boissons".

L'analogie : Imaginez que vous devez ranger une bibliothèque. Au lieu de mémoriser le titre exact de chaque livre (ce qui est impossible), vous vous souvenez simplement des rayons : "Roman", "Science", "Histoire". C'est plus simple, plus rapide, et cela correspond à la façon dont notre cerveau organise naturellement nos listes de courses.

2. Il ne lit pas le futur (Le secret du "Masque") 🕵️‍♂️

Les anciennes intelligences artificielles (comme BERT) fonctionnaient un peu comme un étudiant qui triche en regardant la réponse au dos de la feuille avant de faire l'exercice. Elles voyaient tout le panier d'un coup, ce qui les rendait trop confiantes mais inutiles pour prédire ce que vous allez acheter ensuite.

T-REX, lui, utilise une règle stricte : il ne peut regarder que ce que vous avez déjà mis dans votre panier.

L'analogie : C'est comme un chef de cuisine qui prépare un plat. Il ne peut pas ajouter l'ingrédient final (le dessert) avant d'avoir fini l'entrée. Il doit construire le panier étape par étape, en se basant uniquement sur ce qui est déjà là, exactement comme vous le feriez en temps réel.

3. Il comprend que le temps est "tordu" ⏳

Dans le monde des livres ou des films, tout suit un ordre strict (chapitre 1, chapitre 2...). Mais pour les courses, le temps est bizarre. Vous pouvez acheter des couches pour bébé tous les 3 jours, puis des produits de Noël tous les 12 mois.

L'analogie : T-REX possède une montre magique qui ne compte pas les minutes, mais qui comprend les "cycles de vie". Il sait que si vous achetez du lait, vous en rachèterez probablement dans une semaine, mais que si vous achetez une dinde, ce sera dans un an. Il s'adapte à votre rythme de vie, même si celui-ci est irrégulier.

4. Il découpe l'histoire en "morceaux" intelligents ✂️

Pour apprendre, T-REX ne lit pas l'histoire de vos achats d'un seul bloc. Il la découpe dynamiquement.

L'analogie : Imaginez que vous essayez d'apprendre à quelqu'un à jouer au tennis. Au lieu de lui montrer tout un match d'un coup, vous lui montrez des séquences : "Voici comment il a servi, maintenant voici comment il a reçu". T-REX fait pareil : il prend votre historique, choisit un moment précis (un "pivot"), et vous dit : "Si vous aviez fait cela à ce moment-là, voici ce que vous auriez dû acheter ensuite". Cela lui permet d'apprendre beaucoup plus vite et de mieux s'adapter aux nouveaux clients.

🏆 Les Résultats : Pourquoi c'est mieux ?

Quand Amazon a testé T-REX contre leurs anciens systèmes (qui se contentaient de dire "Vous achetez souvent du lait, voici du lait"), les résultats ont été impressionnants :

Plus de précision : Le système devinait mieux ce dont vous aviez besoin, même si vous n'aviez pas beaucoup d'achats passés.
Moins de temps perdu : Les clients trouvaient les catégories importantes plus tôt dans la liste, ce qui rendait la construction du panier plus rapide et moins frustrante.
Des ventes en hausse : Grâce à des recommandations plus pertinentes, les gens ont acheté plus de produits (environ 23% de plus que les systèmes habituels !).

En résumé 🌟

T-REX, c'est comme avoir un voisin très attentionné qui connaît vos habitudes. Il ne vous propose pas n'importe quoi au hasard. Il observe ce que vous avez déjà mis dans votre chariot, se souvient de vos habitudes passées (même si elles sont irrégulières), et vous dit : "Hé, vous avez pris des pâtes, n'oubliez pas la sauce tomate ! Et comme c'est le week-end, peut-être que vous voulez du vin ?"

C'est une intelligence artificielle qui a appris à faire ses courses avec vous, et non pas juste pour vous.

Each language version is independently generated for its own context, not a direct translation.

Titre : T-REX : Génération de séquences de catégories basée sur Transformer pour la recommandation de paniers d'épicerie

1. Problématique

Le commerce électronique de l'épicerie présente des défis uniques par rapport au e-commerce traditionnel (vêtements, électronique) :

Nature des achats : Les achats d'épicerie sont répétitifs et structurés, contrairement aux achats ponctuels exploratoires.
Complexité des paniers : Il faut capturer à la fois les associations d'articles complémentaires (ex: pâtes et sauce) et les dépendances temporelles entre les sessions d'achat.
Limites des approches actuelles : Les modèles de personnalisation traditionnels (similitude client, affinité latente) peinent à gérer la nature répétitive de l'épicerie et sont souvent surpassés par des baselines simples comme le "Top Fréquent Personnel" (P-Top).
Inadéquation des modèles existants : Les techniques de modélisation du langage masqué (comme BERT4Rec) sont moins adaptées à la génération de paniers complets en raison de problèmes de "fuite d'information" (le modèle peut "voir" le futur lors de l'entraînement bidirectionnel) et d'un décalage avec la nature séquentielle de la génération.

Objectif : Développer un système capable de générer des prédictions de paniers complets personnalisés, en alignant les suggestions sur les habitudes d'achat établies tout en gérant les dépendances temporelles.

2. Méthodologie : Architecture T-REX

Les auteurs proposent T-REX, une architecture Transformer spécialisée conçue pour générer des recommandations au niveau des catégories plutôt que des produits individuels.

A. Modélisation au niveau des catégories

Réduction de dimensionnalité : Les 29 000 produits sont mappés vers 35 (puis 280) catégories de l'ontologie Amazon.
Avantages : Cela gère la variabilité de la taille des paniers, modélise directement les dépendances inter-catégories, stabilise les préférences temporelles (plus stables que les produits spécifiques) et réduit la complexité computationnelle pour l'inférence en temps réel.

B. Architecture Encoder-Décodeur
Contrairement aux modèles unifiés (comme BERT), T-REX utilise une structure séparée :

Encodeur : Apprend les patterns de composition de paniers généralisables à l'ensemble des clients. Il reste flexible pour intégrer des signaux supplémentaires (recherches, navigation). Il traite l'historique sans masquage.
Décodeur : Génère des prédictions personnalisées en exploitant à la fois les patterns de population (via l'attention croisée avec l'encodeur) et l'historique individuel. Il utilise un masquage causal pour respecter la nature séquentielle (prédire le futur basé uniquement sur le passé).

C. Innovations Clés

Découpage dynamique de séquences (Dynamic Sequence Splitting) :
- Au lieu de diviser les sessions par blocs fixes, le modèle sélectionne un "pivot" temporel aléatoire dans l'historique d'un client.
- Les achats avant le pivot forment l'entrée de l'encodeur, et les $n$ achats suivants forment la cible du décodeur.
- Avantage : Permet un entraînement efficace sur des historiques de longueurs variables et permet de générer des recommandations en cours de session (temps réel).
Encodage positionnel adaptatif :
- Les sessions d'épicerie sont irrégulières (espacées de jours ou de semaines), ce qui rend les encodages sinusoïdaux standards inefficaces.
- T-REX utilise une position normalisée relative au pivot (exprimée en jours avant/après l'achat pivot) pour capturer les relations temporelles tout en gérant la sparsité.
Génération Multi-têtes et Attention Croisée :
- Utilisation de mécanismes d'attention multi-têtes pour capturer divers aspects des patterns d'achat.
- L'attention croisée connecte les patterns historiques globaux au contexte de génération actuel.

3. Contributions Principales

Nouvelle Architecture : Adaptation réussie de l'architecture Encoder-Décodeur Transformer pour la génération de paniers, évitant les pièges du masquage bidirectionnel.
Stratégie d'Échantillonnage : Introduction d'une méthode de découpage dynamique qui améliore la généralisation pour les nouveaux clients et gère les historiques incomplets.
Modélisation Temporelle : Un schéma d'encodage positionnel spécifique aux achats irréguliers, supérieur aux méthodes standard.
Évaluation Innovante : Introduction d'une métrique de "correspondance de rang" (rank-matching) qui évalue non seulement la précision, mais aussi l'alignement de l'ordre des recommandations avec les habitudes d'achat réelles du client (crucial pour l'efficacité de la constitution du panier).

4. Résultats Expérimentaux

Les expériences ont été menées sur des données hors ligne (1 million de sessions, 100k clients) et validées par des tests A/B en production.

Performance vs Baseline (P-Top) :
- T-REX surpasse systématiquement la baseline "Top Fréquent Personnel" sur toutes les métriques de précision (Precision@k) et de rappel (Recall@k).
- Médiane : Plus de 90 % des articles du panier sont retrouvés dans les 10 premières recommandations de T-REX.
- Consistance : T-REX montre une qualité de génération plus stable (moins de variance) que les modèles basés sur la fréquence.
Analyse par Segment :
- Nouveaux clients / Petits paniers : T-REX excelle particulièrement pour les clients avec peu d'historique ou les petits paniers (<5 articles), où il surpasse la baseline de 30 %, car il peut transférer des patterns appris sur la base globale.
- Clients établis : La performance converge avec la baseline pour les clients très fidèles aux habitudes, mais T-REX maintient un avantage.
Qualité du Rang :
- T-REX atteint 30 % de correspondances exactes de rang (vs 27 % pour P-Top) et 60 % de correspondances à un rang près (vs 48 %). Cela signifie que les catégories les plus importantes pour le client sont suggérées plus tôt dans la liste.
Déploiement en Production (A/B Testing) :
- Déployé sur les recommandations de produits de consommation courante (280 catégories).
- Résultats : Augmentation significative du taux de clic (CTR), des ventes de produits, du chiffre d'affaires composite et de la marge brute.
- Impact : Le gain de ventes (lift) est environ 23 % supérieur à celui des systèmes de recommandation standards d'Amazon.

5. Signification et Conclusion

Ce travail démontre que les architectures Transformer, lorsqu'elles sont correctement adaptées (masquage causal, encodage temporel spécifique, modélisation par catégorie), surpassent les méthodes statistiques traditionnelles dans le domaine complexe de l'épicerie en ligne.

Points clés de l'impact :

Efficacité opérationnelle : En suggérant les bonnes catégories au bon moment, T-REX réduit l'effort de navigation pour le client.
Robustesse : Le modèle fonctionne bien même avec peu de données historiques, un défi majeur pour la personnalisation en épicerie.
Passage à l'échelle : La réduction de la granularité (produits -> catégories) rend le modèle viable pour une inférence en temps réel à grande échelle.

T-REX représente une avancée significative pour la personnalisation dans les secteurs à forte récurrence d'achat, prouvant que la compréhension des dépendances temporelles et contextuelles est supérieure à la simple analyse de fréquence.