T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een supermarktwinkelwagen vult. Soms heb je een vaste routine: elke week melk, brood en eieren. Soms heb je een speciale boodschappenlijst voor een groot feestje.

De uitdaging voor een online supermarkt (zoals Amazon) is: Hoe weten ze precies wat jij nodig hebt, voordat jij het zelf weet?

Dit artikel beschrijft een slimme nieuwe computer-methode genaamd T-REX. Hier is hoe het werkt, vertaald naar simpele taal met een paar creatieve vergelijkingen.

1. Het Probleem: Waarom is boodschappen doen anders?

In de normale online winkel (voor kleding of meubels) koop je vaak één ding en dan ben je klaar. Maar bij boodschappen is het anders:

Je koopt dingen herhaaldelijk (elke week weer melk).
Je koopt dingen die bij elkaar horen (pasta en tomatensaus).
Je hebt een ritme (elke maandag boodschappen, of elke twee weken).

Oude methoden waren als een stijve robot: "Jij koopt altijd melk, dus ik raad je weer melk aan." Dat werkt goed, maar het mist de nuance. Het ziet niet dat je deze week misschien ook een verjaardagscadeau nodig hebt, of dat je melk nu in een andere verpakking wilt.

2. De Oplossing: T-REX (De Slimme Boekhouder)

T-REX is een nieuw type "hersenen" voor de computer, gebaseerd op Transformers (dezelfde technologie die Chatbots zoals ik aansturen). Maar T-REX is speciaal getraind voor boodschappen.

In plaats van naar duizenden losse producten te kijken, kijkt T-REX naar groepen (categorieën). Denk aan het verschil tussen het onthouden van 30.000 verschillende soorten melk, versus het onthouden van de categorie "Zuivel". Dit maakt het veel sneller en slimmer.

3. De Drie Magische Trucs van T-REX

T-REX heeft drie speciale vaardigheden die het beter maken dan de oude robots:

A. De "Dynamische Snijder" (Het Koken van een Soep)

Stel je voor dat je een lange film hebt van al je boodschappen van de afgelopen jaren.

Oude methode: De computer keek alleen naar de laatste scène.
T-REX methode: T-REX snijdt die film op willekeurige plekken door. Soms kijkt hij naar het begin, soms naar het midden.
Waarom? Hierdoor leert hij niet alleen wat je vandaag koopt, maar ook hoe je boodschappenpatroon zich ontwikkelt over tijd. Het is alsof je een kok bent die proeft hoe de soep smaakt op verschillende momenten tijdens het koken, in plaats van alleen aan het einde.

B. De "Slimme Tijdklok" (Geen Strakke Agenda)

In een tekst (zoals een boek) staan woorden in een strakke rij: 1, 2, 3, 4.
Bij boodschappen is dat niet zo. Soms ga je dinsdag shoppen, dan pas weer over twee weken.

Oude methode: Zie tijd als vaste stappen (1, 2, 3). Dit werkt niet goed als de stappen onregelmatig zijn.
T-REX methode: T-REX gebruikt een slimme klok. Hij weet: "Deze boodschappen waren 3 dagen geleden, die waren 2 weken geleden." Hij past zijn verwachtingen aan op basis van hoe lang het geleden is, in plaats van alleen te kijken naar de volgorde.

C. De "Twee-Kamer Opzet" (De Chef en de Serveerster)

T-REX werkt met twee delen die samenwerken:

De Chef (Encoder): Deze kijkt naar iedereen die boodschappen doet. Hij leert de algemene regels: "Als mensen pasta kopen, kopen ze vaak ook saus." Hij is de expert in de wereldwijde patronen.
De Serveerster (Decoder): Deze kijkt specifiek naar jou. Ze combineert wat de Chef heeft geleerd met jouw persoonlijke geschiedenis.

Het resultaat: De Serveerster weet precies wat jij nodig hebt, maar gebruikt de wijsheid van de Chef om te voorspellen wat je misschien bent vergeten.

4. Waarom werkt dit beter? (Het A/B Testen)

De auteurs hebben dit getest in de echte wereld (bij Amazon). Ze hebben een groep klanten de oude methode gegeven en een andere groep T-REX.

Het resultaat: T-REX was veel beter!
De cijfers: Klanten die T-REX kregen, kochten 23% meer dan bij de oude systemen.
De reden: T-REX voorspelde niet alleen wat je vaak koopt, maar ook de volgorde waarin je die dingen nodig hebt. Het stelde je de juiste categorieën (bijv. "Groenten") op het juiste moment voor, waardoor je winkelwagen sneller en slimmer gevuld werd.

Samenvatting in één zin

T-REX is als een super-attent conciërge die niet alleen weet wat je altijd koopt, maar ook begrijpt wanneer je het koopt, wat je anders koopt, en je precies de juiste dingen voorstelt op het moment dat je ze nodig hebt, zodat je winkelwagen perfect gevuld is.

Het is een stap van "stom herhalen" naar "slim voorspellen".

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation" in het Nederlands.

Probleemstelling

Online boodschappen doen (grocery) stelt unieke uitdagingen aan sequentiële aanbevelingssystemen die zich onderscheiden van traditionele e-commerce:

Herhalende patronen: In tegenstelling tot eenmalige aankopen (zoals meubels of kleding), worden boodschappen gekenmerkt door frequente, repetitieve aankopen van gerelateerde artikelen.
Complexiteit: Systemen moeten zowel complementaire relaties tussen artikelen binnen een mandje als temporale afhankelijkheden over verschillende winkelsessies heen modelleren.
Beperkingen van bestaande methoden: Traditionele personalisatie-methoden (zoals klantgelijkheid) en zelfs geavanceerde sequentiële modellen (zoals BERT4Rec) presteren vaak slechter dan simpele baselines zoals "Personal Top Frequency" (P-Top) in deze domein. BERT4Rec lekt bijvoorbeeld informatie over de toekomst (door bidirectionele masking), wat onrealistisch is voor het voorspellen van de volgende mandjes.

Het doel is om een systeem te bouwen dat volledige, gepersonaliseerde boodschappenmandjes kan genereren op basis van de aankoopgeschiedenis, rekening houdend met zowel korte-termijn mandje-afhankelijkheden als lange-termijn voorkeuren.

Methodologie: Het T-REX Architectuur

De auteurs introduceren T-REX, een transformer-architectuur die specifiek is ontworpen voor het genereren van aanbevelingen op categorieniveau (in plaats van op individueel productniveau). Dit reduceert de dimensie van 29.000 producten naar 35 (later 280) categorieën, wat de berekening efficiënter maakt en beter aansluit bij hoe klanten hun boodschappenplannen.

De kern van de methode bestaat uit drie belangrijke innovaties:

1. Encoder-Decoder Architectuur met Causale Maskering

In tegenstelling tot BERT4Rec (dat een encoder-only architectuur met bidirectionele masking gebruikt), kiest T-REX voor een gescheiden encoder-decoder structuur:

Encoder: Analyseert de volledige historische aankopen (zonder masking) om algemene patronen van mandjesamenstelling te leren en populatie-level signalen te integreren.
Decoder: Genereert gepersonaliseerde voorspellingen voor het volgende mandje door gebruik te maken van de encoder-outputs (via cross-attention) en de eigen historische aankopen.
Causale Maskering: De decoder gebruikt causale masking, wat betekent dat voorspellingen alleen gebaseerd zijn op vorige aankopen. Dit voorkomt "informatielekkage" en past beter bij de sequentiële aard van het genereren van een volgend mandje.

2. Dynamische Sequentie Splitting (Sampling)

Om efficiënt te trainen met spaarzame boodschappensessies, wordt een dynamische strategie gebruikt:

Voor elke klantgeschiedenis wordt een willekeurig tijdstip (pivot) geselecteerd.
Aankopen voor dit tijdstip vormen de input voor de encoder.
De volgende $n$ aankopen na dit tijdstip vormen het doel (target) voor de decoder.
Dit creëert diverse trainingscontexten en stelt het model in staat om aanbevelingen te genereren zelfs als een klant halverwege een sessie is (real-time gebruik).

3. Adaptieve Positieve Encoding

Boodschappen doen volgt geen regelmatige tijdsintervallen (dagen of weken ertussen). Standaard sinusoidale posities zijn hier ongeschikt. T-REX gebruikt een genormaliseerde positie-encoding ten opzichte van de pivot-aankoop (dagen voor/na de pivot). Dit vangt zowel lokale als langere-termijn temporele patronen beter dan eerdere methoden.

Kernbijdragen

Categorieniveau Modellering: In plaats van individuele producten te voorspellen, worden categorieën voorspeld. Dit lost problemen op met data-sparseheid, class-imbalance en reductie van computationele complexiteit, terwijl het de intuïtie van de klant (plannen per categorie) respecteert.
Verbeterde Architectuur voor Generatie: De overgang van bidirectionele masking (BERT-achtig) naar een encoder-decoder met causale masking voor de generatietaken, wat leidt tot realistischere en nauwkeurigere voorspellingen voor de volgende mandjes.
Nieuwe Evaluatiemethode: Introductie van een Rank-Matching evaluatie. Deze meet niet alleen of een artikel in de top-k zit, maar hoe goed de volgorde (rang) van de aanbevelingen overeenkomt met de historische aankoopfrequentie van de klant. Dit is cruciaal voor de efficiëntie van het samenstellen van een mandje.

Resultaten

De resultaten zijn getest op grote schaal (offline data van 100.000 klanten en 1 miljoen sessies) en in online A/B-tests bij Amazon Grocery.

Prestatie ten opzichte van Baseline: T-REX overtreft de sterke baseline "Personal Top Frequency" (P-Top) significant op zowel Precision@k als Recall@k over alle waarden van k.
Consistentie: De mediane klant haalt meer dan 90% van de items in hun mandje uit de top-10 aanbevelingen van T-REX. Het model toont minder variatie in prestaties dan P-Top.
Nieuwe Klanten: T-REX presteert vooral beter bij nieuwe klanten of klanten met korte geschiedenissen, waar P-Top faalt door gebrek aan data. Het model kan patronen van de bredere populatie benutten.
Rank-Matching: T-REX behaalt 30% exacte matches in rangorde (vs 27% voor P-Top) en 60% binnen één rang (vs 48% voor P-Top). Dit betekent dat klanten hun belangrijkste categorieën sneller vinden in de aanbevelingslijst.
Productie Impact: In A/B-tests leverde T-REX een 23% hogere sales lift op dan typische Amazon-aanbevelingssystemen, met significante verbeteringen in klikratio's, orderomzet en bruto winst.

Significantie

Dit paper is significant omdat het aantoont dat transformer-modellen, wanneer ze correct worden aangepast aan de specifieke eigenschappen van de grocery-domein (herhaling, categorie-niveau, onregelmatige tijdsintervallen), superieur kunnen zijn aan zowel traditionele statistische methoden als standaard NLP-gebaseerde aanbevelingsmodellen.

De succesvolle implementatie in de productieomgeving van Amazon bewijst dat deze complexe architectuur schaalbaar is en directe zakelijke waarde levert. Het biedt een blauwdruk voor het oplossen van het "Next Basket Recommendation" probleem in sectoren met hoge frequentie en repetitieve aankoopgedragingen, waarbij de balans tussen individuele voorkeuren en populatiepatronen cruciaal is.