Technische Samenvatting: LADMF voor Uitlegbare E-Commerce Conversievoorspelling

1. Probleemdefinitie

Het artikel behandelt de uitdaging van e-commerce conversievoorspelling, wat het schatten omvat of een gebruiker een artikel zal kopen op basis van heterogene signalen (clickstreams, afbeeldingen, tekstuele beschrijvingen, attributen en historisch gedrag). De auteurs identificeren drie verweven beperkingen in bestaande state-of-the-art methoden:

1. Verstrengelde Multimodale Representaties: Huidige fusiemethoden mengen vaak modality-shared causale signalen met modality-specifieke spuriële ruis, wat leidt tot instabiele voorspellingen en interpretaties.
2. Ontrouwe Attention-gebaseerde Verklaringen: Attention-gewichten in Knowledge Graph (KG) modellen (bijv. KGAT) zijn geoptimaliseerd voor nauwkeurigheid in plaats van causale sufficiëntie, waardoor ze onbetrouwbaar zijn als verklaringen.
3. Semantische Kloof: Er is een disconnect tussen de geëxtraheerde redeneerpaden in KGs en menselijk begrijpelijke ratio's. Het naïef prompten van Large Language Models (LLMs) om verklaringen te genereren, resulteert vaak in hallucinaties.

Het doel is om een uniform framework te ontwikkelen dat accuraat is, data-efficiënt onder schaarste, interpreteerbaar via menselijk begrijpelijke ratio's, en robuust tegen spuriële correlaties.

2. Methodologie: Het LADMF Framework

De auteurs stellen LADMF (LLM-Augmented Disentangled Multimodal Framework) voor, een uniform model bestaande uit vier nauw gekoppelde componenten:

2.1 Modality Encoders

Ruwe signalen worden gecodeerd in embeddings:

• Visueel: Frozen CLIP-ViT backbone.
• Tekstueel: BERT-base voor titels, beschrijvingen en reviews.
• Gedrag: Temporale self-attention encoder over gebruikersinteractie-sequenties (item, tijdstempel, actietype).

2.2 Disentangled Multimodal Fusion (DMF)

Deze module deelt de gezamenlijke representatie van gebruikers en items op in:

• Modality-Shared Subspace ($z_{sh}$): Legt causale, modality-invariante signalen vast.
• Modality-Specific Subspaces ($z_m$): Legt idiosyncratische nuances vast voor elke modality (visueel, tekst, attribuut, gedrag).
• Constraints:
  • Distance-Correlation Disentanglement: Dwingt orthogonaliteit af tussen gedeelde en specifieke factoren, en tussen specifieke factoren onderling, met behulp van distance correlation ($dCor$) om echte statistische onafhankelijkheid te waarborgen.
  • Multimodal Information Bottleneck (MIB): Minimaliseert de wederzijdse informatie tussen specifieke factoren en het doel-label onder conditie van de gedeelde factor, wat ervoor zorgt dat specifieke factoren alleen unieke informatie bijdragen.

2.3 LLM-Augmented Knowledge Graph Reasoning (LKGR)

Deze module adresseert KG-schaarste en semantische kloven:

• KG Completion: Een frozen LLM (LLaMA-3-8B) wordt geprompt met lokale item-nabijheden om kandidaat semantische triples te genereren, die gevalideerd worden door een leerbare scorer voordat ze aan de graaf worden toegevoegd.
• Path Re-scoring: Redeneerpaden worden geënumereerd en gescoord door de frozen LLM op semantische plausibiliteit. Het uiteindelijke padgewicht combineert structurele scores (van Relational Graph Attention Networks, R-GAT) en semantische scores ($\rho(\pi)$) om paden die structureel plausibel maar semantisch implausibel zijn, te filteren.

2.4 Cross-Modal Causal Attention (CMCA)

Om standaard attention te vervangen door een causaal gefundeerd mechanisme:

• Counterfactual Intervention: De module berekent attention-gewichten door de feitelijke score te contrasteren met een counterfactual score afgeleid via een do-operator. Dit houdt in dat niet-doel modalities worden vervangen door hun marginale verwachtingen (empirical mean-pooling).
• Mechanisme: Het attention-gewicht $\tilde{\alpha}_{ij}$ wordt berekend als de softmax van de feitelijke score minus een geschaalde counterfactual score. Dit schat het Average Treatment Effect (ATE) van een specifieke modality op de voorspelling.
• Theoretische Garantie: De auteurs bewijzen dat CMCA-gewichten een upper bound bieden op de path-level average treatment effect, wat garandeert dat het attention-mechanisme getrouw is aan de causale invloed van features.

2.5 Objective Function

Het model wordt getraind met een samengestelde loss-functie:

• Binary Cross-Entropy ($L_{BCE}$): Voor conversievoorspelling.
• Disentanglement Loss ($L_{dCor}$): Dwingt factor-scheiding af.
• Information Bottleneck Loss ($L_{MIB}$): Voorkomt modality-dominantie.
• Path-Faithfulness Loss ($L_{path}$): Stemt de distributie van redeneerpaden af op het voorspellingslabel, wat paden aanmoedigt die de voorspelling causaal ondersteunen.
• Purchase-Aware Contrastive Loss ($L_{ctr}$): Zorgt ervoor dat conversie-positieve paren dichter bij elkaar liggen in de embedding-ruimte dan click-only paren (hard negatives).

3. Belangrijkste Bijdragen

1. Unified Framework: Het eerste framework dat gelijktijdig causale disentanglement van multimodale factoren en LLM-augmented KG-redenering uitvoert voor conversievoorspelling, gekoppeld via een gedeelde latente ruimte.
2. Cross-Modal Causal Attention (CMCA): Introduceert een interventie-bewuste attention-operator die counterfactual scores aftrekt van feitelijke scores. De auteurs bewijzen dat dit een upper bound implementeert op de path-level average treatment effect.
3. LLM-Geïntegreerde Path Scoring: Ontwerpt een frozen-LLM path scorer gecombineerd met een path-faithfulness loss om natuurlijk-talige verklaringen te genereren die expliciet zijn afgestemd op voorspellingen, wat hallucinatie vermindert.
4. Empirische Validatie: Uitgebreide experimenten op drie publieke benchmarks (Amazon-Electronics, Taobao-CTR, JD-Conversion) die state-of-the-art prestaties en superieure verklaringskwaliteit aantonen.

4. Experimentele Resultaten

Het model werd geëvalueerd op drie datasets met standaard metrieken (AUC, Log-loss, HR@10, NDCG@10) en menselijke evaluatie voor verklaringskwaliteit (Faithfulness, Plausibility, Diversity, Usefulness).

• Kwantitatieve Prestaties: LADMF behaalde de beste resultaten over alle datasets.
  • AUC Verbetering: Verbeterde met 2,5%–3,4% ten opzichte van de sterkste baseline (G-Refer). Specifiek +2,95% op Amazon-Electronics, +3,00% op Taobao-CTR, en +2,89% op JD-Conversion.
  • Log-Loss: Verminderde de relatieve log-loss met tot wel 7,3%.
  • Ranking Metrieken: Significante winsten in HR@10 (tot +7,16%) en NDCG@10 (tot +8,37%).
• Robuustheid: Het model vertoonde superieure prestaties in cold-start en hoge-schaarste scenario's (gebruikers met <5 interacties), waarbij het baselines overtrof in elke schaarste-bin.
• Menselijke Evaluatie: LADMF verklaringen werden aanzienlijk geprefereerd door menselijke beoordelaars (30 annotatoren) boven baselines:
  • Faithfulness: +0,50 (4,42 vs 3,92 voor G-Refer).
  • Plausibility: +0,46 (4,51 vs 4,05).
  • Usefulness: +0,50 (4,58 vs 4,08).
• Ablatie Studie: Het verwijderen van de CMCA-module veroorzaakte de scherpste prestatiedaling (−1,82% AUC op Amazon), wat de noodzaak van causale attention bevestigt. Het verwijderen van de LLM path scorer resulteerde ook in een significante daling (−1,93% AUC), wat de waarde van semantische gronding benadrukt.
• Efficiëntie: Hoewel de training 1,4× trager is dan KGAT vanwege LLM-augmentatie, is de inference latency slechts 1,08× hoger omdat LLM-outputs worden gecached.

5. Betekenis en Claims

Het artikel claimt dat LADMF de state-of-the-art vooruit helpt door de trade-off tussen voorspellende nauwkeurigheid en uitlegbaarheid in e-commerce op te lossen. Door distance-correlation disentanglement, multimodale information bottlenecks, LLM-gevalideerde KG-augmentatie en counterfactual attention te koppelen, levert het framework:

• State-of-the-Art Nauwkeurigheid: Consistente verbeteringen ten opzichte van sterke baselines over diverse datasets.
• Getrouwe Verklaringen: Produceert ratio's die door menselijke beoordelaars als getrouwer, plausibeler en nuttiger worden ervaren dan die van attention-gebaseerde of puur generatieve modellen.
• Robuustheid: Handhaaft prestaties onder zware data-schaarste en cold-start condities door effectief causale signalen van ruis te scheiden.

De auteurs merken beperkingen op, specifnel de computationele kosten van LLM-gebaseerde KG-completion (gemitigeerd door caching) en de kwadratische schaling van de distance-correlation loss met de batch size. Zij suggereren toekomstig werk in end-to-end LLM-in-the-loop training met parameter-efficiënte adapters en fairness-audits met behulp van het counterfactual attention signaal.