Technisches Resümee: LADMF für erklärbare E-Commerce-Konversionsvorhersage

1. Problemdefinition

Die Arbeit adressiert die Herausforderung der E-Commerce-Konversionsvorhersage, bei der geschätzt wird, ob ein Nutzer ein Produkt kauft, gegeben heterogene Signale (Clickstreams, Bilder, Textbeschreibungen, Attribute und historisches Verhalten). Die Autoren identifizieren drei miteinander verknüpfte Einschränkungen bestehender State-of-the-Art-Methoden:

1. Verstrickte multimodale Repräsentationen: Aktuelle Fusionsmethoden vermischen oft modalitätsgeteilte kausale Signale mit modalitätsspezifischem Rauschen, was zu instabilen Vorhersagen und Interpretationen führt.
2. Untreue auf Aufmerksamkeit basierende Erklärungen: Aufmerksamkeitsgewichte in Wissensgraph-Modellen (z. B. KGAT) werden eher für die Genauigkeit als für die kausale Hinlänglichkeit optimiert, was sie als Erklärungen unzuverlässig macht.
3. Semantische Lücke: Es besteht eine Diskrepanz zwischen den extrahierten Reasoning-Pfaden in Wissensgraphen (KGs) und menschenlesbaren Begründungen. Das naive Prompting von Large Language Models (LLMs) zur Generierung von Erklärungen führt oft zu Halluzinationen.

Das Ziel ist die Entwicklung eines einheitlichen Frameworks, das präzise, dateneffizient unter Sparsamkeit, interpretierbar über menschenverständliche Rationalisierungen und robust gegenüber scheinkorrelierten Merkmalen ist.

2. Methodik: Das LADMF-Framework

Die Autoren schlagen LADMF (LLM-Augmented Disentangled Multimodal Framework) vor, ein einheitliches Modell, das aus vier eng gekoppelten Komponenten besteht:

2.1 Modale Encoder

Rohsignale werden in Embeddings kodiert:

• Visuell: Gefrorenes CLIP-ViT-Backbone.
• Textuell: BERT-base für Titel, Beschreibungen und Rezensionen.
• Verhaltensbasiert: Temporaler Self-Attention-Encoder über Nutzerinteraktionssequenzen (Item, Zeitstempel, Aktionstyp).

2.2 Disentangled Multimodal Fusion (DMF)

Dieses Modul zerlegt die gemeinsame Repräsentation von Nutzern und Items in:

• Modalitäts-gemeinsamen Subraum ($z_{sh}$): Erfasst kausale, modalitätsinvariante Signale.
• Modalitäts-spezifische Subräume ($z_m$): Erfasst die idiosynkratischen Nuancen für jede Modalität (visuell, Text, Attribut, Verhalten).
• Constraints:
  • Distanz-Korrelations-Entflechtung: Erzwingt Orthogonalität zwischen gemeinsamen und spezifischen Faktoren sowie zwischen den spezifischen Faktoren mittels Distanzkorrelation ($dCor$), um echte statistische Unabhängigkeit sicherzustellen.
  • Multimodaler Informations-Bottleneck (MIB): Minimiert die gegenseitige Information zwischen spezifischen Faktoren und dem Ziel-Label unter Berücksichtigung des gemeinsamen Faktors, um sicherzustellen, dass spezifische Faktoren nur einzigartige Informationen beitragen.

2.3 LLM-Augmented Knowledge Graph Reasoning (LKGR)

Dieses Modul adressiert KG-Sparsamkeit und semantische Lücken:

• KG-Vervollständigung: Ein gefrorenes LLM (LLaMA-3-8B) wird mit lokalen Item-Nachbarschaften gepromptet, um Kandidaten für semantische Tripel zu generieren, welche durch einen lernbaren Scorer validiert werden, bevor sie dem Graphen hinzugefügt werden.
• Pfad-Re-Scoring: Reasoning-Pfade werden enumeriert und durch das gefrorene LLM auf semantische Plausibilität bewertet. Das finale Pfadgewicht kombiniert strukturelle Scores (aus Relational Graph Attention Networks, R-GAT) und semantische Scores ($\rho(\pi)$), um semantisch unplausible Pfade herauszufiltern, die zwar strukturell plausibel sind.

2.4 Cross-Modal Causal Attention (CMCA)

Um die Standard-Aufmerksamkeit durch einen kausal fundierten Mechanismus zu ersetzen:

• Kontrafaktische Intervention: Das Modul berechnet Aufmerksamkeitsgewichte durch Kontrastierung des faktischen Scores mit einem kontrafaktischen Score, der via eines do-Operators abgeleitet wird. Dies beinhaltet das Ersetzen nicht-zielgerichteter Modalitäten durch deren marginale Erwartungswerte (empirische Mittelwertbildung).
• Mechanismus: Der Aufmerksamkeitsgewicht $\tilde{\alpha}_{ij}$ wird als Softmax des faktischen Scores minus eines skalierten kontrafaktischen Scores berechnet. Dies schätzt den Average Treatment Effect (ATE) einer spezifischen Modalität auf die Vorhersage.
• Theoretische Garantie: Die Autoren beweisen, dass CMCA-Gewichte eine obere Schranke für den Pfad-level Average Treatment Effect bilden, was sicherstellt, dass der Aufmerksamkeitsmechanismus der kausalen Beeinflussung der Merkmale treu bleibt.

2.5 Zielfunktion

Das Modell wird mit einer zusammengesetzten Verlustfunktion trainiert:

• Binäre Kreuzentropie ($L_{BCE}$): Für die Konversionsvorhersage.
• Disentanglement Loss ($L_{dCor}$): Erzwingt die Trennung der Faktoren.
• Information Bottleneck Loss ($L_{MIB}$): Verhindert die Dominanz einzelner Modalitäten.
• Path-Faithfulness Loss ($L_{path}$): Richtet die Verteilung der Reasoning-Pfade am Vorhersage-Label aus, um Pfade zu fördern, die die Vorhersage kausal stützen.
• Purchase-Aware Contrastive Loss ($L_{ctr}$): Erzwingt, dass konversions-positive Paare im Embedding-Raum näher beieinander liegen als Click-only-Paare (Hard Negatives).

3. Zentrale Beiträge

1. Einheitliches Framework: Das erste Framework, das gleichzeitig die kausale Entflechtung multimodaler Faktoren und die LLM-augmentierte KG-Argumentation für die Konversionsvorhersage durchführt, gekoppelt über einen gemeinsamen latenten Raum.
2. Cross-Modal Causal Attention (CMCA): Führt einen interventionsbewussten Aufmerksamkeitsoperator ein, der kontrafaktische Scores von faktischen Scores subtrahiert. Die Autoren beweisen, dass dies eine obere Schranke des Pfad-level Average Treatment Effect implementiert.
3. LLM-integriertes Pfad-Scoring: Entwirft einen gefrorenen LLM-Pfad-Scorer kombiniert mit einem Path-Faithfulness Loss, um natürlichsprachliche Erklärungen zu generieren, die explizit mit den Vorhersagen abgeglichen sind, um Halluzinationen zu mildern.
4. Empirische Validierung: Umfangreiche Experimente auf drei öffentlichen Benchmarks (Amazon-Electronics, Taobao-CTR, JD-Conversion), die eine State-of-the-Art-Performance und überlegene Erklärungsqualität demonstrieren.

4. Experimentelle Ergebnisse

Das Modell wurde auf drei Datensätzen unter Verwendung von Standardmetriken (AUC, Log-loss, HR@10, NDCG@10) sowie einer menschlichen Evaluierung der Erklärungsqualität (Faithfulness, Plausibility, Diversity, Usefulness) evaluiert.

• Quantitative Leistung: LADMF erzielte die besten Ergebnisse über alle Datensätze hinweg.
  • AUC-Verbesserung: Verbessert um 2,5 %–3,4 % gegenüber der stärksten Baseline (G-Refer). Speziell: +2,95 % auf Amazon-Electronics, +3,00 % auf Taobao-CTR und +2,89 % auf JD-Conversion.
  • Log-Loss: Reduktion des relativen Log-Loss um bis zu 7,3 %.
  • Ranking-Metriken: Signifikante Gewinne in HR@10 (bis zu +7,16 %) und NDCG@10 (bis zu +8,37 %).
• Robustheit: Das Modell zeigte eine überlegene Leistung in Cold-Start- und hoher Sparsamkeits-Szenarien (Nutzer mit <5 Interaktionen) und übertraf die Baselines in jeder Sparsamkeits-Kategorie.
• Menschliche Evaluierung: LADMF-Erklärungen wurden von menschlichen Bewertern (30 Annotatoren) signifikant gegenüber den Baselines bevorzugt:
  • Faithfulness: +0,50 (4,42 vs. 3,92 für G-Refer).
  • Plausibility: +0,46 (4,51 vs. 4,05).
  • Usefulness: +0,50 (4,58 vs. 4,08).
• Ablationsstudie: Das Entfernen des CMCA-Moduls verursachte den stärksten Leistungsabfall (−1,82 % AUC auf Amazon), was die Notwendigkeit der kausalen Aufmerksamkeit bestätigt. Das Entfernen des LLM-Pfad-Scorers führte ebenfalls zu einem signifikanten Abfall (−1,93 % AUC), was den Wert der semantischen Fundierung hervorhebt.
• Effizienz: Während das Training aufgrund der LLM-Augmentierung 1,4× langsamer ist als bei KGAT, ist die Inferenz-Latenz nur 1,08× höher, da die LLM-Outputs gecacht werden.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass LADMF den Stand der Technik vorantreibt, indem sie den Trade-off zwischen Vorhersagegenauigkeit und Erklärbarkeit im E-Commerce löst. Durch die Kopplung von Distanz-Korrelations-Entflechtung, multimodalen Informations-Bottlenecks, LLM-validierter KG-Augmentierung und kontrafaktischer Aufmerksamkeit liefert das Framework:

• State-of-the-Art Genauigkeit: Konsistente Verbesserungen gegenüber starken Baselines über diverse Datensätze hinweg.
• Treue Erklärungen: Erzeugt Rationalisierungen, die menschliche Bewerter als treuer, plausibler und nützlicher empfinden als jene aus auf Aufmerksamkeit oder rein generativen Modellen.
• Robustheit: Behält die Leistung unter schwerer Datensparsamkeit und Cold-Start-Bedingungen bei, indem es kausale Signale effektiv von Rauschen trennt.

Die Autoren weisen auf Limitationen hin, insbesondere auf die Rechenkosten der LLM-basierten KG-Vervollständigung (gemildert durch Caching) und die quadratische Skalierung des Distanz-Korrelations-Loss mit der Batch-Größe. Sie schlagen zukünftige Arbeiten in Form eines End-to-End LLM-in-the-loop Trainings mit parametereffizienten Adaptern und Fairness-Audits unter Nutzung des kontrafaktischen Aufmerksamkeits-Signals vor.