📊 statistics

Causal Representation Learning for Generalisable Recommendation

Dieser Beitrag stellt eine praktische Methode zum Erlernen kausaler Repräsentationen vor, die ein informationstheoretisches Entwirrungskriterium nutzt, um die Generalisierungsfähigkeit bei Out-of-Distribution-Szenarien in Empfehlungssystemen zu verbessern, indem ausschließlich bereits vorhandene konfundierte Protokolldaten herangezogen werden, wobei diese Behauptung durch erhebliche Steigerungen der Online-Interaktion in einem groß angelegten Spotify A/B-Test sowie durch öffentliche und synthetische Benchmarks validiert wird.

Ursprüngliche Autoren: Yorgos Felekis, Michael O'Riordan, Oriol Corcoll, Ciarán M. Gilligan-Lee

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yorgos Felekis, Michael O'Riordan, Oriol Corcoll, Ciarán M. Gilligan-Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren eine KI für Musikempfehlungen, um Songs für Sie auszuwählen. Sie füttern sie mit Millionen von Datensätzen darüber, worauf Menschen in der Vergangenheit geklickt haben. Das Problem ist, dass diese vergangenen Klicks keine zufällige Stichprobe aller Musik der Welt darstellen. Es handelt sich um eine gefilterte Liste dessen, was die alte KI den Menschen zu zeigen entschied, gemischt mit dem, was den Leuten in diesem Moment zufällig gefiel.

Es ist, als würde man versuchen, die beste Pizza der Stadt zu lernen, aber man bekommt nur die Scheiben zu schmecken, die der Lieferfahrer zufällig an Ihr Haus gebracht hat. Wenn der Fahrer Ihnen immer Pepperoni bringt, weil er denkt, dass Sie es mögen, könnten Sie beginnen zu glauben, dass Pepperoni die einzige gute Pizza ist, selbst wenn Sie tatsächlich eine vegetarische Variante lieben würden, wenn Sie sie je zu sehen bekämen.

Diese Arbeit mit dem Titel "Causal Representation Learning for Generalisable Recommendation" (Kausales Repräsentationslernen für generalisierbare Empfehlungen) nimmt genau dieses Problem in Angriff. Die Autoren, die mit Spotify zusammenarbeiten, schlagen eine neue Methode vor, um Empfehlungssysteme so zu trainieren, dass sie nicht von diesen „Lieferfahrer"-Verzerrungen getäuscht werden.

Hier ist die Aufschlüsselung mit einfachen Analogien:

Das Problem: Das „Scheinsignal"

In der Welt der Daten gibt es zwei Arten von Hinweisen:

Echte Ursachen: Der tatsächliche Grund, warum jemand einen Song mag (z. B. weil er Jazz liebt).
Scheinsignale: Zufälle, die wie Ursachen aussehen, aber keine sind (z. B. wurde der Song gespielt, weil sich der Nutzer in einer bestimmten Stadt befand, in der der alte Algorithmus zufällig Jazz förderte).

Standard-KI-Modelle sind wie Schüler, die bei einer Prüfung schummeln. Sie merken sich die „Scheinsignale" (die Spickzettel), weil ihnen das hilft, eine hohe Punktzahl bei der Übungsprüfung (den Trainingsdaten) zu erzielen. Aber wenn sie die eigentliche Prüfung ablegen (die Live-App mit neuen Nutzern), scheitern sie, weil der Spickzettel nicht mehr anwendbar ist.

Die Lösung: Der „Kausale Entwirrer"

Die Autoren schlagen eine Methode namens Causal Representation Learning (CRL) vor. Betrachten Sie ihre Methode als einen kausalen Entwirrer.

Sie wollen, dass die KI eine „saubere" Repräsentation eines Songs lernt. Diese saubere Version sollte nur die Informationen enthalten, die einen Nutzer tatsächlich dazu veranlassen, zu klicken (die „Echten Ursachen"). Sie muss die „Scheinsignale" (die Verzerrungen) aktiv verwerfen.

Um dies zu tun, haben sie eine neue Regel für die KI erfunden, die sie Disentanglement Criterion (Entwirrungskriterium) nennen. Sie können sich diese Regel als einen strengen Lehrer vorstellen, der der KI zwei Anweisungen gibt:

Sei nützlich: „Du musst immer noch in der Lage sein vorherzusagen, ob ein Nutzer klicken wird." (Behalte das Gute).
Sei unabhängig: „Aber du darfst nicht in der Lage sein, den Hintergrund des Nutzers oder die Verzerrung des alten Algorithmus allein durch das Betrachten des Songs zu erraten." (Werfe das Schlechte weg).

Wenn die KI versucht, einen „Spickzettel" (ein Scheinsignal) zu verwenden, um eine Vorhersage zu treffen, bestraft diese Regel sie. Die KI lernt, dass der einzige Weg, eine hohe Punktzahl zu erzielen, darin besteht, die wahren Gründe zu verstehen, warum Menschen Musik mögen, und nicht die zufälligen Muster.

Wie sie bewiesen haben, dass es funktioniert

Die Arbeit rät nicht einfach; sie testete dies in drei verschiedenen „Arena":

Die Simulation (Das Labor): Sie bauten eine gefälschte Welt mit einem Computer, in der sie genau wussten, welche Hinweise echt und welche falsch waren. Die KI mit dem „Kausalen Entwirrer" ignorierte erfolgreich die falschen Hinweise und nutzte nur die echten, während eine normale KI von den Fälschungen verwirrt wurde.
Der öffentliche Datensatz (Das Klassenzimmer): Sie verwendeten einen öffentlichen Datensatz namens KuaiRand. Dieser Datensatz hat zwei Teile: einen, der stark verzerrt ist (wie der alte Lieferfahrer), und einen, der zufällig ist (wie ein fairer Geschmackstest). Die neue Methode schnitt auf den verzerrten Daten genauso gut ab wie die alte Methode, aber als sie auf den fairen, zufälligen Daten getestet wurde, war sie viel besser. Es bewies, dass die KI die wahren Regeln gelernt hatte, nicht nur die Verzerrung.
Die reale Welt (Das Stadion): Dies ist der große Test. Sie testeten dies bei Spotify mit Millionen echter Nutzer. Sie führten ein Live-Experiment (A/B-Test) durch, bei dem die Hälfte der Nutzer die alte KI erhielt und die Hälfte die neue „Kausale Entwirrer"-KI.
- Das Ergebnis: Die neue KI sah nicht nur auf dem Papier gut aus; sie ließ die Menschen tatsächlich mehr Musik hören und weniger Songs überspringen. Sie erzielte eine Steigerung der Streams um 0,75 % und eine Steigerung der Hörzeit um 0,50 %.

Die Kernaussage

Die wichtigste Erkenntnis ist, dass man nicht erkennen kann, ob ein Empfehlungssystem „kaputt" ist, indem man sich nur seine Leistung auf den Daten ansieht, mit denen es trainiert wurde.

Es ist wie ein Schüler, der sich die Antworten auf einen bestimmten Übungs-Test merkt. Er bekommt 100 % beim Übungs-Test, aber das bedeutet nicht, dass er das Fach versteht. Die Arbeit zeigt, dass Standardmetriken oft lügen. Der einzige Weg zu wissen, ob ein System wirklich intelligent ist, besteht darin zu sehen, wie es mit neuen Situationen umgeht, in denen die alten Verzerrungen nicht existieren.

Durch die Verwendung dieser „Kausale Entwirrer"-Methode lernt die KI, das Rauschen zu ignorieren und sich auf das Signal zu konzentrieren, was sie robuster und effektiver macht, wenn sie auf die reale Welt trifft.

Was es nicht tut

Die Arbeit ist sehr spezifisch darüber, was diese Methode nicht ist:

Sie versucht nicht vorherzusagen, worauf ein Nutzer geklickt hätte, wenn er einen anderen Song gesehen hätte (keine „Was-wäre-wenn"-Szenarien).
Sie erfordert nicht, dass das Unternehmen teure, zufällige Experimente durchführt, um die Daten zu erhalten. Sie funktioniert mit den chaotischen, verzerrten Protokollen, die sie bereits haben.
Sie erfordert nicht, dass die KI die tiefen, verborgenen „Physik"-Gründe versteht, warum ein Nutzer Jazz mag. Sie muss nur die wahren Gründe von den falschen trennen, um bessere Vorhersagen zu treffen.

Kurz gesagt, lehrt die Arbeit die KI aufzuhören, durch das Auswendiglernen von Verzerrungsmustern zu schummeln, und beginnt, die tatsächlichen Gründe zu lernen, warum Menschen Entscheidungen treffen.

Technisches Fazit: Kausales Repräsentationslernen für generalisierbare Empfehlungssysteme

Problemstellung
Prädiktive Modelle in Empfehlungssystemen stehen vor einer fundamentalen Generalisierungslücke: Sie werden auf beobachteten Interaktionsprotokollen trainiert, die durch die eingesetzte Policy, das vergangene Nutzerverhalten und die Filterung der Plattform verzerrt sind. Dieses Phänomen, bekannt als Exposure Bias, erzeugt eine Verteilungsverschiebung zwischen den Trainingsdaten (in denen Items durch eine spezifische Policy ausgewählt werden) und dem Kandidatensatz zur Auslieferungszeit (der breiter und anders verteilt ist). Folglich versagen Offline-Metriken oft, die Online-Leistung vorherzusagen. Während kausales Repräsentationslernen (Causal Representation Learning, CRL) eine prinzipielle Lösung bietet, indem es kausale Mechanismen adressiert, erfordert klassisches CRL starke Annahmen (z. B. interventional Daten, mehrere Umgebungen oder bekannte Anker-Variablen), die in beobachteten Empfehlungsprotokollen selten erfüllt sind. Bestehende CRL-Ansätze für Empfehlungen verlassen sich häufig auf komplexe Mechanismen wie gelabelte kontrastive Paare oder spezifische Verzerrungsmechanismen, was ihre Praktikabilität einschränkt.

Methodik
Die Autoren schlagen eine Methode vor, die vom CRL motiviert ist und Generalisierung unter Verteilungsverschiebung anvisiert, ohne eine vollständige Identifizierung latenter kausaler Faktoren oder interventional Daten zu erfordern. Der Ansatz basiert auf einem Strukturellen Kausalen Modell (Structural Causal Model, SCM), bei dem die beobachtete Behandlung $T$ (ein Item) ein verflochtenes Gemisch aus latenten kausalen Komponenten $T_C$ und nicht-kausalen Komponenten $T_{nC}$ ist. Die nicht-kausalen Komponenten erzeugen einen spuriosen Backdoor-Pfad $T \leftarrow T_{nC} \leftarrow Z \rightarrow Y$ (wobei $Z$ ein beobachteter Confounder ist, z. B. Nutzermerkmale, und $Y$ das Ergebnis).

Der Kern der Methode ist ein neues Entflechtungskriterium, ein informationstheoretisches Ziel, das darauf ausgelegt ist, eine Repräsentation $g(T)$ zu lernen, die:

Nützlichkeit maximiert: Informationen behält, die für die Vorhersage des Ergebnisses $Y$ gegeben den Confounder $Z$ prädiktiv sind ( $I(g(T); Y | Z)$ ).
Abhängigkeit vom Confounder minimiert: Informationen bestraft, die mit dem Confounder $Z$ geteilt werden, aber nicht für die Vorhersage von $Y$ erforderlich sind ( $I(g(T); Z)$ ).

Die Zielfunktion ist definiert als:
$J(g) = I(g(T); Y | Z) - \lambda I(g(T); Z)$
wobei $\lambda \geq 0$ den Trade-off steuert.

Theoretische Garantien
Die Arbeit beweist, dass unter spezifischen strukturellen Annahmen (dass das Ergebnis nur über kausale latente Faktoren gegeben den Confounder von der Behandlung abhängt und dass nicht-kausale latente Faktoren eine einzigartige spuriose Leckage über den Confounder beibehalten):

Die optimale Repräsentation unter diesem Kriterium nicht-kausale Informationen verwirft, während kausalen Inhalt bewahrt wird.
Ein „verlustfreier Regime" existiert, in dem für hinreichend kleines $\lambda$ die optimale Repräsentation die vollständige kausale Komponente $T_C$ bewahrt, ohne sie zu komprimieren, sofern die Reduktion der Strafe durch Komprimierung den Verlust an Nützlichkeit nicht überwiegt.

Praktische Umsetzung
Da Mutual-Informationsterme bei endlichen Daten nicht direkt berechenbar sind, leiten die Autoren eine variationale untere Schranke zur Optimierung ab:

Nützlichkeits-Term: Wird mittels einer unteren Schranke über den InfoNCE-Schätzer approximiert (äquivalent zum Standard Cross-Entropy-Ranking-Verlust im Batch).
Straf-Term: Wird mittels einer oberen Schranke über den NCE-CLUB-Schätzer approximiert, implementiert durch ein adversarisches Kritiker-Netzwerk, das trainiert wird, um gemeinsame Stichproben $(g(T), Z)$ von unabhängigen Stichproben zu unterscheiden.
Optimierung: Das finale Ziel ist eine direkte Modifikation standardmäßiger überwachter Modelle durch Hinzufügen eines Mutual-Information-Strafterms. Es werden keine randomisierten Daten, keine Propensity-Scores benötigt und es entstehen keine zusätzlichen Kosten zur Inferenzzeit.

Hauptbeiträge

Entflechtungskriterium: Ein neues informationstheoretisches Ziel, das nachgewiesenermaßen Repräsentationen begünstigt, die kausalen Inhalt bewahren und confounder-abhängige nicht-kausale Informationen auf Populationsebene verwerfen.
Praktische variationale Schranke: Eine Herleitung, die das Kriterium allein aus endlichen beobachteten Daten mittels Standard-Komponenten des Deep Learnings (InfoNCE und NCE-CLUB) optimierbar macht.
Einsatzbereites Rezept: Eine Methode, die jedes Standard-überwachte Modell modifiziert, um die Robustheit unter Verteilungsverschiebung zu verbessern, und lediglich bestehende verzerrte Protokolle erfordert.
Empirische Validierung: Validierung über drei Ebenen: ein synthetisches SCM, den KuaiRand-Benchmark und einen Live-A/B-Test auf Spotify.

Ergebnisse

Synthetisches SCM: Die Methode isoliert erfolgreich kausale Komponenten, zeigt eine Interventions-Sensitivität nahe null (Invarianz gegenüber nicht-kausalen Änderungen) und behält gleichzeitig eine Vorhersagegenauigkeit (MAE) bei, die mit den Baselines vergleichbar ist.
KuaiRand-Benchmark: Auf einem realen Datensatz mit bekannten Verteilungsverschiebungen (algorithmische vs. zufällige Exposition) entsprach die CRL-Variante der Baseline auf der verzerrten Trainingsverteilung (in-distribution AUC), übertraf sie jedoch signifikant auf dem zurückgehaltenen Split mit zufälliger Exposition (unverzerrte Verteilung). Dies demonstriert „effektive Robustheit".
Spotify A/B-Test: In einer Produktionsumgebung mit Millionen von Nutzern für die personalisierte Playlist-Generierung erzielte eine kapazitätsangepasste CRL-Variante auf Offline-Metriken gleichwertige Ergebnisse wie die Produktions-Baseline, lieferte jedoch erhebliche Online-Gewinne: +0,75 % Track-Streams, +0,50 % abgespielte Minuten und -0,61 % Track-Überspringungen (alle signifikant auf 95 % Konfidenzniveau).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Standard-Offline-Evaluierung auf Trainingsverteilungen oft wenig Aufschluss über die Fähigkeit eines Modells gibt, auf Verteilungen zur Auslieferungszeit zu generalisieren. Die vorgeschlagene Methode adressiert den spezifischen Fehlermodus des Exposure Bias, indem sie spuriose Korrelationen direkt unterdrückt. Die Bedeutung liegt darin, dass die Methode Robustheit und Online-Gewinne ohne die schweren Anforderungen des traditionellen CRL (z. B. interventional Daten oder komplexe Identifikation kausaler Graphen) erreicht. Die Ergebnisse deuten darauf hin, dass das Hinzufügen eines kausalen Entflechtungsziels zu Standard-überwachten Modellen die Generalisierung außerhalb der Verteilung in produktionseingesetzten Empfehlungssystemen sinnvoll verbessern und die Lücke zwischen Offline-Metriken und Online-Leistung schließen kann. Die Autoren weisen auf Einschränkungen hin, darunter die Unfähigkeit, strukturelle Annahmen auf realen Daten empirisch zu verifizieren, und die aktuelle Evaluierung auf einer einzelnen Produktoberfläche.