💻 computer science

Why This, Not That? Mining User Profiles for Pair-wise Counterfactuals

Dieses Paper schlägt eine neue Aufgabe für paarweise Item-Ranking-Erklärungen vor, die in der Logik von Empfehlungsalgorithmen begründet sind und kontrafaktisches Lernen nutzen, um spezifische Items des Nutzerprofils zu identifizieren, die bestimmen, warum ein Item gegenüber einem anderen höher eingestuft wird.

Ursprüngliche Autoren: Meysam Varasteh, Veronika Bogina, Noam Koenigstein, Robin Burke

Veröffentlicht 2026-08-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Meysam Varasteh, Veronika Bogina, Noam Koenigstein, Robin Burke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Wir leben in einem Zeitalter, in dem Maschinen ständig vorschlagen, was wir schauen, lesen oder kaufen sollten. Seit Jahrzehnten versuchen Forscher, eine einfache Frage zu beantworten: „Warum hat das System genau diesen Film an mich empfohlen?“ Sie haben Wege entwickelt, um diese einzelne Entscheidung zu erklären, indem sie oft auf ein Merkmal hinweisen, das der Nutzer mag, wie etwa einen Lieblingsschauspieler oder ein bevorzugtes Genre. Menschliche Entscheidungsfindung findet jedoch selten im luftleeren Raum statt. Wenn wir uns für eine Option gegenüber einer anderen entscheiden, vergleichen wir diese oft direkt miteinander. Wir fragen uns: „Warum habe ich diesen Film anstelle jenes Films gewählt?“ Diese vergleichende Frage ist grundlegend dafür, wie wir unsere eigenen Vorlieben verstehen, wurde jedoch von den Entwicklern von Empfehlungssystemen weit weniger Beachtung geschenkt. Das Verständnis des Unterschieds zwischen zwei Entscheidungen ist oft aufschlussreicher als das Verständnis einer einzelnen Entscheidung isoliert betrachtet, da es die spezifischen Faktoren hervorhebt, die das Pendel ausschlagen ließen.

Ein Team von Forschern setzte sich zum Ziel, dieses Problem zu lösen, indem sie einen neuen Weg entwickelten, um zu erklären, warum ein Empfehlungssystem ein Objekt gegenüber einem anderen höher rankt. Sie gingen bei dieser Aufgabe vor, indem sie eine „Was wäre wenn“-Frage stellten: Was müsste sich in der Historie einer Person ändern, damit das System die Reihenfolge dieser beiden Artikel vertauscht? Diese Methode, bekannt als kontrafaktisches Schließen (Counterfactual Reasoning), sucht nach dem minimalen Satz an Änderungen, die notwendig sind, um eine Entscheidung umzukehren. Im Kontext einer Filmempfehlung wollten die Forscher die spezifischen Filme identifizieren, die ein Nutzer zuvor gesehen hatte und die dazu führten, dass das System einen Science-Fiction-Klassiker gegenüber einem historischen Epos bevorzugte. Wenn diese spezifischen vergangenen Aufrufe aus der Historie des Nutzers entfernt würden, sollte das System theoretisch das historische Epos zuerst empfehlen. Das Ziel war es, die kleinste, präziseste Gruppe vergangener Artikel zu finden, die, falls sie gelöscht würde, das Ranking umkehren würde.

Um diese Idee zu testen, bauten die Forscher einen neuen Typ eines Computermodells, der als Erklärer fungieren sollte. Sie trainierten dieses Modell auf drei großen Sammlungen von Nutzerdaten: eine, die über eine halbe Million Filmbewertungen enthielt, eine mit Musikpräferenzen und eine dritte mit Pinning-Aktivitäten. Sie testeten ihren Ansatz gegen mehrere bestehende Methoden, einschließlich Techniken, die einzelne Artikel erklären oder die versuchen, Artikel durch den Blick auf ihre allgemeinen Merkmale zu vergleichen. Die Forscher fanden heraus, dass ihre neue Methode, die lernte, das Zielobjekt und das konkurrierende Objekt gleichzeitig zu betrachten, weitaus effektiver war. Sie konnte die spezifischen vergangenen Artikel, die für den Unterschied im Ranking verantwortlich waren, mit größerer Genauigkeit und unter Verwendung weniger Artikel identifizieren. In vielen Fällen konnte das neue Modell die Präferenz für das oberste Objekt gegenüber dem zweiten Objekt für mehr als 80 Prozent der Nutzer in ihren Testgruppen erklären, wobei oft nur die Entfernung einer geringen Anzahl vergangener Interaktionen erforderlich war, um den Tausch zu erreichen.

Die Studie zeigte auch, dass die Qualität dieser Erklärungen stark von der Art des verwendeten Empfehlungssystems abhängt. Wenn das zugrunde liegende System auf einer Methode basierte, die verborgene Muster im Nutzerverhalten erlernt, funktionierte der neue Erklärer außergewöhnlich gut. Die Forscher stellten jedoch eine Komplikation in Bezug auf populäre Artikel fest. Manchmal war der effektivste Weg, ein Ranking zu ändern, das Entfernen extrem berühmter Filme oder Songs, die fast jeder gesehen hat. Während dies mathematisch korrekt ist, vermuteten die Forscher, dass dies für einen echten Menschen keine hilfreiche Erklärung sein könnte. Einem Nutzer zu sagen: „Du hast diesen Film bekommen, weil du Star Wars und Titanic gesehen hast“, könnte offensichtlich oder wenig hilfreich wirken, da dies Artikel sind, die fast jeder gesehen hat. Um dies zu testen, ließen sie eine Version ihres Modells laufen, die die populärsten Artikel ignorierte. Diese Version konnte zwar immer noch Erklärungen finden, arbeitete aber für weniger Menschen, was darauf hindeutet, dass populäre Artikel eine signifikante Rolle dabei spielen, wie diese Systeme Entscheidungen treffen, selbst wenn sie nicht der interessanteste Teil der Geschichte sind.

Die Forscher kamen zu dem Schluss, dass ihr Ansatz erfolgreich vergleichende Erklärungen generiert, die sowohl präzise als auch kompakt sind. Sie zeigten, dass sie durch das Training eines Modells, das zwei Artikel gleichzeitig betrachtet, anstatt einen nach dem anderen, die spezifischen Gründe für einen Unterschied im Ranking aufdecken konnten. Die Ergebnisse legen nahe, dass diese Methode ein gangbarer Weg ist, um Empfehlungssysteme transparenter zu machen, sodass Nutzer nicht nur sehen können, warum sie einen Vorschlag erhalten haben, sondern warum sie einen Vorschlag anstelle eines anderen erhalten haben. Während sich die aktuelle Arbeit auf die technische Fähigkeit zur Generierung dieser Erklärungen konzentriert, merkten die Forscher an, dass der nächste Schritt darin besteht, zu sehen, ob Menschen diese Erklärungen tatsächlich als nützlich und leicht verständlich empfinden. Sie planen, Studien mit menschlichen Nutzern durchzuführen, um zu ermitteln, ob diese „Was wäre wenn“-Szenarien Menschen helfen, die Entscheidungen, die Maschinen für sie treffen, nachzuvollziehen.

Technisches Resümee: Mining von Nutzerprofilen für paarweise Kontrafaktika

Problemdefinition

Die Arbeit adressiert eine Lücke in der Forschung zu Erklärungen für Empfehlungssysteme (RS). Während bestehende Methoden effektiv erklären, warum ein einzelnes Item empfohlen wurde (z. B. „Warum wurde Item A empfohlen?“), versagen sie oft bei den vergleichenden Fragen, die Nutzer natürlich stellen, wie etwa: „Warum wird Item A höher gerankt als Item B?“

Unter Rückgriff auf psychologische Erkenntnisse, wonach Menschen kontrastive Erklärungen für Entscheidungsfindungen bevorzugen, schlagen die Autoren eine neue Aufgabe vor: die paarweise Interpretation von Item-Rankings. Das Ziel ist es, eine kontrafaktische Erklärung zu generieren, die die minimale Menge an Items in einem Nutzerprofil identifiziert, deren Entfernung die Rangfolge eines Ziel-Items ( $T$ ) und eines Vergleichs-Items ( $C$ ) umkehren würde. Die Erklärung hat die Form: „Item T wird über C gerankt, weil das Nutzerprofil die Items $x_1, x_2, x_3$ enthält. Wenn diese nicht vorhanden wären, würde C höher gerankt werden.“

Die Autoren definieren zwei Qualitätsmetriken für diese Erklärungen basierend auf den Grice’schen Maximen:

Veracity (Wahrhaftigkeit): Das Entfernen der identifizierten Items muss tatsächlich dazu führen, dass der Recommender $C$ über $T$ rankt.
Succinctness (Prägnanz): Die Menge der entfernten Items (die Perturbation) sollte so klein wie möglich sein.

Methodik

Der vorgeschlagene Ansatz erweitert das LXR-Framework (Learning-based eXplanation for Recommendations), das ursprünglich für kontrafaktische Erklärungen einzelner Items entwickelt wurde. Die Autoren führen eine Klasse von Techniken namens CLXR (Comparative LXR) ein, um die paarweise Aufgabe zu bewältigen.

1. Baseline-Adaption: CLXR-score

Dieser Ansatz nutzt einen vortrainierten LXR-Explainer ( $e_l$ ), der für einzelne Items trainiert wurde. Er generiert zwei separate Masken: eine für das Ziel-Item ( $m^l_T$ ) und eine für das Vergleichs-Item ( $m^l_C$ ). Die Vergleichsmaske ( $m_C$ ) wird über eine elementweise Multiplikation berechnet: $m_C = m^l_T \odot (1 - m^l_C)$ . Diese Logik geht davon aus, dass Items, die zu $T$ s Rang beitragen, aber nicht zu $C$ s Rang, die Ursache für die Präferenz sind.

2. Direkte Optimierungsansätze

Die Autoren schlagen zwei Methoden vor, die direkt für das vergleichende Ziel unter Verwendung einer Verlustfunktion optimieren, die aus vier Termen besteht:

$\mathcal{L}_{cmp}$ : Maximiert die Score-Differenz zwischen $T$ und $C$ nach Anwendung der Maske.
$\mathcal{L}_{pred}$ : Stellt sicher, dass $T$ weiterhin hoch gerankt wird, wenn es durch die Maske unterstützt wird.
$\mathcal{L}_{inv}$ : Stellt sicher, dass $T$ s Rang sinkt, wenn die Maske invertiert wird (Items entfernt werden).
$\mathcal{L}_{reg}$ : Erzwingt Sparsamkeit (Minimierung der Größe der Perturbation).

Zwei spezifische Implementierungen werden im Detail beschrieben:

CLXR-joint: Verwendet eine Siamese-Netzwerk-Architektur. Ein gemeinsam genutztes Zwischennetzwerk ( $e_s$ ) verarbeitet sowohl $T$ als auch $C$ , um Zwischenmasken zu generieren, die dann zu der finalen Vergleichsmaske kombiniert werden. Das Netzwerk wird end-to-end unter Verwendung der kombinierten Verlustfunktion (Gl. 2) trainiert.
CLXR-tdlr: Adaptiert den Targeted Deviation - Logit Ranking (TDLR) Loss, der häufig bei Adversarial Attacks verwendet wird. Diese Methode lernt die Vergleichsmaske direkt ohne ein Zwischennetzwerk, indem sie sich ausschließlich auf den vergleichenden Verlust und die Sparsamkeitsregularisierung stützt.

3. Evaluierungsmetriken

Da keine Standardmetriken für paarweise Erklärungen existieren, definieren die Autoren:

MPRR (Minimal Perturbation for Ranking Reversal): Der kleinste Bruchteil (oder die Anzahl) der top-gerankten Profil-Items (basierend auf den Scores des Explainers), die entfernt werden müssen, um den Rang von $T$ und $C$ umzukehren. Niedriger ist besser.
Coverage (Abdeckung): Der Prozentsatz der Nutzer-Item-Paare, für die eine gültige Perturbation (die eine Rangumkehr verursacht) innerhalb des Suchraums gefunden werden kann.

Experimentelles Setup

Die Studie evaluiert die Methoden über drei Datensätze (MovieLens-1M, Yahoo Music, Pinterest) und zwei Empfehlungsalgorithmen:

Matrix Factorization (MF): Ein Standardmodell latenter Faktoren.
Variational Autoencoder (VAE): Ein probabilistisches generatives Modell.

Die CLXR-Modelle werden mit mehreren Baselines verglichen:

Popularity (POP): Ein einfacher Popularitäts-basierter Ranker.
SHAP & LIME: Modellagnostische Perturbationsmethoden (adaptiert für RS).
ACCENT: Eine kontrafaktische Methode basierend auf Influence Functions.
LXR: Der ursprüngliche Single-Item-Explainer.

Zentrale Ergebnisse

Die Experimente zeigen, dass die explizite Optimierung für die vergleichende Aufgabe im Vergleich zur Adaption von Single-Item-Methoden oder der Verwendung von modellagnostischen Baselines überlegene Ergebnisse liefert.

Performance: CLXR-joint übertrifft konsistent alle Baselines in Bezug auf Coverage und MPRR in den meisten Dataset/Recommender-Kombinationen. Beispielsweise erreichte CLXR-joint beim MovieLens-Datensatz mit einem VAE-Recommender eine Coverage von 92 % mit einem MPRR von 21 Items, was die nächstbeste Methode (LXR mit 82 % Coverage und 30 Items) deutlich übertraf.
CLXR-tdlr ist ebenfalls sehr wettbewerbsfähig, insbesondere bei Matrix Factorization Modellen.
Baselines: Während LXR (Single-Item) recht gut abschneidet, fällt es im Vergleich zu den gemeinsam optimierten CLXR-Modellen generell ab. SHAP und LIME leiden oft unter geringerer Coverage oder erfordern größere Perturbationen. ACCENT schneidet in spezifischen VAE/Pinterest-Szenarien gut ab, erreicht aber nicht die Konsistenz von CLXR-joint.
Popularity Bias: Die Autoren untersuchten den Einfluss populärer Items auf die Erklärungen. Wenn populäre Items (Top 15 %) während des Trainings herausgefiltert wurden (CLXR-filter), sank die Coverage signifikant (z. B. von 81 % auf 56,3 % bei ML-1M mit MF). Dies deutet darauf hin, dass populäre Items zwar oft die Rangumkehr vorantreiben, die Abhängigkeit von ihnen jedoch Erklärungen produzieren kann, die technisch korrekt, aber potenziell unbefriedigend oder unintuitiv für Nutzer sind (z. B. „Wenn Sie nicht Star Wars gesehen hätten...“).

Bedeutung und Ansprüche

Das Paper positioniert sich als erster Vorstoß in den Bereich der vergleichenden Ranking-Erklärungen mittels kontrafaktischem Lernen. Seine primären Beiträge sind:

Aufgabenformulierung: Es definiert formal das Problem „Warum wird $T$ über $C$ gerankt?“ und argumentiert, dass effektive Lösungen auf der Logik des Empfehlungsalgorithmus selbst basieren müssen, anstatt von diesem entkoppelt zu sein.
Methodische Innovation: Es demonstriert, dass kontrafaktisches Lernen effektiv angepasst werden kann, um Profil-Perturbationen für vergleichende Erklärungen zu approximieren. Der CLXR-joint-Ansatz, der ein Siamese-Netzwerk und eine kombinierte kontrastive Zielsetzung nutzt, erweist sich als die effektivste Methode zur Generierung prägnanter und verifizierbarer Erklärungen.
Empirische Validierung: Durch umfangreiche Experimente zeigen die Autoren, dass die explizite Optimierung des kontrastiven Ziels (CLXR-joint) zu treueren und prägnanteren Erklärungen führt als die Adaption von Single-Item-Methoden (CLXR-score) oder die Nutzung modellagnostischer Techniken.
Limitationen und zukünftige Arbeit: Die Autoren räumen bescheiden ein, dass ihre aktuelle Methode eher eine effiziente Approximation als eine garantierte minimale Erklärung liefert. Sie merken an, dass einige Rangumkehrungen aufgrund starker Popularitäts-Biases (z. B. ein Nischenfilm gegenüber einem Blockbuster) unmöglich sein können. Sie schließen damit ab, dass während ihre Offline-Metriken die technische Leistung validieren, die zukünftige Arbeit eine menschenzentrierte Evaluierung einschließen muss, um zu bestimmen, ob diese kontrafaktischen Perturbationen von realen Nutzern tatsächlich als nützlich und handlungsleitend wahrgenommen werden. Zudem schlagen sie vor, dass zukünftige Arbeiten Mechanismen zur Zusammenfassung (z. B. Clustering) erforschen sollten, um Fälle zu handhaben, in denen große Perturbationen erforderlich sind.