Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

Diese Studie analysiert SIGIR 2022-Publikationen zu graphbasierten Empfehlungssystemen und stellt fest, dass methodische Mängel, Inkonsistenzen zwischen Code und Beschreibung sowie die Verwendung schwächerer Baselines die Reproduzierbarkeit und Validität der behaupteten Fortschritte in Frage stellen.

Das Wesentliche

Stellen Sie sich die Welt der Empfehlungssysteme wie einen riesigen, geschäftigen Supermarkt vor. Die Regale sind voll mit Produkten, und die Aufgabe eines Empfehlungsalgorithmus ist es, Ihnen genau das zu sagen, was Sie als Nächstes kaufen möchten. In den letzten Jahren haben Wissenschaftler versucht, immer ausgefeiltere „Gehirne" (neuronale Netze und Graphen) zu bauen, um diese Aufgabe besser zu meistern.

Im Jahr 2022 haben viele Forscher auf einer großen Konferenz namens SIGIR ihre neuen, hochmodernen Modelle vorgestellt. Sie behaupteten, ihre neuen „Super-Gehirne" seien viel besser als die alten, einfachen Methoden.

Diese neue Studie von Ferrari Dacrema, Benigni und Ferro ist wie ein unabhängiges Qualitätsamt, das beschließt: „Wir prüfen das nicht nur auf dem Papier, wir bauen die Maschinen nach und schauen, ob sie wirklich so funktionieren, wie behauptet."

Hier ist das Ergebnis, einfach erklärt:

1. Der Baukasten war oft kaputt (Artefakt-Konsistenz)

Stellen Sie sich vor, ein Architekt baut ein Haus und gibt Ihnen die Baupläne und die Materialien. Wenn Sie aber anfangen zu bauen, stellen Sie fest:

• Die Ziegelsteine sind nicht da, wo sie sein sollten.
• Die Anleitung sagt „Mauer aus Stein", aber im Karton liegen nur Holzspäne.
• Oder schlimmer noch: Der Architekt hat die Baustelle so vorbereitet, dass das Haus nur dann stabil steht, wenn man heimlich einen Balken aus dem Testbereich in den Fundamentbereich schummelt.

Das ist genau das Problem, das die Autoren gefunden haben. Viele der veröffentlichten Papiere hatten fehlerhafte Daten-Splits. Das bedeutet, dass beim Aufteilen der Daten in „Lernphase" und „Testphase" Dinge passiert sind, die nicht erlaubt sein dürfen (z. B. dass das System beim Lernen schon die Antworten für den Test gesehen hat). Das ist wie bei einem Schüler, der vor der Prüfung die Lösungen der Klausur aus dem Lehrbuch abschreibt. Natürlich besteht er die Prüfung, aber er hat nichts gelernt.

2. Die Ergebnisse waren oft nicht nachzuvollziehen (Reproduzierbarkeit)

Die Forscher haben versucht, die Modelle der SIGIR 2022-Papiere genau nachzubauen. Das Ergebnis war ernüchternd:

• Bei fast der Hälfte der Papiere konnten sie die behaupteten Ergebnisse gar nicht reproduzieren.
• Bei manchen funktionierten die Modelle nur auf bestimmten Datensätzen, aber nicht auf anderen.
• Oft fehlten wichtige Anweisungen in den bereitgestellten Code-Dateien. Es war, als würde jemand ein Rezept geben, aber die wichtigsten Zutaten und Kochzeiten weglassen.

3. Der „Elefant im Raum": Die einfachen Methoden waren besser

Das vielleicht schockierendste Ergebnis betrifft den Vergleich mit einfachen Methoden.
Stellen Sie sich vor, ein neuer, teurer Roboter wird vorgestellt, der angeblich besser kochen kann als ein einfacher Kochlöffel. Die Forscher haben den Roboter getestet und verglichen:

• Auf dem beliebtesten Datensatz (Amazon-Book) war der einfache Kochlöffel (ItemKNN) fast doppelt so gut wie die neuen, komplexen „Super-Gehirne".
• Die neuen Modelle schafften es oft nicht einmal, die alten, einfachen Methoden zu schlagen.
• Es sah so aus, als würden die Forscher ihre neuen Modelle nur mit schwach optimierten alten Modellen vergleichen, um zu gewinnen. Das ist wie ein Sprinter, der gegen einen Mann läuft, der im Sand läuft, und dann behauptet, er sei der schnellste Mann der Welt.

4. Der Domino-Effekt (Auswirkung auf 2023)

Die Studie schaute auch auf die Papiere von 2023. Das Problem: Viele neue Forscher haben die fehlerhaften Modelle von 2022 als „Basis" (Baseline) verwendet.

• Sie haben auf einem Fundament gebaut, das schon schief war.
• Da jeder seine eigene Art hatte, die Daten vorzubereiten (manche schnitten die Daten anders, andere benutzten andere Filter), war ein direkter Vergleich zwischen den Papieren unmöglich.
• Es ist, als würde jeder Baumeister eine andere Maßeinheit für „Meter" verwenden. Niemand kann sagen, welches Haus wirklich höher ist.

Die große Metapher: Das „Leaderboard-Chasing"

Die Autoren vergleichen die Situation mit einem Leaderboard (einer Bestenliste) in einem Videospiel.
Die Forscher optimieren ihre Modelle so stark auf eine spezifische, fehlerhafte Version des Spiels (den Datensatz), dass sie dort die Bestenliste anführen. Aber wenn man das Spiel auf einem echten, fairen Server spielt, sind sie oft am Boden.
Die Community jagt diesen falschen Bestenlisten, anstatt echte Fortschritte zu machen.

Fazit in einem Satz

Die Studie warnt davor, dass die Recommender-System-Forschung in eine Sackgasse gerät, weil viele neue, komplexe Methoden gar nicht besser sind als alte, einfache Tricks, und weil die wissenschaftlichen Standards (wie saubere Daten und transparente Tests) oft so lax gehandhabt werden, dass die Ergebnisse nicht vertrauenswürdig sind.

Die Lösung? Die Autoren fordern mehr Ehrlichkeit: Veröffentlichen Sie auch negative Ergebnisse (wenn etwas nicht funktioniert), nutzen Sie robuste, einfache Vergleichsmethoden und sorgen Sie dafür, dass Ihre Baupläne (Code und Daten) wirklich mit dem Haus übereinstimmen, das Sie beschreiben. Nur so kann die Wissenschaft wieder vorankommen.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert die zunehmende „Reproduzierbarkeitskrise" im Bereich der Information Retrieval (IR) und Recommender Systems (RS), insbesondere im Kontext von graphbasierten Methoden (Message Passing, Graph Neural Networks). Trotz der hohen Anzahl an Publikationen zu diesem Thema an Top-Konferenzen wie SIGIR 2022 und 2023 gibt es ernsthafte Bedenken hinsichtlich der methodischen Strenge, der Konsistenz der bereitgestellten Artefakte (Code und Daten) und der tatsächlichen Überlegenheit neuer Methoden gegenüber einfachen Baselines.

Die Autoren untersuchen, ob die in SIGIR 2022 veröffentlichten graphbasierten RS-Papiere:

1. Ihre Ergebnisse mit den bereitgestellten Artefakten reproduzierbar sind.
2. Konsistente und korrekte experimentelle Protokolle verwenden.
3. Tatsächlich robustere und leistungsfähigere Methoden als einfache Baselines darstellen oder ob scheinbare Verbesserungen auf methodische Fehler (z. B. Datenlecks, schlechte Baselines) zurückzuführen sind.

2. Methodik

Die Studie analysiert 10 graphbasierte RS-Papiere aus SIGIR 2022 (darunter LightGCN, SimGCL, HCCF, KGCL, etc.) und untersucht qualitativ deren Einfluss auf 11 SIGIR 2023 Papiere.

Der Forschungsansatz gliedert sich in folgende Schritte:

• Artefakt-Konsistenzanalyse: Manuelle Prüfung des Quellcodes und der Datenaufteilungen (Train/Test-Splits) auf Anomalien. Es wurde geprüft, ob die Datenverteilungen den Beschreibungen in den Papieren entsprechen und ob es zu Überlappungen zwischen Trainings- und Testdaten (Information Leakage) kommt.
• Reproduzierbarkeit: Die Autoren führten die Experimente mit dem bereitgestellten Code und den Daten nach. Bei Fehlern (z. B. falsches Early Stopping auf Testdaten) wurden diese korrigiert, um faire Vergleiche zu ermöglichen. Als Kriterium für eine erfolgreiche Reproduktion galt eine relative Abweichung von maximal 2 % in den Metriken.
• Benchmarking gegen robuste Baselines: Um die wahre Leistungsfähigkeit der Methoden zu bewerten, wurden die vorgeschlagenen Modelle gegen einen umfassenden Satz von 21 Baselines getestet (darunter einfache KNN-Methoden wie ItemKNN/UserKNN, Matrixfaktorisierung wie MF-BPR/iALS, SLIM und MultVAE).
• Unabhängige Hyperparameter-Optimierung: Da die Originalarbeiten oft unzureichend optimiert waren, führten die Autoren eine eigene, strenge Hyperparameter-Suche (Bayesian Search) durch, um sicherzustellen, dass die Baselines und die zu testenden Modelle fair verglichen werden.
• Qualitative Analyse der SIGIR 2023 Papiere: Es wurde untersucht, ob und wie die SIGIR 2022 Papiere als Baselines in nachfolgenden Arbeiten verwendet wurden und ob sich die identifizierten methodischen Fehler fortgesetzt haben.

3. Wichtige Beiträge und Ergebnisse

A. Artefakt-Konsistenz und Datenprobleme

• Verbreitung fehlerhafter Datenaufteilungen: Bei fünf der neun analysierten Papiere (LightGCN, SimGCL, HAKG, GTN, KGCL) wurden Train/Test-Splits verwendet, die nicht den beschriebenen „User-wise Random Holdout"-Verfahren entsprachen. Diese Splits führten zu verzerrten Popularitätsverteilungen im Testset.
• Information Leakage: Drei Papiere (GDE, HAKG, GTN) verwendeten Datensätze, bei denen sich Trainings- und Testdaten überlappten (z. B. Last-FM-Datensatz), was zu einer künstlichen Überbewertung der Leistung führte.
• Inkonsistenzen: Oft weichen die im Code implementierten Early-Stopping-Verfahren von den Papieren ab (z. B. Nutzung von Testdaten zur Epochenauswahl statt Validierungsdaten).

B. Reproduzierbarkeit

• Die Reproduzierbarkeit war schlecht. Nur bei 3 der 9 analysierten Papiere konnten mindestens 50 % der Ergebnisse reproduziert werden.
• Ein Paper (HAKG) war auf allen Datensätzen nicht reproduzierbar (0 %).
• Ein weiterer Paper (Liu et al.) lieferte Artefakte, die nicht ausführbar waren (fehlende Dokumentation, Hard-Coding von Pfaden).

C. Leistungsfähigkeit gegenüber Baselines (Competitiveness)

• Dominanz einfacher Baselines: Auf dem häufig verwendeten Amazon-Book-Datensatz schnitten fast alle analysierten Message-Passing-Modelle (inkl. LightGCN, SimGCL, HCCF) deutlich schlechter ab als einfache Baselines wie ItemKNN oder SLIM.
  • Beispiel: LightGCN erreichte auf Amazon-Book einen NDCG von ~0,0315, während ItemKNN ~0,0624 erreichte (fast doppelt so gut).
• Abhängigkeit von der Optimierung: In einer unabhängigen Optimierung zeigten einige Modelle (z. B. INMO, SimGCL) auf dem Yelp2018-Datensatz eine Verbesserung, blieben aber auf Amazon-Book hinter den einfachen Baselines zurück. Dies deutet darauf hin, dass die ursprünglichen Autoren ihre Modelle oft nicht ausreichend optimierten, da die verwendeten Baselines zu schwach waren, um einen echten Wettbewerbsdruck zu erzeugen.
• GDE als Ausnahme: Nur das Modell GDE zeigte in einem spezifischen Szenario (mit ungewöhnlichem 20/80 Train/Test-Split) eine Überlegenheit gegenüber den Baselines.

D. Einfluss auf SIGIR 2023

• Die Analyse der SIGIR 2023 Papiere zeigt, dass die methodischen Mängel (inkonsistente Splits, fehlende Transparenz bei der Optimierung) sich fortsetzen.
• Ein direkter Vergleich der Ergebnisse zwischen SIGIR 2022 und 2023 ist aufgrund unterschiedlicher Vorverarbeitungs- und Splits-Strategien nahezu unmöglich.
• LightGCN wird weiterhin als State-of-the-Art-Baseline zitiert, obwohl die Studie zeigt, dass es in vielen Szenarien durch einfachere Methoden übertroffen wird.

4. Signifikanz und Implikationen

Die Studie hat weitreichende Konsequenzen für die RS-Community:

1. Infragestellung des Fortschritts: Viele Behauptungen über „State-of-the-Art"-Verbesserungen sind möglicherweise auf methodische Fehler (Data Leakage, schlechte Baselines) zurückzuführen und nicht auf echte algorithmische Fortschritte.
2. Notwendigkeit robusterer Evaluation: Die Community muss zu standardisierten, transparenten Datenaufteilungen (z. B. Nutzung von ir_datasets) und strengen Baselines (wie SLIM, MultVAE, ItemKNN) zurückkehren, um echte Verbesserungen zu erkennen.
3. Kritik an der Peer-Review: Das aktuelle Review-Verfahren ist nicht in der Lage, diese tiefgreifenden methodischen Fehler zu erkennen, da eine vollständige Reproduktion für Reviewer oft zu aufwendig ist.
4. Empfehlungen:
   • Einführung von Registered Reports (Methodik-Review vor Experimenten).
   • Verpflichtende Offenlegung von vollständigen Pipelines und Dokumentationen.
   • Förderung der Veröffentlichung von negativen Ergebnissen, um zu zeigen, wo Methoden versagen.
   • Vermeidung von „Leaderboard Chasing" durch standardisierte, verifizierte Splits.

Fazit: Die Arbeit warnt davor, dass der Bereich der Recommender Systems durch schlechte experimentelle Praktiken in eine Phase der Stagnation gerät, in der komplexe Modelle (Graph Neural Networks) nicht besser sind als einfache, gut optimierte Baselines. Ohne eine grundlegende Reform der Evaluationsstandards und der Transparenz von Artefakten bleiben die veröffentlichten Forschungsergebnisse oft nicht vertrauenswürdig.