Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

Dit artikel analyseert SIGIR 2022-papers over aanbevelingssystemen op basis van berichtoverdracht en onthult ernstige problemen met reproduceerbaarheid, zoals datalekken en inconsistenties tussen code en beschrijvingen, waardoor de geldigheid van de meeste claims niet kan worden bevestigd.

De kern

Stel je voor dat de wereld van aanbevelingssystemen (zoals die van Netflix of Amazon) een enorme, drukke markt is waar wetenschappers hun nieuwste uitvindingen tentoonstellen. Ze zeggen: "Kijk, mijn nieuwe algoritme is de beste! Het kan precies voorspellen wat je wilt kopen of kijken."

Drie onderzoekers uit Italië en Nederland hebben besloten om deze markt eens flink op te ruimen. Ze hebben gekeken naar tien van de meest geprezen artikelen uit 2022, waarin deze "super-algoritmes" werden gepresenteerd. Hun missie? Kijken of deze uitvindingen echt werken, of dat het misschien wel een beetje bedrog is.

Hier is wat ze hebben ontdekt, vertaald in simpele taal:

1. De "Recepten" zijn verward (Artifacts & Consistentie)

Stel je voor dat een chef-kok een recept publiceert voor de beste taart ter wereld. Hij zegt: "Gebruik 200 gram suiker en bak het 30 minuten." Maar als je het recept in de praktijk brengt, blijkt dat hij in de echte taart 300 gram suiker heeft gebruikt en dat hij het recept op een andere manier heeft opgeschreven dan in de tekst staat.

In dit onderzoek vonden de auteurs precies dit. Veel wetenschappers gaven hun "recepten" (de computercode en de data) wel vrij, maar:

• De code klopte niet met de tekst: Soms stond er in het artikel dat ze een bepaalde methode gebruikten, maar in de code deden ze iets heel anders.
• Verkeerde data-splits: Dit is als het koken van een taart waarbij je de suiker uit de taart zelf haalt om te proeven of hij zoet genoeg is. In de wereld van aanbevelingen betekent dit dat ze soms data uit de "testfase" (de proef) per ongeluk in de "trainingsfase" (het leren) hebben gebruikt. Hierdoor leken de algoritmes veel slimmer te zijn dan ze echt waren, omdat ze al het antwoord hadden gezien voordat ze begonnen.

2. De "Racers" zijn langzaam (Reproducibility)

De onderzoekers probeerden de recepten van de andere wetenschappers na te maken. Het resultaat?

• Slechts de helft van de resultaten kon daadwerkelijk worden nagebootst.
• Bij sommige artikelen was het resultaat 0% hetzelfde. Het was alsof je probeert een auto na te bouwen op basis van een tekening, maar de wielen vallen er steeds af.
• Vaak was de code zo slecht gedocumenteerd dat het een raadsel was hoe je het überhaupt moest draaien. Het was alsof ze een auto leverden zonder handleiding en met losse bouten.

3. De "Nieuwe Auto's" zijn trager dan de "Oude Fietsen" (Baselines)

Dit is misschien wel het meest verbluffende deel. De wetenschappers hadden nieuwe, complexe, dure "raceauto's" (de nieuwe Graph Neural Networks) gebouwd. Ze beweerden dat deze veel sneller waren dan de oude, simpele "fietsen" (de klassieke, simpele methodes).

Maar toen de onderzoekers de race daadwerkelijk lieten plaatsvinden, gebeurde er iets vreemds:

• De oude fietsen (simpele methodes) bleken vaak veel sneller te zijn dan de dure raceauto's.
• Vooral op een populaire dataset (Amazon-Boeken) waren de nieuwe methodes soms twee keer zo traag als de simpele methodes.
• Het leek alsof de raceauto's waren ontworpen om op een circuit te rijden, maar ze werden getest op een modderpad waar de fietsen gewoon beter werkten.

4. Waarom gebeurt dit? (De "Leiderschapsjacht")

Waarom doen wetenschappers dit dan? Het is alsof er een grote competitie is waar je alleen wint als je de hoogste score haalt op een specifieke lijst.

• Om die lijst te winnen, kiezen ze soms onbewust voor methodes die "moeilijk" lijken, maar die ze niet goed hebben afgesteld.
• Ze vergelijken hun nieuwe auto met een fiets die ook niet goed is afgesteld. Dan lijkt je nieuwe auto een winnaar, terwijl hij in werkelijkheid slecht is.
• Omdat de "standaard" (de basis) zo zwak is, hoeven ze hun eigen uitvindingen niet echt te verbeteren. Ze winnen de competitie, maar de wetenschap als geheel komt niet vooruit.

5. De impact op de toekomst

Het ergste is dat andere wetenschappers, die in 2023 nieuwe artikelen schreven, deze "defecte" raceauto's als uitgangspunt namen. Ze bouwden hun eigen uitvindingen op basis van fouten.

• Het is alsof je een nieuw huis bouwt op een fundering die al scheef staat.
• Door de verschillende manieren waarop iedereen hun data voorbereidt (soms met 10% training, soms met 20%, soms met andere regels), is het onmogelijk om te vergelijken of iemand echt een betere uitvinding heeft gedaan. Het is alsof iedereen een andere meetlat gebruikt.

Conclusie: De boodschap

De onderzoekers zeggen: "Stop met het bouwen van complexe kastelen op zand."
Ze pleiten voor:

1. Eerlijkheid: Geef precies aan hoe je data hebt gesplitst en welke code je gebruikt.
2. Echte tests: Vergelijk je nieuwe uitvinding met de beste, goed afgestelde oude methodes, niet met zwakke versies.
3. Simpel is soms beter: Soms is een simpele fiets beter dan een ingewikkelde raceauto die niet goed werkt.
4. Negatieve resultaten: Het is oké om te zeggen: "Mijn uitvinding werkt niet goed op dit specifieke probleem." Dat helpt de wetenschap meer dan een nep-overwinning.

Kortom: De wereld van aanbevelingssystemen zit vol met mooie verhalen en complexe formules, maar als je de deksel eraf haalt, blijkt de motor vaak niet te werken. Het is tijd om terug te gaan naar de basis, eerlijk te zijn en te zorgen dat de resultaten echt kloppen.

Technische samenvatting

Probleemstelling

De auteurs adresseren de aanhoudende "reproductiecrisis" binnen de wetenschap, en specifiek binnen het domein van Informatierelevatie (IR) en Aanbevelingssystemen (RS). Ondanks de groeiende populariteit van grafgebaseerde technieken (zoals Graph Neural Networks en Message Passing) voor aanbevelingen, is er zorg over de methodologische kwaliteit en reproduceerbaarheid van gepubliceerd onderzoek.

De kernproblemen die in dit paper worden geanalyseerd zijn:

1. Inconsistentie tussen paper en artefacten: Broncode en data die door auteurs worden gedeeld, komen vaak niet overeen met de beschrijvingen in het paper (bijv. foutieve data-splits, informatielekken).
2. Slechte experimentele praktijken: Het gebruik van onvoldoende geoptimaliseerde baselines, informatielekken (bijv. gebruik van testdata voor early-stopping) en anormale data-verdelingen.
3. Valse vooruitgang: De indruk van continue verbetering van de state-of-the-art, terwijl nieuwe complexe methoden vaak slechter presteren dan simpele, robuuste baselines (zoals ItemKNN), vooral op veelgebruikte datasets zoals Amazon-Book.
4. Impact op vervolgonderzoek: Het risico dat irreproduceerbare papers of papers met zwakke baselines als referentiepunt worden gebruikt voor toekomstig onderzoek (bijv. SIGIR 2023), waardoor fouten zich voortplanten.

Methodologie

De auteurs hebben een uitgebreid reproduceerbaarheidsstudie uitgevoerd op 10 papers gepubliceerd bij SIGIR 2022 (en één invloedrijk paper uit 2020, LightGCN) die zich richten op grafgebaseerde aanbevelingssystemen met message passing.

De studie omvatte de volgende stappen:

1. Selectie van Papers: Papers werden geselecteerd op basis van het gebruik van message-passing technieken voor top-N aanbevelingen.
2. Consistentie-analyse: Handmatige inspectie van de broncode en data-artefacten om te controleren of deze overeenkwamen met de beschrijvingen in de papers. Hierbij werd gekeken naar:
   • Data-splits (geen overlap tussen train/test, juiste random holdout).
   • Implementatie van het algoritme (overeenkomst met het paper).
   • Hyperparameter-optimalisatie en early-stopping procedures.
3. Reproduceerbaarheid: Het opnieuw uitvoeren van de experimenten met de originele code en data. Resultaten werden vergeleken met de originele papers (met een tolerantie van 2% verschil).
4. Competitiviteitstest: De auteurs voerden een onafhankelijke hyperparameter-optimalisatie uit (Bayesian search) en vergeleken de gereproduceerde methoden met een uitgebreide set van 21 baselines (variërend van simpele KNN-methoden tot geavanceerde matrixfactorisatie en VAE's).
5. Kwalitatieve Impactanalyse: Een analyse van 11 papers uit SIGIR 2023 die de geanalyseerde SIGIR 2022 papers als baseline gebruikten, om te zien of de fouten en inconsistenties zich voortplanten.

De totale experimentele inspanning omvatte het trainen van ongeveer 25.000 modellen en vereiste een rekentijd van ongeveer 4 jaar.

Belangrijkste Bijdragen en Resultaten

1. Artefacten en Consistentie

• Beschikbaarheid: 90% van de papers bood broncode en data aan (een verbetering ten opzichte van eerdere studies).
• Data-splits: Bij 5 van de 9 papers met volledige artefacten waren de data-splits inconsistent met de beschrijvingen. Veel papers gebruikten foutieve splits (geen echte user-wise random holdout) of hadden overlap tussen train- en testdata (informatielek).
• Broncode: Hoewel de kernalgoritmen vaak consistent waren, waren er veel discrepanties in de training-procedure (bijv. ontbrekende early-stopping of gebruik van testdata voor validatie).
• Badges: Slechts 2 van de 10 papers voldeden aan de eisen voor het "Artifact Evaluated – Functional" badge van ACM SIGIR.

2. Reproduceerbaarheid

• Alleen 3 van de 9 papers konden voor ten minste 50% van de resultaten worden gereproduceerd.
• Eén paper was volledig irreproduceerbaar.
• De reproduceerbaarheid varieerde sterk per paper (van 0% tot 66%).
• Veel methoden faalden om te convergeren of presteerden aanzienlijk slechter dan gerapporteerd wanneer de fouten in de originele splits of implementaties werden gecorrigeerd.

3. Competitiviteit tegen Baselines

• Zwakke prestaties: De meeste geanalyseerde message-passing methoden presteerden niet beter dan simpele baselines (zoals ItemKNN, SLIM, GF-CF).
• Amazon-Book Dataset: Op deze veelgebruikte dataset presteerden de geavanceerde grafmodellen (zoals LightGCN, SimGCL, HCCF) vaak beduidend slechter dan simpele methoden. LightGCN presteerde bijvoorbeeld ongeveer de helft zo goed als ItemKNN.
• Optimalisatie: De auteurs toonden aan dat veel van de "state-of-the-art" claims het gevolg waren van slechte hyperparameter-optimalisatie. Wanneer de auteurs hun eigen onafhankelijke optimalisatie toepasten, verbeterden de resultaten van de nieuwe methoden, maar bleven ze vaak nog steeds achter bij de beste simpele baselines.
• Uitzonderingen: Enkele methoden (zoals GDE op specifieke splits en INMO/SimGCL op Yelp2018) toonden concurrentievermogen, maar dit was niet consistent over alle datasets.

4. Impact op SIGIR 2023

• De analyse van SIGIR 2023 papers toonde aan dat de fouten en inconsistenties uit 2022 zich voortplanten.
• Papers uit 2023 gebruikten vaak dezelfde (foute) data-splits of onvoldoende geoptimaliseerde baselines uit 2022.
• Het was onmogelijk om resultaten tussen papers uit 2022 en 2023 direct te vergelijken vanwege de enorme variatie in preprocessing, data-splits en evaluatieprotocollen. Dit maakt het wetenschappelijk proces van cumulatieve kennisopbouw ondermijnd.

Betekenis en Conclusie

Dit paper levert een krachtige kritiek op de huidige staat van het onderzoeksveld van Aanbevelingssystemen. De belangrijkste conclusies zijn:

1. Methodologische tekortkomingen: De gemeenschap is te afhankelijk van complexe, maar slecht geoptimaliseerde methoden, terwijl simpele baselines vaak beter presteren. De "state-of-the-art" is vaak een illusie veroorzaakt door slechte experimentele opzet.
2. Reproduceerbaarheid is een proces, geen resultaat: Zonder transparante documentatie, consistente data-splits en robuuste baselines is reproduceerbaarheid onmogelijk.
3. Noodzaak tot verandering: De auteurs pleiten voor:
   • Strictere eisen voor artefact-documentatie (gebruik van standaarden zoals ir_datasets).
   • Het verplichten van het gebruik van robuuste, simpele baselines in plaats van alleen complexe, zwakke baselines.
   • Het publiceren van negatieve resultaten om inzicht te geven in de beperkingen van methoden.
   • Het overwegen van "Registered Reports" om bias in de experimentele opzet te verminderen.

Kortom, het paper waarschuwt dat het veld dreigt te stagneren als de huidige praktijk van "leaderboard chasing" met onbetrouwbare experimenten niet wordt aangepast. De geloofwaardigheid van gepubliceerde resultaten staat op het spel.