Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

Questo studio analizza dieci articoli sui sistemi di raccomandazione basati su grafi presentati al SIGIR 2022, rivelando gravi problemi di riproducibilità come errori metodologici, incoerenze tra codice e descrizioni, e un uso improprio dei baselines che ne inficiano la validità delle conclusioni.

L'essenziale

Immagina il mondo della ricerca scientifica sui Sistemi di Raccomandazione (come quelli di Netflix, Amazon o Spotify) come un grande mercato degli inventori. Ogni anno, al congresso SIGIR (il "Mercato di Fiera" più importante), gli inventori arrivano con le loro nuove macchine per consigliare film o libri.

Nel 2022, questi inventori hanno portato con sé macchine basate su una tecnologia chiamata "Passaggio di Messaggi" (o Message Passing), che è come se le macchine imparassero guardando le connessioni tra gli utenti e i prodotti, come se fossero nodi in una gigantesca ragnatela sociale.

Tre ricercatori (Maurizio, Michael e Nicola) hanno deciso di fare da ispettori sanitari per questo mercato. Hanno preso 10 delle macchine più famose presentate nel 2022 e hanno detto: "Fermiamoci un attimo. Possiamo ricostruire queste macchine con i vostri manuali? Funzionano davvero come dite? Sono davvero migliori delle macchine vecchie e semplici?"

Ecco cosa hanno scoperto, spiegato con delle metafore:

1. Il Manuale Istruzioni è Falso (Incoerenza degli "Artifatti")

Molti inventori hanno lasciato il loro "manuale" (il codice sorgente) e i "materiali grezzi" (i dati) online. Sembra tutto perfetto, ma quando gli ispettori hanno provato a seguire le istruzioni, hanno trovato problemi:

• La torta tagliata male: Per addestrare una macchina, devi darle da mangiare (dati di allenamento) e poi testarla (dati di prova). Molti inventori avevano tagliato la torta in modo sbagliato: avevano messo un po' di "fetta di prova" dentro la "torta di allenamento". È come se un allenatore di calcio facesse fare i compiti a casa ai giocatori prima della partita e poi dicesse: "Guardate quanto sono bravi!". Questo è un trucco che falsifica i risultati.
• Il manuale che non corrisponde alla macchina: Spesso il codice online era diverso da quello descritto nel paper. Era come se nel manuale fosse scritto "premi il tasto rosso per accendere", ma nella realtà il tasto rosso mancava o faceva partire l'aspirapolvere invece della radio.

2. La Magia del "Trucco" (Problemi Metodologici)

Gli ispettori hanno scoperto che molti risultati "miracolosi" erano ottenuti grazie a scorciatoie:

• Il trucco del "Guardare il Voto": Per decidere quando fermare l'allenamento della macchina, alcuni inventori guardavano il risultato finale (i dati di prova) mentre la macchina stava ancora imparando. È come se uno studente, mentre sta scrivendo il compito in classe, guardasse la soluzione sul retro del libro per correggere gli errori in tempo reale. Non è un vero apprendimento, è un imbroglio.
• Il confronto con i "Finti Nemici": Molti inventori dicevano: "La nostra macchina è la migliore!". Ma con chi la stavano confrontando? Spesso la confrontavano con macchine vecchie, vecchissime e mal configurate. È come se un nuovo modello di auto da corsa vincesse una gara contro un'auto che ha le ruote quadrate e il motore spento. Non è una vittoria reale, è solo una vittoria contro un avversario debole.

3. La Verità Nuda e Cruda (Riproducibilità e Baseline)

Quando gli ispettori hanno provato a ricostruire le macchine da soli, usando le regole corrette (senza trucchi e confrontandole con macchine semplici ma ben sintonizzate):

• La maggior parte ha fallito: Su circa 10 macchine, solo 3 sono riuscite a funzionare almeno per metà dei casi come promesso. Molte non funzionavano affatto o davano risultati completamente diversi da quelli pubblicati.
• Le macchine semplici vincono ancora: Su un dataset molto famoso (i libri di Amazon), le nuove macchine "complesse" e "intelligenti" facevano peggio delle vecchie macchine semplici (come un semplice elenco dei libri più venduti). È come se un'auto volante costosa non riuscisse a superare una bicicletta in una corsa su strada sterrata.

4. L'Effetto Dominio (Cosa è successo nel 2023?)

Il punto più preoccupante? Nel 2023, altri inventori sono arrivati al mercato e hanno detto: "Guardate, la nostra nuova macchina è meglio di quelle del 2022!".
Ma gli ispettori hanno scoperto che non si poteva fare il paragone.

• Perché? Perché ognuno usava dati diversi, tagliati in modo diverso e con regole diverse. È come se un cuoco dicesse: "Il mio piatto è migliore di quello di Mario", ma Mario ha cucinato con le patate e tu con le carote. Non ha senso.
• Questo crea un circolo vizioso: si pubblicano risultati che sembrano fantastici, ma sono basati su errori o truccini. Poi gli altri si basano su quei risultati per fare nuove ricerche, propagando l'errore.

In Sintesi: Cosa ci insegna questa storia?

Il paper ci dice che la scienza dei sistemi di raccomandazione sta attraversando una crisi di fiducia.

• Troppi trucchi: Si usano dati sporchi e confronti ingiusti per sembrare più bravi di quanto si è.
• Mancanza di trasparenza: Spesso non si sa davvero come sono stati ottenuti i risultati.
• Stagnazione: Se continuiamo a confrontarci solo con "finti nemici" (baselines deboli) e a usare dati sbagliati, non stiamo facendo progressi reali. Stiamo solo correndo su un tapis roulant.

Il consiglio finale degli ispettori?
Basta con i trucchi. Dobbiamo essere onesti, usare dati puliti, confrontarci con macchine semplici ma ben fatte e ammettere quando un nuovo metodo non funziona. Solo così la scienza potrà davvero migliorare e creare sistemi di raccomandazione che ci piacciano davvero, invece di sembrare solo "belli sulla carta".

Sommario tecnico

1. Il Problema

Il campo dei Sistemi di Raccomandazione (RS), in particolare quelli basati su tecniche di Message Passing e Graph Neural Networks (GNN), sta vivendo una rapida espansione. Tuttavia, come in molte altre discipline scientifiche, esiste una "crisi di riproducibilità". Il paper affronta tre problemi critici emersi nella letteratura recente (SIGIR 2022):

• Inconsistenza degli artefatti: Spesso il codice sorgente e i dati forniti non corrispondono a quanto descritto nel testo del paper.
• Errori metodologici: Pratiche scorrette come la divisione errata dei dati (data leakage tra training e test), split non casuali o non giustificati, e ottimizzazione degli iperparametri opaca.
• Mancanza di competitività reale: Molti metodi proposti non superano baselines semplici e robuste (come ItemKNN o SLIM), specialmente su dataset complessi come Amazon-Book, creando un'illusione di progresso continuo ("SOTA") che in realtà è spesso un declino delle prestazioni assolute.

2. Metodologia

Gli autori hanno condotto uno studio di riproducibilità su 10 paper presentati a SIGIR 2022 (più LightGCN del 2020, che funge da base per molti lavori successivi). La metodologia si è articolata in diverse fasi:

• Selezione e Raccolta: Sono stati selezionati paper basati su tecniche di message passing per la raccomandazione Top-N. Per tutti i 10 paper, gli autori hanno recuperato codice e dati (o contattato gli autori).
• Analisi di Coerenza (Consistency):
  • Verifica manuale del codice sorgente e degli split dei dati.
  • Analisi statistica delle distribuzioni di popolarità degli item tra training e test per rilevare bias o split errati.
  • Controllo della presenza di information leakage (es. uso dei dati di test per l'early-stopping).
• Riproduzione dei Risultati:
  • Esecuzione dei modelli utilizzando il codice originale e gli stessi dataset.
  • Correzione di errori minori (es. fix di early-stopping su dati di test) e ri-esecuzione degli esperimenti.
  • Definizione di "riproduzione riuscita": una differenza relativa dei metrici di efficacia (Recall, NDCG) inferiore al 2% rispetto ai risultati originali.
• Confronto con Baselines Robuste:
  • Implementazione e ottimizzazione rigorosa (tramite ricerca bayesiana) di un set di baselines classiche e moderne (TopPop, UserKNN, ItemKNN, SLIM, MF-BPR, iALS, MultVAE, ecc.).
  • Confronto delle prestazioni dei metodi SIGIR 2022 contro queste baselines su dataset comuni.
• Ottimizzazione Indipendente: Per isolare il problema della scarsa ottimizzazione, gli autori hanno eseguito una nuova ottimizzazione degli iperparametri per tutti i metodi su due dataset chiave (Amazon-Book e Yelp2018), confrontando i risultati con quelli originali.
• Analisi Qualitativa su SIGIR 2023: È stato analizzato l'impatto di questi paper sui lavori successivi presentati a SIGIR 2023, verificando se le pratiche scorrette si fossero propagate.

3. Contributi Chiave e Risultati Principali

A. Inconsistenza degli Artefatti e Errori nei Dati

• Disponibilità: Il 90% dei paper ha fornito artefatti (codice/dati), un miglioramento rispetto agli anni precedenti.
• Split Errati: 5 su 9 paper con artefatti completi utilizzavano split di dati non consistenti con la descrizione (es. non erano user-wise random holdout come dichiarato). In alcuni casi, gli split originali mostravano distribuzioni di popolarità molto diverse tra training e test, invalidando i risultati.
• Data Leakage: Tre paper (GDE, HAKG, GTN) presentavano sovrapposizioni tra training e test set (fino al 13% delle interazioni in HAKG su Last-FM), causando una stima eccessiva delle prestazioni.
• Early-Stopping: In diversi casi (HAKG, KGCL), l'early-stopping veniva eseguito sui dati di test invece che su quelli di validazione, un errore metodologico grave.

B. Riproducibilità dei Risultati

• Tasso di Riproducibilità: Solo 3 su 9 paper sono stati riprodotti con successo per almeno il 50% dei risultati.
• Variabilità: Il tasso di riproduzione varia dal 0% (HAKG, su tutti i dataset) al 66% (LightGCN).
• Cause: Le principali cause di fallimento sono state errori negli split dei dati, instabilità numerica (es. nel calcolo degli autovalori per GDE), e mancanza di istruzioni per l'esecuzione del codice.

C. Competitività contro le Baselines

• Fallimento sui Dataset Complessi: Su Amazon-Book, la maggior parte dei metodi basati su message passing (incluso LightGCN, SimGCL, HCCF) ha prestazioni significativamente inferiori rispetto a baselines semplici come ItemKNN o SLIM.
  • Esempio: LightGCN ha ottenuto un NDCG di 0.0315 su Amazon-Book, mentre ItemKNN ha raggiunto 0.0624 (quasi il doppio).
• Ottimizzazione Negligente: Quando gli autori hanno eseguito un'ottimizzazione indipendente degli iperparametri, le prestazioni dei modelli sono migliorate drasticamente, ma spesso non sono comunque riuscite a superare le baselines robuste. Questo suggerisce che le pubblicazioni originali non hanno ottimizzato correttamente i propri modelli, rendendo i confronti ingiusti.
• Eccezioni: Solo GDE (in uno scenario di split atipico) e INMO/SimGCL (su Yelp2018 con ottimizzazione) hanno mostrato una competitività accettabile.

D. Impatto su SIGIR 2023

• L'analisi dei paper SIGIR 2023 rivela che le pratiche scorrette si stanno propagando.
• È diventato impossibile confrontare i risultati tra i paper del 2022 e quelli del 2023 a causa della mancanza di protocolli di valutazione standardizzati, split dei dati diversi e pre-processing non descritti.
• LightGCN rimane il baseline più citato, ma spesso viene utilizzato in contesti dove le sue prestazioni reali sono inferiori a quelle di metodi più semplici.

4. Significato e Implicazioni

Questo studio evidenzia una crisi di fiducia nella ricerca sui Sistemi di Raccomandazione basati su GNN:

1. Stagnazione del Campo: La comunità rischia di entrare in una fase di stagnazione perché i nuovi metodi non stanno realmente migliorando lo stato dell'arte rispetto a tecniche classiche, ma vengono presentati come superiori a causa di baselines deboli e ottimizzate male.
2. Mancanza di Rigore: La mancanza di trasparenza nella selezione degli iperparametri, negli split dei dati e nella documentazione del codice rende la scienza dei RS poco affidabile.
3. Raccomandazioni:
   • Adozione di standard rigorosi per la documentazione degli artefatti (es. badge ACM SIGIR).
   • Utilizzo di baselines robuste e ben ottimizzate (non solo baselines deboli).
   • Pubblicazione di risultati negativi per comprendere i limiti dei modelli.
   • Introduzione di pratiche come i Registered Reports per valutare la metodologia prima della raccolta dei risultati.

In sintesi, il paper dimostra che, nonostante l'entusiasmo per le tecniche di message passing, la maggior parte dei lavori recenti non è riproducibile e non offre vantaggi reali rispetto a metodi più semplici, a causa di pratiche sperimentali inadeguate che devono essere urgentemente corrette.