Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

Este artigo analisa a reprodutibilidade e a consistência de artefatos de dez artigos sobre sistemas de recomendação baseados em grafos apresentados na SIGIR 2022, revelando práticas inadequadas, inconsistências entre código e descrições, e o uso de baselines enganosas que comprometem a validade dos resultados e impedem a confirmação das alegações originais.

O essencial

Imagine que a comunidade científica de Inteligência Artificial é como uma grande cozinha de restaurantes. Todos os anos, chefs (pesquisadores) apresentam novos pratos (algoritmos de recomendação) em um festival famoso (a conferência SIGIR). Eles dizem: "Olhem, meu novo prato é muito mais saboroso e eficiente que os antigos!"

Este artigo é como uma inspeção sanitária rigorosa feita por três especialistas que decidiram ir à cozinha, pegar os ingredientes e tentar cozinhar os mesmos pratos dos chefs vencedores do ano anterior (SIGIR 2022) para ver se realmente funcionam como prometido.

Aqui está o que eles descobriram, traduzido para uma linguagem simples:

1. O Problema dos "Ingredientes Falsos" (Inconsistência de Dados)

Muitos chefs disseram: "Usei o mesmo tipo de batata que todo mundo usa". Mas, quando os inspetores foram verificar, perceberam que:

• A Batata era diferente: Alguns chefs cortaram a batata de um jeito estranho que nunca foi explicado.
• O Segredo do Sabor: Alguns chefs misturaram um pouco do "molho final" (os dados de teste) dentro da panela enquanto cozinhavam (dados de treino). Isso é como provar o prato antes de servir para ver se está bom e, se não estiver, adicionar mais sal até ficar perfeito. Isso não é cozinhar; é trapacear!
• Consequência: O prato parecia delicioso no papel, mas quando feito de verdade, o sabor era diferente ou estranho.

2. A Ilusão da "Melhoria" (Baselines Fracos)

Imagine que um chef diz: "Meu novo bolo é incrível, é 50% melhor que o bolo de chocolate da vovó!".
O problema é que o "bolo da vovó" que eles estavam comparando era, na verdade, um bolo queimado e sem açúcar que eles mesmos fizeram de propósito.

• Os pesquisadores descobriram que muitos dos novos algoritmos (os "novos pratos") eram, na verdade, pior do que métodos simples e antigos (como o "ItemKNN", que é como um bolo de cenoura básico, mas confiável).
• Em alguns casos, os novos métodos complexos (baseados em grafos e redes neurais) performaram tão mal que pareciam estar tentando adivinhar o que o cliente queria, enquanto o método simples acertava na mosca.

3. A Receita Perdida (Reprodutibilidade)

A ciência funciona como uma receita de bolo: se você escrever "adicione uma pitada de sal", outro cozinheiro deve conseguir fazer o mesmo bolo.

• Neste estudo, os inspetores tentaram seguir as receitas dos 10 chefs.
• O Resultado: Eles conseguiram reproduzir o sabor exato em menos da metade dos casos. Em muitos, o bolo não cresceu, queimou ou ficou com um gosto totalmente diferente.
• Por que? As receitas estavam incompletas, faltavam instruções de temperatura, ou os ingredientes fornecidos (código e dados) não batiam com o que estava escrito no livro de receitas.

4. O Efeito Dominó (Impacto no Futuro)

O pior de tudo é o que acontece no ano seguinte (SIGIR 2023).

• Novos chefs olham para os vencedores do ano anterior e dizem: "Vou usar o prato do Chef X como base para o meu novo prato".
• Como o prato do Chef X já tinha problemas (ingredientes errados ou receitas confusas), o novo prato também sai com defeito.
• É como se uma corrente de amigos passasse uma mensagem, e a cada vez que a mensagem é repassada, ela fica um pouco mais errada. No final, ninguém sabe mais qual era a mensagem original.

A Grande Conclusão

Os autores do artigo dizem que a área de Sistemas de Recomendação (como o Netflix ou Amazon sugerem filmes e livros) está em um momento crítico.

• O que está acontecendo: Estamos criando sistemas cada vez mais complexos e caros (que exigem computadores gigantes), mas eles não estão necessariamente funcionando melhor do que as soluções simples e baratas que já tínhamos.
• O perigo: Se continuarmos assim, vamos ficar estagnados. Vamos publicar muitos "pratos novos" que parecem bons no papel, mas que na prática não servem para nada, apenas porque os testes foram feitos de forma desleixada.

A lição para todos nós:
Para a ciência avançar de verdade, precisamos de mais honestidade. Os pesquisadores precisam:

1. Compartilhar os ingredientes reais (código e dados) de forma clara.
2. Comparar seus novos pratos com os melhores pratos antigos, não com pratos queimados.
3. Não trapacear provando o prato antes de servir (vazamento de dados).

Sem isso, a "cozinha" da Inteligência Artificial corre o risco de servir apenas ilusões, em vez de soluções reais que ajudem as pessoas a encontrar o que precisam.

Resumo técnico

Título: Reprodutibilidade e Consistência de Artefatos dos Artigos de Sistemas de Recomendação Baseados em Passagem de Mensagens do SIGIR 2022

1. O Problema

A área de Sistemas de Recomendação (RS), especialmente aquela baseada em técnicas de grafos e redes neurais (como Graph Neural Networks - GNNs), enfrenta uma "crise de reprodutibilidade". Apesar do aumento no número de publicações em conferências de alto nível como o SIGIR, há preocupações crescentes sobre a validade dos resultados publicados. O artigo identifica três problemas principais que comprometem a integridade científica:

• Práticas inadequadas: Divisões de dados errôneas, vazamento de informação (data leakage) entre conjuntos de treino e teste, e otimização insuficiente de baselines (métodos de comparação).
• Inconsistência de Artefatos: Discrepâncias entre o código-fonte/dados fornecidos pelos autores e o descrito no artigo, gerando incerteza sobre o que está sendo realmente avaliado.
• Falsa Sensação de Melhoria: A preferência por baselines novos e complexos, mas fracos, em detrimento de métodos simples e robustos, criando a ilusão de progresso contínuo quando, na realidade, o estado da arte (SOTA) pode estar estagnado ou até regredindo.

O objetivo do estudo é investigar se os resultados de 10 artigos de RS baseados em grafos publicados no SIGIR 2022 são reprodutíveis e se suas metodologias são sólidas.

2. Metodologia

Os autores realizaram um estudo de reprodutibilidade rigoroso seguindo as definições da ACM e do SIGIR. O processo envolveu:

• Seleção de Artigos: Foram analisados 10 artigos do SIGIR 2022 que propõem técnicas de recomendação baseadas em grafos com passagem de mensagens (incluindo o LightGCN, publicado anteriormente, mas fundamental para o campo).
• Análise de Consistência: Verificação manual do código-fonte e dos dados para identificar:
  • Anomalias nas estatísticas das divisões de dados (treino/validação/teste).
  • Inconsistências entre a implementação do algoritmo e a descrição no texto.
  • Uso de dados de teste para early-stopping (parada antecipada), o que constitui vazamento de informação.
• Reexecução de Experimentos:
  • Os autores reexecutaram os experimentos usando os artefatos originais.
  • Corrigiram erros metodológicos identificados (ex: divisões de dados incorretas, vazamento de dados).
  • Implementaram um early-stopping padronizado baseado apenas no conjunto de validação.
  • Otimizaram hiperparâmetros das baselines (métodos de comparação) usando busca bayesiana para garantir uma comparação justa e robusta.
• Comparação com Baselines Robustas: Os métodos propostos foram comparados contra um conjunto diversificado de 21 baselines, incluindo métodos clássicos (ItemKNN, UserKNN, SLIM, MF-BPR) e modelos mais recentes (MultVAE, iALS), em vez de apenas comparar com outros modelos de grafos complexos.
• Análise Qualitativa do Impacto: Uma revisão de 11 artigos do SIGIR 2023 que utilizaram os artigos de 2022 como baselines para entender como as práticas questionáveis se propagaram.

3. Principais Contribuições e Descobertas

A. Inconsistência de Artefatos e Dados

• Divisões de Dados Errôneas: 5 dos 9 artigos com artefatos completos utilizaram divisões de dados que não correspondiam a um holdout aleatório correto (baseado por usuário). Em muitos casos, a distribuição de popularidade dos itens no conjunto de teste era significativamente diferente do treino, enviesando os resultados.
• Vazamento de Informação (Data Leakage): Três artigos (GDE, HAKG, GTN) apresentaram sobreposição entre os conjuntos de treino e teste (interações presentes em ambos), o que infla artificialmente a performance.
• Uso de Dados de Teste para Treino: Vários códigos realizavam early-stopping ou seleção de hiperparâmetros utilizando o conjunto de teste, um erro metodológico grave que invalida a avaliação.
• Disponibilidade vs. Qualidade: Embora 90% dos artigos fornecessem artefatos (uma melhoria em relação a estudos anteriores), a qualidade e a documentação eram frequentemente insuficientes para uma reprodução direta sem correções manuais.

B. Reprodutibilidade dos Resultados

• Baixa Taxa de Reprodutibilidade: Apenas 3 dos 9 artigos analisados tiveram resultados reprodutíveis em pelo menos 50% dos casos. Um artigo foi totalmente irreprodutível.
• Variação de Desempenho: A taxa de reprodutibilidade variou de 0% a 66% entre os métodos.
• Instabilidade Numérica: O método GDE (Graph Denoising Encoder) apresentou instabilidade numérica severa em vários conjuntos de dados devido a erros na computação de autovalores, falhando em treinar corretamente em muitos casos.

C. Competitividade contra Baselines (O Problema do "SOTA")

• Falha em Superar Métodos Simples: A descoberta mais alarmante foi que a maioria dos métodos baseados em grafos não superou baselines simples e robustas (como ItemKNN, SLIM e GF-CF).
• Caso Amazon-Book: No conjunto de dados Amazon-Book (um dos mais usados), os modelos de passagem de mensagens (incluindo LightGCN) performaram significativamente pior do que métodos simples. Em alguns casos, o LightGCN teve desempenho metade do ItemKNN.
• Otimização Insuficiente: Quando os autores realizaram uma otimização independente de hiperparâmetros para os modelos de grafos, o desempenho melhorou, mas ainda assim raramente superou as baselines simples. Isso sugere que os resultados originais eram otimistas devido a uma falta de ajuste fino adequado e comparação com baselines fracas.
• Exceções: Apenas o modelo GDE (em uma configuração de dados específica e incomum) e, em alguns casos, SimGCL e INMO no conjunto Yelp2018, mostraram-se competitivos.

D. Impacto na Pesquisa Futura (SIGIR 2023)

• A análise dos artigos de 2023 revelou que as práticas problemáticas de 2022 se perpetuaram.
• A comparação direta de resultados entre artigos de 2022 e 2023 é impossível devido à falta de padronização nas divisões de dados e pré-processamento.
• Muitos artigos de 2023 continuam a usar baselines fracas ou não otimizadas, mantendo a ilusão de que os novos métodos de grafos são superiores.

4. Significado e Implicações

Este estudo tem implicações profundas para a comunidade de Sistemas de Recomendação e Recuperação de Informação:

1. Crise de Validade: Muitos resultados publicados em conferências de topo podem não ser válidos devido a erros metodológicos fundamentais (vazamento de dados, divisões incorretas).
2. Estagnação do Campo: A preferência por métodos complexos que não superam soluções simples (como KNN) sugere que o campo pode estar estagnado. A complexidade computacional dos novos métodos não está sendo recompensada por ganhos reais de desempenho.
3. Necessidade de Rigor: É urgente adotar práticas mais rigorosas, incluindo:
   • Divisões de dados padronizadas e transparentes (ex: uso de bibliotecas como ir_datasets).
   • Otimização rigorosa de baselines simples antes de propor novos métodos complexos.
   • Relato transparente de hiperparâmetros e critérios de parada.
   • Publicação de resultados negativos para evitar o viés de confirmação.
4. Revisão por Pares: O processo atual de revisão por pares é insuficiente para detectar esses erros, pois os revisores não têm tempo ou recursos para reexecutar experimentos complexos. Sugere-se a adoção de Registered Reports (relatórios registrados) e ferramentas de revisão aberta.

Conclusão

O artigo conclui que, apesar do avanço tecnológico e do aumento na disponibilidade de código, a qualidade metodológica e a reprodutibilidade dos artigos de RS baseados em grafos no SIGIR 2022 são preocupantemente baixas. A comunidade deve priorizar a robustez experimental e a comparação justa com baselines simples para garantir que o progresso científico seja real e não apenas uma ilusão gerada por práticas experimentais defeituosas.