Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing

Este artículo examina diez artículos de sistemas de recomendación basados en grafos presentados en SIGIR 2022 y revela graves problemas de reproducibilidad, como prácticas erróneas, inconsistencias en los artefactos y comparaciones engañosas que invalidan la mayoría de sus afirmaciones.

Lo esencial

Imagina que el mundo de la investigación sobre Sistemas de Recomendación (esos algoritmos que te dicen qué película ver en Netflix o qué libro comprar en Amazon) es como una gran carrera de coches de Fórmula 1.

Cada año, en la conferencia más prestigiosa llamada SIGIR, los ingenieros (los investigadores) presentan sus nuevos "coches" (algoritmos) y dicen: "¡Miren! Mi coche es el más rápido, supera a todos los demás y es el futuro de la velocidad".

Este documento es como un reportaje de un mecánico independiente que decide revisar los planos y los coches de los ganadores del año anterior (SIGIR 2022) para ver si realmente son tan rápidos como dicen, o si hay trucos en la pista.

Aquí tienes lo que descubrieron, explicado de forma sencilla:

1. El problema de los "Planos Falsos" (Inconsistencia de Artefactos)

Cuando un investigador publica un papel, debería dejar los "planos" (el código y los datos) para que cualquiera pueda construir el mismo coche.

• Lo que encontraron: En el 90% de los casos, los planos estaban disponibles (¡buenas noticias!). Pero, ¡ojo! A menudo, los planos no coincidían con la descripción del coche.
• La analogía: Es como si un fabricante de coches dijera: "Mi coche tiene un motor V8", pero cuando abres el capó, hay un motor de patineta o el motor tiene un cable suelto que no mencionaron.
• El error grave: Muchos usaron "pistas de carreras" (datos) que estaban trucadas. Por ejemplo, dividieron los datos de entrenamiento y prueba de tal manera que el coche "memorizó" la respuesta antes de empezar a correr. Es como si en una prueba de conducción, el conductor ya supiera dónde están los obstáculos porque se los mostraron antes de la carrera.

2. El "Truco del Espectador" (Filtración de Información)

Uno de los errores más comunes fue usar los datos de la "prueba final" para ayudar a entrenar al modelo.

• La analogía: Imagina que estás estudiando para un examen. El profesor te da el examen final (la prueba) y te dice: "Usa estas respuestas para estudiar". Luego, te pone el mismo examen y tú sacas un 100%. ¿Eres un genio? No, solo hiciste trampa.
• El hallazgo: Varios algoritmos "ganadores" estaban haciendo exactamente esto. Al usar la información de la prueba para ajustar sus parámetros, parecían muy inteligentes, pero en realidad solo estaban adivinando lo que ya habían visto.

3. La Carrera contra los "Coches de Chapa" (Baselines Débiles)

Para saber si un coche es rápido, debes compararlo con otros coches rápidos.

• Lo que encontraron: Muchos investigadores compararon sus nuevos y complejos algoritmos (sus "coches de F1") contra coches muy simples y viejos (como un Fiat 500 o una bicicleta) que no estaban bien ajustados.
• La analogía: Es como si un piloto de F1 dijera: "¡Gané la carrera!" porque corrió más rápido que un niño en una bicicleta. Pero si hubiera corrido contra otro F1, habría perdido.
• El resultado: Cuando los autores de este estudio tomaron esos mismos algoritmos y los compararon con métodos simples pero bien ajustados (como un buen coche de turismo), ¡la mayoría de los "ganadores" de SIGIR 2022 perdieron estrepitosamente! Especialmente en un dataset muy famoso (Amazon-Book), los algoritmos complejos funcionaron mucho peor que los métodos simples.

4. La Torre de Babel (Falta de Comparabilidad)

Intentaron ver si los trabajos de 2023 (el año siguiente) estaban mejorando sobre los de 2022.

• El problema: Cada investigador usó una receta de cocina diferente para preparar los datos. Uno cortó las verduras en cubos, otro en rodajas, otro las hirvió antes.
• La analogía: Es imposible comparar dos platos si uno es una "ensalada de tomate" y el otro es una "sopa de tomate". Aunque ambos usan tomate, no puedes decir cuál es mejor porque son platos totalmente distintos.
• La conclusión: No se puede comparar el progreso de la ciencia en este campo porque nadie usa las mismas reglas. Es como si cada corredor usara una pista diferente con diferentes condiciones de clima.

5. El Costo de la "Fórmula 1" (Recursos Computacionales)

Los nuevos algoritmos son tan pesados y complejos que requieren superordenadores para funcionar.

• La analogía: Los investigadores están construyendo cohetes para ir a Marte, pero la mayoría de los laboratorios universitarios solo tienen bicicletas para moverse.
• El problema: Si un método requiere un ordenador que cuesta millones de dólares para probarlo, nadie más puede verificar si funciona. Esto crea una ciencia que no es reproducible porque pocos tienen los recursos para intentar copiar los experimentos.

En Resumen: ¿Qué nos dice este estudio?

El estudio es una llamada de atención necesaria. Dice que, aunque hay mucho entusiasmo y muchos papers nuevos, la comunidad científica está cayendo en malas prácticas:

1. Trucos en los datos: Usando divisiones de datos incorrectas.
2. Comparaciones injustas: Ganando contra oponentes débiles.
3. Falta de transparencia: No explicando bien cómo se entrenaron los modelos.

La moraleja: La ciencia avanza cuando podemos verificar los resultados. Si no podemos reproducir los experimentos o si los "ganadores" solo ganan porque las reglas estaban trucadas, entonces no estamos avanzando realmente, solo estamos dando vueltas en círculos.

El estudio pide que los investigadores sean más honestos, usen comparaciones justas (coches de F1 contra F1, no contra bicicletas) y dejen los planos claros para que todos puedan verificar la verdad. Solo así la tecnología de recomendación mejorará de verdad para todos nosotros.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing", presentado en español.

1. El Problema

El campo de los Sistemas de Recomendación (RS), especialmente aquellos basados en técnicas de grafos y redes neuronales (como las que utilizan message passing o paso de mensajes), enfrenta una crisis de reproducibilidad. A pesar del auge de estas técnicas en conferencias de alto nivel como SIGIR 2022 y 2023, existe una preocupación creciente sobre:

• Inconsistencia de Artículos: Discrepancias entre lo que se describe en el papel y los artefactos reales (código y datos) proporcionados.
• Prácticas Metodológicas Deficientes: Errores en la división de datos (data splits), fugas de información (information leakage) entre conjuntos de entrenamiento y prueba, y optimización insuficiente de los baselines (líneas base).
• Falsa Mejora del Estado del Arte: La tendencia a comparar nuevos métodos complejos contra baselines simples o mal optimizados, creando la ilusión de progreso continuo cuando, en realidad, los métodos propuestos a menudo son inferiores a enfoques más simples.
• Impacto en la Investigación Futura: La propagación de estos errores y prácticas deficientes en trabajos posteriores (SIGIR 2023), dificultando la comparación válida de resultados.

2. Metodología

Los autores realizaron un estudio exhaustivo de reproducibilidad y consistencia de artefactos siguiendo los siguientes pasos:

• Selección de Muestra: Analizaron 10 artículos presentados en SIGIR 2022 que proponen técnicas de RS basadas en grafos y paso de mensajes (incluyendo LightGCN, SimGCL, HCCF, RGCF, etc.). También analizaron cualitativamente 11 artículos de SIGIR 2023 que utilizaron estos trabajos como líneas base.
• Análisis de Consistencia de Artefactos:
  • Verificaron la disponibilidad del código fuente y los datos.
  • Inspeccionaron manualmente el código para detectar anomalías en las divisiones de datos (comparando distribuciones de popularidad de ítems entre entrenamiento y prueba).
  • Detectaron fugas de información (ej. uso de datos de prueba para la parada temprana o early-stopping).
• Reproducción de Resultados:
  • Ejecutaron los códigos originales utilizando los mismos datos y configuraciones.
  • Corrigieron errores metodológicos identificados (ej. re-dividir datos correctamente, aplicar parada temprana en el conjunto de validación en lugar de prueba).
  • Implementaron un marco de evaluación unificado para garantizar la consistencia.
• Evaluación de Competitividad:
  • Compararon los métodos analizados contra un conjunto robusto de 21 líneas base (desde KNN clásico hasta modelos de factorización matricial y autoencoders variacionales como MultVAE).
  • Realizaron una optimización independiente de hiperparámetros (búsqueda bayesiana) para todos los métodos en dos conjuntos de datos clave (Amazon-Book y Yelp2018) para eliminar el sesgo de una optimización deficiente.
• Criterio de Éxito: Consideraron un resultado "reproducido" si la diferencia relativa en las métricas de efectividad era menor al 2% respecto a los valores originales.

3. Contribuciones Clave

• Identificación de Errores Sistémicos: Documentaron evidencia concreta de divisiones de datos erróneas (no aleatorias o con sesgos de popularidad) y fugas de información en múltiples artículos de alto perfil.
• Evaluación de Baselines Robustos: Demostraron que la mayoría de los métodos de "paso de mensajes" (GNNs) no superan a líneas base simples y bien optimizadas (como ItemKNN, SLIM o MultVAE), especialmente en el conjunto de datos Amazon-Book.
• Análisis de Impacto en SIGIR 2023: Revelaron que los errores y la falta de estandarización en los protocolos de evaluación de SIGIR 2022 se han propagado a SIGIR 2023, haciendo imposible comparar resultados entre artículos incluso cuando usan los mismos conjuntos de datos.
• Propuesta de Mejoras: Abogan por la adopción de Registered Reports, una documentación más rigurosa de artefactos, el uso de líneas base simples pero robustas, y la publicación de resultados negativos.

4. Resultados Principales

• Reproducibilidad Baja:
  • Solo 5 de los 10 artículos pudieron ser reproducidos parcialmente (algunos resultados).
  • La tasa de reproducción varió drásticamente entre el 0% y el 66% dependiendo del método.
  • Un artículo (HAKG) fue completamente irreproducible debido a requisitos computacionales excesivos y falta de instrucciones claras.
• Inconsistencia de Artefactos:
  • Aunque el 90% de los artículos proporcionaron código, 5 de ellos tenían divisiones de datos inconsistentes con la descripción del papel (ej. LightGCN, SimGCL, HAKG, GTN, KGCL).
  • En varios casos, el código utilizaba datos de prueba para la selección de hiperparámetros (early-stopping), inflando artificialmente los resultados.
• Competitividad Débil:
  • Amazon-Book: La mayoría de los métodos de paso de mensajes (incluido LightGCN) tuvieron un rendimiento significativamente peor que las líneas base simples (ItemKNN, SLIM). En algunos casos, el rendimiento de los GNNs fue la mitad o menos que el de un KNN simple.
  • Yelp2018: Algunos métodos (como SimGCL e INMO) mostraron cierta competitividad, pero a menudo dependían de divisiones de datos erróneas o de una optimización deficiente de los baselines originales.
  • Optimización Independiente: Cuando se optimizaron los hiperparámetros de forma independiente, la brecha de rendimiento entre los métodos GNN y las líneas base se redujo, pero rara vez se invirtió a favor de los GNNs. Esto sugiere que la "superioridad" reportada en los artículos originales se debía a una optimización deficiente de los baselines y no a la superioridad intrínseca del modelo.
• Impacto en SIGIR 2023:
  • Los artículos de 2023 que usaron estos trabajos como base no pudieron compararse directamente debido a la falta de protocolos estandarizados (diferentes preprocesamientos, divisiones de datos y métricas).
  • Se perpetuó el uso de baselines débiles y la falta de transparencia en la optimización.

5. Significancia e Implicaciones

Este estudio es una advertencia crítica para la comunidad de Recuperación de Información (IR) y Sistemas de Recomendación:

1. Crisis de Validez: Muchos resultados publicados en conferencias de primer nivel podrían ser inválidos debido a errores metodológicos no detectados (fugas de datos, divisiones erróneas).
2. Estancamiento del Campo: La práctica de comparar métodos complejos contra baselines débiles crea una "carrera de líderes" (leaderboard chasing) ilusoria, donde el estado del arte parece mejorar pero en realidad se estanca o retrocede.
3. Necesidad de Rigor: Se requiere un cambio cultural hacia:
   • Documentación exhaustiva de artefactos (código, datos, scripts de preprocesamiento).
   • Uso obligatorio de líneas base robustas y bien optimizadas.
   • Transparencia total en la selección de hiperparámetros y división de datos.
   • Valoración de los resultados negativos para entender las limitaciones de los modelos.
4. Revisión por Pares: El estudio sugiere que la revisión por pares actual no puede verificar la reproducibilidad debido a la carga de trabajo y la falta de recursos computacionales, proponiendo modelos como Registered Reports para asegurar la rigurosidad metodológica antes de la ejecución de experimentos.

En conclusión, el artículo demuestra que, sin un cambio fundamental en las prácticas de evaluación y publicación, el campo de los Sistemas de Recomendación basados en grafos corre el riesgo de generar investigación no reproducible y de poco valor práctico.