Resumen Técnico: RELBENCH V2

Declaración del Problema

Las bases de datos relacionales son la abstracción de almacenamiento principal para datos estructurados en sistemas empresariales, científicos y de salud, organizando la información mediante relaciones de clave primaria–clave externa que capturan dependencias estructurales y temporales ricas. Aunque el Aprendizaje Profundo Relacional (RDL) ha surgido como un paradigma para aprender directamente sobre estas bases de datos, tratándolas como grafos heterogéneos para evitar la ingeniería manual de características y el aplanamiento, persiste una necesidad crítica de benchmarks escalables y realistas para evaluar el progreso, especialmente a medida que el campo se desplaza hacia modelos fundamentales relacionales. Los benchmarks existentes a menudo carecen de escala, diversidad en dominios o la capacidad de evaluar tareas más allá de las proyecciones tradicionales construidas mediante consultas SQL.

Metodología y Marco de Trabajo

RELBENCH v2 expande el marco original RELBENCH (Robinson et al., 2024) introduciendo nuevos conjuntos de datos, tipos de tareas novedosos y una integración unificada de benchmarks externos. La metodología central se basa en:

1. Restricciones Temporales y Prevención de Fugas: Todos los conjuntos de datos utilizan cortes fijos de VAL_TIMESTAMP y TEST_TIMESTAMP. Los modelos se entrenan con datos hasta VAL_TIMESTAMP, se validan en filas entre los cortes y se prueban en filas posteriores a TEST_TIMESTAMP. Los datos más allá del corte de prueba permanecen ocultos durante la inferencia para prevenir fugas en el momento de la prueba, utilizando estrategias de muestreo de vecinos temporales (Fey et al., 2024).
2. Arquitectura RDL: El benchmark utiliza una tubería RDL estándar:
   • Codificación: Los datos crudos a nivel de fila se codifican en incrustaciones de nodo iniciales utilizando PyTorch Frame con un modelo tabular ResNet.
   • Muestreo: Se realiza un muestreo de subgrafos consciente del tiempo alrededor de cada nodo de entidad en un tiempo de semilla dado.
   • Agregación: Las incrustaciones se pasan a través de un modelo GraphSAGE heterogéneo con agregación de vecinos basada en suma para actualizar iterativamente las incrustaciones de los nodos.
   • Predicción: Las cabezas específicas de la tarea generan las predicciones finales.
3. Comparaciones de Línea Base: El rendimiento se evalúa frente a líneas base sólidas, principalmente LightGBM (aplicado a características de tablas de entidades crudas o características unidas) y diversas estrategias de agregación (media/mediana global, media/mediana de entidad).

Contribuciones Clave

1. Expansión de Conjuntos de Datos

RELBENCH v2 introduce cuatro nuevos conjuntos de datos relacionales a gran escala, elevando el total a 11 conjuntos de datos que abarcan diversos dominios:

• rel-arxiv: Una base de datos de publicaciones académicas con 222,000 artículos, 1.5 millones de enlaces de citación y relaciones autor-categoría.
• rel-salt: Un conjunto de datos de planificación de recursos empresariales (ERP) de SAP AI Research que modela pedidos de venta, flujos de trabajo y transacciones comerciales.
• rel-ratebeer: Un conjunto de datos de plataforma de consumo con más de dos décadas de interacciones de usuarios, calificaciones de cerveza y reseñas.
• rel-mimic: Un conjunto de datos clínico derivado de registros electrónicos de salud MIMIC-IV, que presenta un desplazamiento de fechas para la privacidad.
• Escala: Los nuevos conjuntos de datos contribuyen con más de 22 millones de filas a través de 29 tablas.

2. Introducción de Tareas de Autocompletado

Una contribución metodológica significativa es la introducción de tareas de autocompletado. A diferencia de las tareas de proyección tradicionales que predicen resultados futuros mediante consultas SQL, las tareas de autocompletado requieren que los modelos infieran valores de atributos faltantes dentro de tablas relacionales existentes en un timestamp dado.

• Mecanismo: Los modelos reciben valores observados para una fila en un tiempo de semilla y deben predecir columnas objetivo utilizando únicamente el contexto relacional y temporal disponible hasta ese momento.
• Control de Fugas: Para prevenir fugas de información, las columnas altamente correlacionadas con el objetivo (por ejemplo, review_text para review-rating) se identifican manualmente y se eliminan basándose en el conocimiento del dominio.
• Tipos: Incluye tanto tareas de clasificación (binaria y multiclase) como de regresión.

3. Integración de Benchmarks Externos

RELBENCH v2 unifica la evaluación integrando marcos externos:

• Temporal Graph Benchmark (TGB): Los flujos de eventos de TGB se traducen a esquemas relacionales (normalizando nodos y aristas en tablas) para permitir una comparación directa entre GNNs temporales y modelos de aprendizaje profundo relacional.
• ReDeLEx: La integración proporciona acceso uniforme a más de 70 bases de datos del mundo real adecuadas para el preentrenamiento.
• 4DBInfer: Incorporación de conjuntos de datos y tareas de 4DBInfer para ampliar la cobertura de evaluación de múltiples tablas y explorar el espacio de diseño 4D (conjuntos de datos, tareas, construcción de grafos, modelos).

Resultados Experimentales

Los resultados experimentales en los nuevos conjuntos de datos y tareas demuestran que los modelos RDL superan consistentemente a las líneas base de tablas únicas (específicamente LightGBM y líneas base de agregación):

• Tareas de Autocompletado: Los modelos RDL superaron significativamente a LightGBM tanto en clasificación binaria como multiclase (por ejemplo, alcanzando ~98% de precisión en item-shippoint en rel-salt frente a ~5% para LightGBM) y en tareas de regresión (valores de $R^2$ más altos). Los resultados destacan que el contexto relacional proporciona señales informativas para predecir atributos faltantes, incluso en presencia de desequilibrio de clases.
• Tareas de Proyección: Los modelos RDL lograron un rendimiento superior en clasificación de entidades (por ejemplo, predicción de author-category en rel-arxiv) y regresión. La tarea multiclase de categoría de autor mostró una brecha masiva, con RDL alcanzando ~50% de precisión en comparación con ~2% para LightGBM, lo que sugiere que las señales relacionales (coautoría, citaciones) son cruciales para la clasificación compleja.
• Tareas de Recomendación: Los modelos basados en GNN (GraphSAGE e ID-GNN) generalmente superaron a líneas base como Visita Pasada y Popularidad Global. ID-GNN, que incorpora explícitamente la identidad del nodo, destacó en configuraciones específicas de entidad, mientras que los modelos GraphSAGE más profundos (4 capas) mostraron un rendimiento mejorado en tareas de razonamiento de múltiples saltos, aunque limitados por restricciones de memoria de GPU.
• Integración TGB: En los conjuntos de datos TGB traducidos, los modelos GraphSAGE relacionales de "evento-como-nodo" rindieron de manera competitiva frente a GraphSAGE de arista proyectada nativa de grafos y líneas base temporales (TGN), con un rendimiento que variaba según la riqueza de las semánticas del evento y la estructura del esquema.

Significancia

El artículo afirma que RELBENCH v2 proporciona un benchmark escalable y realista esencial para el desarrollo y evaluación de sistemas RDL y modelos fundamentales relacionales. Al expandir la escala a más de 22 millones de filas, introducir el paradigma novedoso de autocompletado y unificar benchmarks externos, aborda las limitaciones de evaluaciones anteriores de tablas únicas o a pequeña escala. El rendimiento consistentemente superior de los modelos RDL sobre las líneas base en diversos dominios (académico, empresarial, consumidor, clínico) subraya la importancia de modelar explícitamente la estructura relacional y las dependencias temporales para tareas predictivas. El benchmark sirve como una herramienta fundamental para avanzar el campo hacia modelos fundamentales capaces de razonar sobre datos complejos de múltiples tablas.