Resumo Técnico: RELBENCH V2

Declaração do Problema

Os bancos de dados relacionais são a abstração de armazenamento primária para dados estruturados em sistemas empresariais, científicos e de saúde, organizando informações por meio de relacionamentos chave primária–chave estrangeira que capturam dependências estruturais e temporais ricas. Embora o Aprendizado Profundo Relacional (RDL) tenha surgido como um paradigma para aprendizado direto nesses bancos de dados — tratando-os como grafos heterogêneos para evitar engenharia de características manual e achatamento —, persiste uma necessidade crítica de benchmarks escaláveis e realistas para avaliar o progresso, particularmente à medida que o campo se desloca em direção a modelos fundamentais relacionais. Os benchmarks existentes frequentemente carecem de escala, diversidade em domínios ou a capacidade de avaliar tarefas além de previsões tradicionais construídas por meio de consultas SQL.

Metodologia e Framework

O RELBENCH v2 expande o framework RELBENCH original (Robinson et al., 2024) introduzindo novos conjuntos de dados, tipos de tarefas inovadores e uma integração unificada de benchmarks externos. A metodologia central baseia-se em:

1. Restrições Temporais e Prevenção de Vazamento: Todos os conjuntos de dados utilizam cortes fixos VAL_TIMESTAMP e TEST_TIMESTAMP. Os modelos são treinados com dados até o VAL_TIMESTAMP, validados em linhas entre os cortes e testados em linhas após o TEST_TIMESTAMP. Dados além do corte de teste são ocultados durante a inferência para prevenir vazamento no momento do teste, utilizando estratégias de amostragem de vizinhos temporais (Fey et al., 2024).
2. Arquitetura RDL: O benchmark utiliza um pipeline RDL padrão:
   • Codificação: Dados brutos em nível de linha são codificados em embeddings de nós iniciais usando PyTorch Frame com um modelo tabular ResNet.
   • Amostragem: Amostragem de subgrafos consciente do tempo é realizada ao redor de cada nó de entidade em um tempo de semente dado.
   • Agregação: Os embeddings são passados por um modelo GraphSAGE heterogêneo com agregação de vizinhos baseada em soma para atualizar iterativamente os embeddings dos nós.
   • Previsão: Cabeças específicas da tarefa geram previsões finais.
3. Comparações de Baseline: O desempenho é avaliado contra baselines robustas, principalmente LightGBM (aplicado a características brutas de tabelas de entidades ou características unidas) e várias estratégias de agregação (média/mediana global, média/mediana de entidade).

Contribuições Principais

1. Expansão de Conjuntos de Dados

O RELBENCH v2 introduz quatro novos conjuntos de dados relacionais em grande escala, elevando o total para 11 conjuntos de dados abrangendo domínios diversos:

• rel-arxiv: Um banco de dados de publicações acadêmicas com 222.000 artigos, 1,5 milhão de links de citação e relacionamentos autor-categoria.
• rel-salt: Um conjunto de dados de planejamento de recursos empresariais (ERP) da SAP AI Research modelando pedidos de venda, fluxos de trabalho e transações comerciais.
• rel-ratebeer: Um conjunto de dados de plataforma de consumo com mais de duas décadas de interações de usuários, classificações de cerveja e avaliações.
• rel-mimic: Um conjunto de dados clínico derivado de registros eletrônicos de saúde MIMIC-IV, apresentando deslocamento de datas para privacidade.
• Escala: Os novos conjuntos de dados contribuem com mais de 22 milhões de linhas distribuídas em 29 tabelas.

2. Introdução de Tarefas de Autocompletar

Uma contribuição metodológica significativa é a introdução de tarefas de autocompletar. Diferentemente das tarefas tradicionais de previsão que preveem resultados futuros por meio de consultas SQL, as tarefas de autocompletar exigem que os modelos inferam valores de atributos ausentes dentro de tabelas relacionais existentes em um determinado timestamp.

• Mecanismo: Os modelos recebem valores observados para uma linha em um tempo de semente e devem prever colunas-alvo usando apenas o contexto relacional e temporal disponível até aquele momento.
• Controle de Vazamento: Para prevenir vazamento de informações, colunas altamente correlacionadas com o alvo (por exemplo, review_text para review-rating) são identificadas manualmente e removidas com base no conhecimento de domínio.
• Tipos: Inclui tanto tarefas de classificação (binária e multiclasse) quanto de regressão.

3. Integração de Benchmarks Externos

O RELBENCH v2 unifica a avaliação integrando frameworks externos:

• Temporal Graph Benchmark (TGB): Fluxos de eventos do TGB são traduzidos em esquemas relacionais (normalizando nós e arestas em tabelas) para permitir comparação direta entre GNNs temporais e modelos de aprendizado profundo relacional.
• ReDeLEx: A integração fornece acesso uniforme a mais de 70 bancos de dados do mundo real adequados para pré-treinamento.
• 4DBInfer: Incorporação de conjuntos de dados e tarefas do 4DBInfer para ampliar a cobertura de avaliação de múltiplas tabelas e explorar o espaço de design 4D (conjuntos de dados, tarefas, construção de grafos, modelos).

Resultados Experimentais

Os resultados experimentais nos novos conjuntos de dados e tarefas demonstram que os modelos RDL superam consistentemente as baselines de tabela única (especificamente LightGBM e baselines de agregação):

• Tarefas de Autocompletar: Os modelos RDL superaram significativamente o LightGBM tanto na classificação binária quanto multiclasse (por exemplo, alcançando ~98% de precisão em item-shippoint em rel-salt versus ~5% para LightGBM) e em tarefas de regressão (maiores valores de $R^2$). Os resultados destacam que o contexto relacional fornece sinais informativos para prever atributos ausentes, mesmo na presença de desequilíbrio de classes.
• Tarefas de Previsão: Os modelos RDL alcançaram desempenho superior na classificação de entidades (por exemplo, previsão de author-category em rel-arxiv) e regressão. A tarefa multiclasse de categoria de autor mostrou uma lacuna massiva, com RDL alcançando ~50% de precisão comparado a ~2% para LightGBM, sugerindo que sinais relacionais (coautoria, citações) são cruciais para classificação complexa.
• Tarefas de Recomendação: Modelos baseados em GNN (GraphSAGE e ID-GNN) geralmente superaram baselines como Visita Anterior e Popularidade Global. O ID-GNN, que incorpora explicitamente a identidade do nó, destacou-se em configurações específicas de entidade, enquanto modelos GraphSAGE mais profundos (4 camadas) mostraram desempenho aprimorado em tarefas de raciocínio multi-hop, embora limitados por restrições de memória da GPU.
• Integração TGB: Em conjuntos de dados TGB traduzidos, modelos GraphSAGE relacionais "evento-como-nó" performaram competitivamente contra modelos GraphSAGE de aresta projetada nativos de grafos e baselines temporais (TGN), com desempenho variando conforme a riqueza da semântica do evento e a estrutura do esquema.

Significado

O artigo afirma que o RELBENCH v2 fornece um benchmark escalável e realista essencial para o desenvolvimento e avaliação de sistemas RDL e modelos fundamentais relacionais. Ao expandir a escala para mais de 22 milhões de linhas, introduzir o novo paradigma de autocompletar e unificar benchmarks externos, ele aborda as limitações de avaliações anteriores de tabela única ou em pequena escala. A superação consistente dos modelos RDL sobre as baselines em diversos domínios (acadêmico, empresarial, consumidor, clínico) sublinha a importância de modelar explicitamente a estrutura relacional e as dependências temporais para tarefas preditivas. O benchmark serve como uma ferramenta fundamental para avançar o campo em direção a modelos fundamentais capazes de raciocinar sobre dados complexos e de múltiplas tabelas.