Resumo Técnico: Rumo a Modelos de Fundação para Bancos de Dados Relacionais com Modelos de Linguagem e Redes Neurais Gráficas

Declaração do Problema

Bancos de dados relacionais (RDBs) armazenam uma vasta quantidade de informações estruturadas do mundo, mas o progresso do aprendizado profundo nesse tipo de dado permanece limitado. Abordagens convencionais tipicamente achatam bancos de dados multi-tabela em tabelas únicas por meio de engenharia de características manual (junções e agregações). Esse processo é intensivo em mão de obra, propenso a erros e, criticamente, descarta o contexto relacional codificado pelos links de chaves primárias-estrangeiras.

Embora o Aprendizado Profundo Relacional (RDL) aborde isso ao modelar bancos de dados como Grafos de Entidade Relacionais (REGs) para Redes Neurais Gráficas (GNNs), os modelos RDL existentes são geralmente específicos de tarefas e de bancos de dados, carecendo de representações transferíveis. Por outro lado, modelos de fundação relacionais recentes (por exemplo, Griffin, KumoRFM) mostram promessa, mas são frequentemente intensivos computacionalmente e complexos, dificultando a adoção generalizada. Há uma necessidade de uma arquitetura leve e acessível que combine a compreensão semântica de Modelos de Linguagem (LMs) com o raciocínio estrutural de GNNs para servir como base para aprendizado relacional de propósito geral.

Metodologia

Os autores propõem uma arquitetura híbrida que integra um Modelo de Linguagem (BART) ajustado finamente com uma Rede Neural Gráfica (GraphSAGE) operando sobre REGs. O framework segue um pipeline de duas etapas:

1. Arquitetura

• Semântica em Nível de Linha (Codificador BART): Linhas do banco de dados são linearizadas em sequências conscientes de esquema (por exemplo, <tabela> Nome da Tabela <atributo> Nome do Atributo <valor> Valor). Um modelo BART pré-treinado é ajustado finamente nessas sequências para capturar semântica intra-linha. A saída é um embedding de 1024 dimensões por linha, servindo como características iniciais dos nós para o grafo.
• Contexto Relacional (GNN GraphSAGE): O banco de dados é representado como um REG heterogêneo onde os nós são linhas e as arestas representam relações de chaves primárias-estrangeiras. Um modelo HeteroGraphSAGE (implementado via PyTorch Geometric) processa esses nós. Emprega camadas lineares específicas por tipo de nó para projetar embeddings BART em um espaço oculto (256 dimensões) e camadas SAGEConv compartilhadas para realizar passagem de mensagens através de tipos de arestas.
• Saída: A GNN enriquece os embeddings iniciais com contexto relacional, produzindo um vetor de 1024 dimensões para reconstrução durante o pré-treinamento ou um vetor de 256 dimensões para tarefas subsequentes.

2. Estratégia de Pré-treinamento

O modelo é pré-treinado usando objetivos auto-supervisionados em seis bancos de dados RelBench (excluindo o conjunto de teste):

• Etapa BART: Ajustado finamente usando uma estratégia de mascaramento consciente de esquema. Nomes de tabelas, nomes de atributos e valores de células são mascarados com probabilidades específicas (0,30, 0,20 e 0,40, respectivamente) para forçar o modelo a reconstruir a sequência original.
• Etapa GNN: Treinado com um objetivo de reconstrução de valor mascarado. Dimensões de características aleatórias são mascaradas, e o modelo deve inferi-las por meio de passagem de mensagens a partir de vizinhos. A função de perda é uma combinação ponderada de Erro Cosseno Escalado e Erro Quadrático Médio (MSE), priorizando o alinhamento direcional ($\alpha=0,7$).

3. Adaptação para Tarefas Subsequentes

Para tarefas subsequentes (por exemplo, classificação de nós), o framework constrói um novo REG para o banco de dados alvo. As linhas são codificadas pelo modelo BART pré-treinado, e as camadas SAGEConv compartilhadas são transferidas. Dois modos de adaptação são testados:

• Congelado: Apenas novas camadas lineares específicas por tipo de nó e o cabeçalho de previsão são treinados.
• Ajuste Fino: As camadas SAGEConv transferidas são atualizadas conjuntamente com o cabeçalho de previsão.

Principais Contribuições

1. Arquitetura Híbrida Inovadora: O artigo introduz uma integração perfeita de um codificador BART pré-treinado e uma GNN baseada em GraphSAGE. Este design captura semântica intra-linha profunda enquanto as enriquece com contexto relacional estrutural via passagem de mensagens.
2. Avaliação Empírica Sistemática: Os autores avaliam a arquitetura no benchmark RelBench, especificamente na tarefa de classificação de nós driver-dnf no conjunto de dados rel-f1.
3. Ablação e Análise: Estudos de ablação extensivos demonstram que a GNN é crítica para o desempenho. O estudo destaca que, embora o BART forneça características semânticas fortes, ele falha sem contexto relacional, e embeddings aleatórios falham sem pré-treinamento semântico.
4. Roteiro Estratégico: O artigo delineia direções futuras para modelos de fundação relacionais, incluindo treinamento conjunto LM-GNN e escalabilidade para bancos de dados diversos.

Resultados

Os experimentos foram conduzidos na tarefa driver-dnf (prever se um piloto não terminará uma corrida) usando o conjunto de dados rel-f1.

• Desempenho: O modelo híbrido ajustado finamente alcançou um ROC-AUC de 67,40.
• Comparação com Baselines:
  • Métodos Supervisionados: O resultado é competitivo com LightGBM (68,86) e engenharia de características manual por cientistas de dados (69,80).
  • RDL: Reduz a lacuna para a baseline RDL totalmente supervisionada, específica por banco de dados (72,62) para dentro de 5,22 pontos.
  • Modelos de Fundação:
    • Supera a variante Griffin pré-treinada (59,64) no cenário congelado (61,40), demonstrando o valor do pré-treinamento em estruturas relacionais em vez de apenas tabelas únicas.
    • Permanece abaixo do estado da arte KumoRFM (82,63), o que os autores atribuem à maior escala do KumoRFM, transformadores de grafos avançados e recursos comerciais.
• Insights de Ablação:
  • BART + GNN (Ajuste Fino): 67,40 (Melhor)
  • BART + GNN (Congelado): 61,40
  • Apenas BART (Sem GNN): 43,90 (Queda significativa, indicando que o cabeçalho MLP não pode compensar a falta de contexto relacional).
  • Embeddings Aleatórios + GNN (Ajuste Fino): 58,00 (Confirma o valor semântico do BART).

Significado e Alegações

O artigo postula que arquiteturas híbridas leves LM-GNN oferecem um caminho promissor e eficiente em recursos rumo a modelos de fundação para bancos de dados relacionais.

• Ponte da Lacuna: Os resultados sugerem que tais modelos híbridos podem efetivamente fechar a lacuna entre métodos supervisionados tradicionais e modelos RDL complexos e específicos de banco de dados, sem exigir os recursos computacionais massivos dos atuais modelos de fundação comerciais.
• Contexto Relacional é Crítico: O estudo enfatiza que a passagem de mensagens estrutural é essencial; embeddings semânticos isolados (BART) são insuficientes para tarefas relacionais, e a capacidade da GNN de propagar estrutura semântica latente é o que impulsiona os ganhos de desempenho.
• Alegações Moderadas: Os autores reconhecem que seu framework ainda não é um "verdadeiro" modelo de fundação relacional. Limitações incluem a escala de pré-treinamento relativamente pequena (100 mil linhas para BART, 6 bancos de dados para GNN), o pipeline de treinamento sequencial (não conjunto) e a avaliação em uma única tarefa subsequente. Eles enquadram seu trabalho como uma prova de conceito que valida o paradigma híbrido e identifica direções de pesquisa chave (por exemplo, treinamento conjunto, escalabilidade) necessárias para transformar o framework em um modelo de fundação robusto.