Resumo Técnico: PLUREL – Dados Sintéticos Desbloqueiam Leis de Escalonamento para Modelos de Fundação Relacionais

1. Definição do Problema

Os Modelos de Fundação Relacionais (RFMs) visam facilitar a tomada de decisão baseada em dados ao aprender com bancos de dados multi-tabelas complexos. Embora os Modelos de Fundação (FMs) para texto, imagem e vídeo tenham alcançado um sucesso notável por meio de pré-treinamento em larga escala, os RFMs enfrentam um gargalo crítico: a escassez de bancos de dados relacionais multi-tabelas diversos e públicos. Dados empresariais do mundo real são tipicamente inacessíveis devido a restrições de privacidade e confidencialidade comercial.

Métodos existentes de geração de dados sintéticos para dados tabulares focam primariamente na geração de tabela única usando Modelos Causais Estruturais (SCMs). No entanto, essas abordagens falham em capturar as complexidades essenciais de bancos de dados relacionais, especificamente a conectividade entre chave primária e chave estrangeira (P→F) entre linhas em diferentes tabelas. Essa conectividade determina a localidade da informação e molda as distribuições conjuntas de dados que os RFMs devem aprender. Além disso, as técnicas atuais de geração de dados relacionais (ex: GANs, modelos de difusão) frequentemente dependem de exemplos existentes do mundo real para reproduzir propriedades estatísticas, em vez de gerar esquemas e estruturas inéditos do zero. Consequentemente, os RFMs atuais são treinados em conjuntos de dados limitados e não diversos (ex: apenas alguns bancos de dados do RelBench), dificultando a realização das leis de escalonamento e a generalização robusta.

2. Metodologia: O Framework PLUREL

Os autores introduzem o PLUREL, um framework leve projetado para sintetizar bancos de dados relacionais multi-tabulares do zero. O PLUREL opera através de três estágios distintos de abstração para modelar as propriedades estruturais e estatísticas dos dados relacionais:

Estágio 1: Geração de Esquema via Grafos Direcionados

O esquema do banco de dados é modelado como um grafo acíclico direcionado (DAG), $G$, onde os nós representam tabelas e as arestas direcionadas representam a conectividade entre tabelas.

• Amostragem de Grafo: $G$ é amostrado de uma família de DAGs aleatórios, incluindo Barabasi-Albert (modelando tabelas hub), Árvore Aleatória Reversa (modelando hierarquias estritas) e Watts-Strogatz (modelando agrupamentos locais).
• Classificação de Tabelas: As tabelas são particionadas em tabelas de entidade (nós com grau de saída $\ge 1$) e tabelas de atividade (nós restantes).
• Metadados: O número de linhas e colunas de atributos para cada tabela é amostrado independentemente de distribuições específicas. Uma ordenação topológica de $G$ dita a sequência de geração, garantindo que as tabelas pai sejam sintetizadas antes de suas tabelas filhas.

Estágio 2: Geração de Chave Estrangeira via Grafos Bipartidos

Este estágio popula as colunas de chave estrangeira modelando a conectividade ao nível de linha entre tabelas pai e filha.

• Agrupamento Hierárquico: As linhas tanto na tabela pai ($\tilde{T}$) quanto na tabela filha ($T$) são agrupadas em uma hierarquia de blocos usando um Modelo de Bloco Estocástico Hierárquico (HSBM).
• Probabilidades de Conectividade: Uma matriz de probabilidade por nível $P^{[l]}$ determina a probabilidade de uma linha em $\tilde{T}$ se conectar a uma linha em $T$. Isso permite padrões de conectividade flexíveis, variando de uma distribuição uniforme a clusters altamente localizados, imitando as relações de dados hierárquicos do mundo real.

Estágio 3: Geração de Atributos via Modelos Causais Estruturais (SCMs)

Uma vez estabelecidos o esquema e a conectividade, os valores das células são gerados usando SCMs.

• Grafos Causais: Cada tabela é associada a um SCM definido por um grafo causal $C_T$. Os nós representam variáveis e as arestas codificam relações de causa e efeito.
• Geração Condicional: Os valores dos atributos são gerados propagando os valores através do grafo causal. Para tabelas com chaves estrangeiras, o mecanismo SCM incorpora nós de atributos de tabelas pai, permitindo que as linhas filhas dependam de linhas pai específicas.
• Padrões Temporais: Para capturar correlações temporais, as entradas exógenas para nós de origem são modeladas como uma combinação de componentes de tendência (lei de potência), ciclo (senoidal) e flutuação (ruído Gaussiano). Isso evita a suposição irrealista de que linhas que compartilham chaves estrangeiras são independentes e identicamente distribuídas (i.i.d.).
• Tipos de Dados: O framework suporta atributos numéricos e categóricos, com mecanismos para projetar e reconstruir valores em espaços latentes compartilhados usando Perceptrons de Camada Multicamadas (MLPs).

de 3. Contribuições Principais

1. Um Novo Framework de Dados Sintéticos: O PLUREL é o primeiro framework a sintetizar bancos de dados relacionais multi-tabulares do zero, modelando explicitamente a estrutura do esquema, a conectividade de chave primária–chave estrangeira e as distribuições condicionais de atributos.
2. Descoberta de Leis de Escalonamento para RFMs: Ao remover o gargalo de dados, os autores realizam a primeira análise de escalonamento para RFMs em dois eixos: diversidade (número de bancos de dados sintéticos, $N$) e tamanho (total de tokens de pré-treinamento, $S$).
3. Validação de Escalonamento de Lei de Potência: O estudo demonstra que a perda de pré-treinamento exibe uma dependência de lei de potência em relação a ambos $N$ e $S$, desde que nenhum dos eixos atue como um gargalo.
4. Generalização Aprimorada: O artigo mostra que o pré-treinamento sintético melhora a generalização zero-shot para bancos de dados do mundo real e serve como uma base robusta para o pré-treinamento contínuo em dados reais.

4. Resultados Experimentais

Os autores pré-treinam um Transformer Relacional (RT) em bilhões de tokens gerados pelo PLUREL e avaliam o desempenho no benchmark RelBench (6 conjuntos de dados reais, 18 tarefas).

• Leis de Escalonamento:
  • Escalonamento de Perda: A perda de validação segue uma lei de potência em relação ao número de bancos de dados sintéticos ($N$) e ao tamanho do conjunto de dados ($S$).
  • Interação de Eixos: Escalar $N$ com um $S$ fixo leva ao subajuste (underfitting), enquanto escalar $S$ com um $N$ fixo leva ao sobreajuste (overfitting). O desempenho ideal requer o escalonamento de ambos os eixos em conjunto.
• Generalização Zero-Shot:
  • Modelos pré-treinados em conjuntos de dados sintéticos maiores e mais diversos mostram melhor desempenho zero-shot em tarefas do mundo real não vistas em comparação com modelos treinados em conjuntos sintéticos menores ou apenas em dados reais.
• Pré-treinamento Contínuo:
  • Sintético + Real: O pré-treinamento nos dados do PLUREL seguido de pré-treinamento contínuo em dados reais produz os melhores resultados.
  • Ganhos de Desempenho: Esta abordagem alcança um ganho absoluto médio de +1,2% em AUROC (classificação) e +3,0% em R² (regressão) sobre modelos treinados apenas em dados reais.
  • Melhorias em Tarefas Específicas: Ganhos significativos são observados em tarefas de regressão (ex: +5,2% em item-LTV) e tarefas de classificação baseadas em comportamento (ex: +7,4% em user-engage).
  • Limitações: O pré-treinamento "apenas sintético" geralmente apresenta desempenho inferior ao "apenas real" ou "sintético + real", indicando que, embora os dados sintéticos forneçam uma base forte, o pré-treinamento contínuo em dados reais é crítico para o alinhamento de distribuição, particularmente para tarefas que exigem semântica específica de colunas.

5. Significância e Alegações

O artigo posiciona o PLUREL como uma mudança de paradigma para o desenvolvimento de Modelos de Fundação Relacionais. Sua principal significância reside em desbloquear o escalonamento de dados para RFMs, um campo anteriormente limitado pela falta de dados relacionais públicos e diversos.

• Desenvolvimento Preservador de Privacidade: O PLUREL permite a criação de bancos de dados relacionais ilimitados e diversos sem depender de dados sensíveis do mundo real, abordando barreiras de privacidade e confidencialidade.
• Fundação para Leis de Escalonamento: O trabalho estabelece que os RFMs, assim como os modelos de linguagem e visão, seguem leis de escalonamento onde o desempenho melhora previsivelmente com o aumento da diversidade e do tamanho dos dados.
• Pré-treinamento Sinérgico: Os resultados sugerem uma relação sinérgica onde o pré-treinamento sintético atua como um inicializador poderoso, melhorando a capacidade do modelo de aprender com dados subsequentes do mundo real, thereby acelerando o desenvolvimento de próxima geração de RFMs para aplicações empresariais.

Os autores concluem que, embora os dados sintéticos sozinhos sejam insuficientes para uma transferência zero-shot robusta devido à falta de semântica específica de colunas, eles são um componente necessário e poderoso para construir modelos de fundação relacionais escaláveis e generalizáveis.