Resumen Técnico: PLUREL – Los datos sintéticos desbloquean las leyes de escalado para los modelos fundacionales relacionales

1. Planteamiento del problema

Los Modelos Fundacionales Relacionales (RFM, por sus siglas en inglés) buscan facilitar la toma de decisiones basada en datos mediante el aprendizaje de bases de datos multi-tabla complejas. Si bien los Modelos Fundacionales (FM) para texto, imagen y video han alcanzado un éxito notable mediante el preentrenamiento a gran escala, los RFM enfrentan un cuello de botella crítico: la escasez de bases de datos relacionales diversas y públicas. Los datos empresariales del mundo real son típicamente inaccesibles debido a restricciones de privacidad y confidencialidad comercial.

Los métodos existentes de generación de datos sintéticos para datos tabulares se centran principalmente en la generación de una sola tabla utilizando Modelos Causales Estructurales (SCM). Sin embargo, estos enfoques no logran capturar las complejidades esenciales de las bases de datos relacionales, específicamente la conectividad de clave primaria–clave foránea (P→F) entre filas de diferentes tablas. Esta conectividad determina la localidad de la información y da forma a las distribuciones conjuntas de datos que los RFM deben aprender. Además, las técnicas actuales de generación de datos relacionales (por ejemplo, GAN o modelos de difusión) suelen depender de ejemplos existentes del mundo real para reproducir propiedades estadísticas, en lugar de generar esquemas y estructuras novedosas desde cero. En consecuencia, los RFM actuales se entrenan en conjuntos de datos limitados y no diversos (por ejemplo, solo unas pocas bases de datos de RelBench), lo que impide la realización de las leyes de escalado y una generalización robusta.

2. Metodología: El marco PLUREL

Los autores presentan PLUREL, un marco ligero diseñado para sintetizar bases de datos relacionales multi-tabulares desde cero. PLUREL opera a través de tres etapas distintas de abstracción para modelar las propiedades estructurales y estadísticas de los datos relacionales:

Etapa 1: Generación de esquemas mediante grafos dirigidos

El esquema de la base de datos se modela como un grafo acíclico dirigido (DAG), $G$, donde los nodos representan tablas y las aristas dirigidas representan la conectividad entre tablas.

• Muestreo de grafos: $G$ se muestrea de una familia de DAGs aleatorios, incluyendo Barabasi-Albert (para modelar tablas núcleo/hub), Reverse Random-Tree (para modelar jerarquías estrictas) y Watts-Strogatz (para modelar agrupamientos locales).
• Clasificación de tablas: Las tablas se particionan en tablas de entidad (nodos con grado de salida $\ge 1$) y tablas de actividad (nodos restantes).
• Metadatos: El número de filas y columnas de características para cada tabla se muestrea de forma independiente de distribuciones específicas. Un orden topológico de $G$ dicta la secuencia de generación, asegurando que las tablas padre se sinteticen antes que sus hijas.

Etapa 2: Generación de claves foráneas mediante grafos bipartitos

Esta etapa puebla las columnas de claves foráneas modelando la conectividad a nivel de fila entre las tablas padre e hija.

• Agrupamiento jerárquico: Las filas tanto en la tabla padre ($\tilde{T}$) como en la tabla hija ($T$) se agrupan en una jerarquía de bloques utilizando un Modelo de Bloques Estocásticos Jerárquico (HSBM).
• Probabilidades de conectividad: Una matriz de probabilidad por niveles $P^{[l]}$ determina la probabilidad de que una fila en $\tilde{T}$ se vincule con una fila en $T$. Esto permite patrones de conectividad flexibles, que van desde una distribución uniforme hasta clústeres altamente localizados, imitando las relaciones de datos jerárquicos del mundo real.

Etapa 3: Generación de características mediante Modelos Causales Estructurales (SCM)

Una vez establecidos el esquema y la conectividad, se generan los valores de las celdas utilizando SCMs.

• Grafos causales: Cada tabla está asociada con un SCM definido por un grafo causal $C_T$. Los nodos representan variables y las aristas codifican las relaciones de causa y efecto.
• Generación condicional: Los valores de las características se generan propagando los valores a través del grafo causal. Para las tablas con claves foráneas, el mecanismo SCM incorpora nodos de características de las tablas padre, permitiendo que las filas hijas dependan de filas padre específicas.
• Patrones temporales: Para capturar correlaciones temporales, las entradas exógenas para los nodos fuente se modelan como una combinación de componentes de tendencia (ley de potencia), ciclo (sinusoidal) y fluctuación (ruido gaussiano). Esto evita la suposición poco realista de que las filas que comparten claves foráneas son independientes e idénticamente distribuidas (i.i.d.).
• Tipos de datos: El marco soporta características numéricas y categóricas, con mecanismos para proyectar y reconstruir valores en espacios latentes compartidos utilizando Perceptrones de Capa Multicapa (MLP).

3. Contribuciones clave

1. Un nuevo marco de datos sintéticos: PLUREL es el primer marco que sintetiza bases de datos relacionales multi-tabulares desde cero, modelando explícitamente la estructura del esquema, la conectividad de clave primaria–clave foránea y las distribuciones condicionales de las características.
2. Descubrimiento de las leyes de escalado para RFM: Al eliminar los cuellos de botella de datos, los autores realizan el primer análisis de escalado para RFM a través de dos ejes: diversidad (número de bases de datos sintéticas, $N$) y tamaño (total de tokens de preentrenamiento, $S$).
3. Validación del escalado de ley de potencia: El estudio demuestra que la pérdida de preentrenamiento exhibe una dependencia de ley de potencia tanto en $N$ como en $S$, siempre que ninguno de los dos ejes actúe como un cuello de botella.
4. Generalización mejorada: El artículo muestra que el preentrenamiento sintético mejora la generalización zero-shot a bases de datos del mundo real y sirve como una base robusta para el preentrenamiento continuo con datos reales.

4. Resultados experimentales

Los autores preentrenan un Transformador Relacional (RT) con miles de millones de tokens generados por PLUREL y evalúan el rendimiento en el benchmark RelBench (6 conjuntos de datos reales, 18 tareas).

• Leyes de escalado:
  • Escalado de pérdida: La pérdida de validación sigue una ley de potencia con respecto al número de bases de datos sintéticas ($N$) y al tamaño del conjunto de datos ($S$).
  • Interacción de ejes: Escalar $N$ con un $S$ fijo conduce al subajuste (underfitting), mientras que escalar $S$ con un $N$ fijo conduce al sobreajuste (overfitting). El rendimiento óptimo requiere escalar ambos ejes en tándem.
• Generalización Zero-Shot:
  • Los modelos preentrenados en conjuntos de datos sintéticos más grandes y diversos muestran un mejor rendimiento zero-shot en tareas del mundo real no vistas, en comparación con modelos entrenados en conjuntos sintéticos más pequeños o solo con datos reales.
• Preentrenamiento continuo:
  • Sintético + Real: El preentrenamiento en datos de PLUREL seguido de un preentrenamiento continuo en datos reales produce los mejores resultados.
  • Ganancias de rendimiento: Este enfoque logra una ganancia absoluta promedio de +1.2% en AUROC (clasificación) y +3.0% en R² (regresión) sobre los modelos entrenados solo con datos reales.
  • Mejoras específicas de la tarea: Se observan ganancias significativas en tareas de regresión (por ejemplo, +5.2% en item-LTV) y tareas de clasificación basadas en comportamiento (por ejemplo, +7.4% en user-engage).
  • Limitaciones: El preentrenamiento "solo sintético" generalmente rinde menos que el "solo real" o el "sintético + real", lo que indica que, si bien los datos sintéticos proporcionan una base sólida, el preentrenamiento continuo con datos reales es crítico para el alineamiento de la distribución, particularmente para tareas que requieren semántica de columnas específica.

5. Significado y afirmaciones

El artículo posiciona a PLUREL como un cambio de paradigma para el desarrollo de Modelos Fundacionales Relacionales. Su principal significancia radica en desbloquear el escalado de datos para los RFM, un campo anteriormente limitado por la falta de datos relacionales públicos y diversos.

• Desarrollo preservador de la privacidad: PLUREL permite la creación de bases de datos relacionales ilimitadas y diversas sin depender de datos sensibles del mundo real, abordando las barreras de privacidad y confidencialidad.
• Base para las leyes de escalado: El trabajo establece que los RFM, al igual que los modelos de lenguaje y visión, siguen leyes de escalado donde el rendimiento mejora de manera predecible con el aumento de la diversidad y el tamaño de los datos.
• Preentrenamiento sinérgico: Los resultados sugieren una relación sinérgica donde el preentrenamiento sintético actúa como un inicializador poderoso, mejorando la capacidad del modelo para aprender de los datos reales subsiguientes, acelerando así el desarrollo de los próximos RFM para aplicaciones empresariales.

Los autores concluyen que, si bien los datos sintéticos por sí solos son insuficientes para una transferencia zero-shot robusta debido a la falta de semántica de columnas específica, son un componente necesario y poderoso para construir modelos fundacionales relacionales escalables y generalizables.