Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data

El artículo presenta Origami, una arquitectura autoregresiva basada en transformadores que genera datos sintéticos de alta fidelidad para formatos semiestructurados y dispersos como JSON, superando a los métodos existentes que requieren un aplanamiento ineficiente de los datos.

Lo esencial

Imagina que tienes una biblioteca gigante llena de libros. Pero en lugar de tener todos los libros organizados en filas y columnas perfectas (como una hoja de Excel), estos libros tienen formatos muy locos: algunos tienen capítulos dentro de capítulos, otros tienen listas de ingredientes que cambian de tamaño, y algunos tienen páginas que faltan o que solo existen en ciertos libros.

Los métodos antiguos para crear "libros falsos" (datos sintéticos) que se vean reales, funcionaban muy bien solo si todos los libros tenían el mismo formato rígido. Para usarlos con nuestros libros locos, los investigadores tenían que hacer algo muy doloroso: desarmar cada libro, tirar todas las páginas al suelo y tratar de pegarlas en una sola hoja de cálculo gigante.

El resultado de este "desarme" era un caos: una hoja de cálculo con miles de columnas vacías, llena de huecos y errores. Era como intentar armar un rompecabezas donde le faltan la mitad de las piezas y las que quedan están rotas.

¿Qué propone este nuevo método llamado "Origami"?

Los autores de este paper (Thomas y Robin) crearon una nueva inteligencia artificial llamada Origami. En lugar de desarmar los libros, Origami aprende a leerlos tal como son: con sus capas, sus listas y sus huecos.

Aquí te explico cómo funciona con algunas analogías sencillas:

1. No aplasta la estructura, la "tokeniza" (Como un traductor de Lego)

Imagina que los datos son un castillo de Lego complejo.

• Los métodos viejos: Tomaban el castillo, lo tiraban al suelo, contaban cada ladrillo individual y trataban de hacer una lista plana de "ladrillo rojo, ladrillo azul, agujero vacío, ladrillo rojo". Perdían la forma del castillo.
• Origami: Toma el castillo y lo describe como una secuencia de instrucciones: "Empieza con una base, pon un bloque rojo, luego añade una torre, dentro de la torre pon una bandera...".
  Origami convierte cada libro (o registro de datos) en una secuencia de "instrucciones" (tokens) que incluyen: qué es (la clave), qué valor tiene (el valor) y dónde está (la estructura). Así, entiende perfectamente que una lista de "hobbies" puede tener 3 elementos en un libro y 10 en otro, sin romperse.

2. El "Mapa de Posición" (KVPE)

En los libros de texto, las palabras siempre están en orden (1, 2, 3...). Pero en los datos modernos (como JSON), el orden de las cosas no importa. Si dices "Nombre: Ana, Edad: 30" es lo mismo que "Edad: 30, Nombre: Ana".

• El problema: Las IAs viejas se confundían si cambiabas el orden, pensando que era un libro diferente.
• La solución de Origami: Usa un Mapa de Posición Estructural. Imagina que en lugar de decir "estás en la fila 5", le dices a la IA: "estás en el tercer nivel de la torre del lado izquierdo".
  Además, Origami juega a un juego llamado "Barajar las cartas": durante el entrenamiento, mezcla el orden de las instrucciones de cada libro. Esto obliga a la IA a aprender la lógica de los datos (que Ana tiene 30 años) en lugar de memorizar el orden en que aparecieron las palabras. Es como si te enseñaran a cocinar un pastel mezclando los ingredientes en el orden aleatorio cada vez; así aprendes la receta de verdad, no solo la secuencia de pasos.

3. Dos cerebros en uno (Arquitectura Dual)

Los datos tienen dos tipos de cosas:

• Categorías: Colores, nombres, tipos (ej: "Rojo", "Azul", "Perro").
• Números: Precisos, con decimales (ej: 3.14159).
• El truco: Origami tiene dos cabezas de predicción. Una cabeza es experta en palabras y símbolos (para las categorías), y la otra es un matemático experto en números (para los valores continuos). No intenta convertir los números en palabras (lo cual perdería precisión), sino que los entiende directamente.

4. El "Inspector de Gramática"

Para asegurarse de que los libros falsos no tengan errores (como un libro que empieza pero no termina, o una lista que no tiene cierre), Origami usa un automata de pila (un tipo de inspector de reglas).
Imagina un editor de texto muy estricto que no te deja escribir una llave { si no vas a cerrar con } más tarde. Origami sabe las reglas del juego (la gramática de los datos) y asegura que cada libro que crea sea válido y tenga sentido, sin importar cuán complejo sea.

¿Por qué es importante esto?

• Privacidad: Permite crear datos falsos que parecen reales para probar software o compartir información sin revelar secretos (como datos médicos o bancarios).
• Eficiencia: Los métodos antiguos se rompían o se volvían lentísimos cuando los datos eran muy grandes y desordenados (como los datos de Yelp o diagnósticos médicos). Origami maneja estos datos "sucios" y complejos con facilidad.
• Calidad: Los datos que crea Origami son tan buenos que es casi imposible distinguirlos de los reales, incluso para expertos.

En resumen:
Mientras que los métodos anteriores intentaban forzar el mundo moderno (caótico, flexible y lleno de huecos) en un molde antiguo y rígido, Origami es como un artesano que entiende que el mundo es flexible. Aprende a crear copias perfectas de ese caos, respetando sus formas, sus huecos y su complejidad, sin tener que "aplanar" nada. Es el primer sistema capaz de entender y recrear datos complejos de principio a fin, sin perder ni una sola pieza del rompecabezas.

Resumen técnico

1. El Problema: Limitaciones de los Métodos Actuales

La generación de datos sintéticos es crucial para la privacidad, la prueba de software y el benchmarking. Sin embargo, la literatura actual y las herramientas existentes (como GANs, VAEs, modelos de difusión y arquitecturas autoregresivas estándar) asumen que los datos de entrada son tablas densas con esquemas fijos y columnas homogéneamente tipadas.

Este enfoque choca con la realidad de los sistemas de datos modernos (bases de datos de documentos, APIs REST, data lakes), que almacenan información en formatos semi-estructurados (como JSON). Estos datos presentan características que los métodos actuales no manejan bien:

• Estructura Jerárquica: Objetos anidados y arrays de longitud variable.
• Escasez (Sparsity): Muchos campos son opcionales y varían entre registros (hasta un 38% de escasez en datasets reales).
• Polimorfismo de Tipos: Una misma clave puede contener un entero en un registro y una cadena en otro.
• Problema del "Aplanamiento" (Flattening): Para aplicar métodos tabulares existentes, los datos JSON deben "aplanarse" en tablas anchas. Esto genera columnas masivas (cientos), aumenta drásticamente la escasez y destruye la estructura semántica. Además, la codificación one-hot de categorías en datos aplanados explota la dimensionalidad, agotando la memoria.

2. Metodología: La Arquitectura Origami

Los autores presentan origami (Object Representa-Ition via Generative Autoregressive ModelIng), una arquitectura basada en transformers autoregresivos diseñada para operar directamente sobre registros JSON tokenizados, sin necesidad de aplanamiento ni imputación.

Componentes Clave:

• Tokenización Estructural:

  • Los registros JSON se serializan mediante un recorrido en profundidad (DFS) en secuencias de tokens.
  • Se utilizan tres clases de tokens: Estructurales (inicio/fin de objeto, inicio/fin de array), Claves (nombres de campos) y Valores (categorías, cadenas, booleanos).
  • Los valores numéricos de alta cardinalidad se emiten como un token especial num en la secuencia discreta, mientras que su valor escalado se pasa a un canal continuo paralelo.

• Codificación de Posición Clave-Valor (KVPE):

  • A diferencia de los transformers estándar que usan índices de posición secuenciales, origami utiliza KVPE.
  • Codifica la ruta estructural de cada token dentro del árbol JSON (ej. user.address.city).
  • Esto hace que el modelo sea invariante al orden de las claves (ya que en JSON el orden de los objetos no importa), evitando que el modelo memorice un orden arbitrario.

• Arquitectura de Dos Cabezales (Dual-Head):

  • Cabezal Discreto: Predice tokens estructurales, claves y valores categóricos mediante predicción del siguiente token (Cross-Entropy).
  • Cabezal Continuo (Mezcla de Gaussianas - MoG): Para valores numéricos, modela la distribución como una mezcla de Gaussianas parametrizada. Esto permite manejar valores continuos nativamente sin discretización excesiva ni pérdida de precisión.

• Restricciones de Gramática y Esquema:

  • Se utiliza un Autómata de Pila (PDA) para garantizar que la salida sea siempre un JSON sintácticamente válido.
  • Se deriva un esquema JSON dinámico del conjunto de datos de entrenamiento para restringir qué claves y tipos son válidos en cada posición, asegurando coherencia semántica.

• Mezcla de Orden de Claves (Key-Order Shuffling):

  • Durante el entrenamiento, el orden de las claves en cada nivel de anidación se baraja aleatoriamente.
  • Combinado con KVPE, esto actúa como una técnica de regularización potente, obligando al modelo a aprender relaciones causales reales en lugar de correlaciones espurias basadas en el orden de los datos.

3. Contribuciones Principales

1. Primera Arquitectura End-to-End para Datos Semi-Estructurados: Origami es, según los autores, el primer modelo capaz de sintetizar datos semi-estructurados de extremo a extremo, manejando anidamiento, arrays variables y escasez sin aplanamiento.
2. KVPE y Regularización por Barajado: Propone un mecanismo de codificación de posición basado en la estructura del árbol y demuestra que el barajado de claves mejora la generalización y reduce la memorización.
3. Metodología de Evaluación Justa: Desarrolla un pipeline de "aplanamiento y separación de tipos" para evaluar modelos basales tabulares contra origami en datos semi-estructurados, definiendo métricas adaptadas para medir fidelidad estructural y de tipos.
4. Rendimiento Superior: Demuestra resultados state-of-the-art (SOTA) en fidelidad, utilidad y privacidad en datasets que van desde benchmarks tabulares clásicos hasta colecciones semi-estructuradas de más de un millón de registros.

4. Resultados Experimentales

Los autores evaluaron origami frente a seis baselines (TVAE, CTGAN, REaLTabFormer, TabularARGN, Tabby, TabDiff) en cinco datasets: Adult, Diabetes, Electric Vehicles, Yelp y DDXPlus.

• Fidelidad y Utilidad: Origami supera a todos los baselines en la mayoría de las métricas. En datasets densos (Adult, Diabetes), iguala o supera a los mejores modelos de difusión y autoregresivos.
• Escalabilidad en Datos Escasos:
  • En datasets semi-estructurados con alta escasez (Yelp con 38%, DDXPlus con 35%), los baselines sufren degradación severa o fallan por falta de memoria (OOM) debido a la explosión de columnas tras el aplanamiento.
  • Origami mantiene una alta fidelidad (0.963 - 0.972) y es difícil de distinguir de los datos reales.
• Detección: Origami obtiene los mejores puntajes de "dificultad de detección" (más cerca de 1.0, lo que significa indistinguible). Por ejemplo, en DDXPlus, TabDiff tiene un ROC AUC de 0.999 (fácilmente detectable), mientras que origami tiene 0.812.
• Privacidad: Origami logra puntuaciones de privacidad superiores al 97% en todos los casos, indicando una baja memorización de registros de entrenamiento.
• Eficiencia: Origami es significativamente más pequeño (1.7M parámetros) y rápido de entrenar que modelos basados en LLMs grandes (como REaLTabFormer con 59.4M parámetros) o modelos de difusión que exceden el presupuesto de tiempo en datasets grandes.

Hallazgo Crítico sobre Imputación: El análisis de errores muestra que los métodos que imputan valores faltantes con la media (como TabDiff) aprenden distribuciones artificiales dominadas por ese valor, lo que hace que los datos sintéticos sean fácilmente detectables en columnas con alta escasez estructural. Origami, al modelar la ausencia como parte de la estructura, evita este problema.

5. Significado e Impacto

El trabajo de origami representa un cambio de paradigma en la síntesis de datos:

• Adaptación a la Realidad Moderna: Reconoce que los datos del mundo real ya no son tablas planas, sino documentos JSON complejos. Eliminar el paso de "aplanamiento" preserva la integridad semántica y estructural de los datos.
• Viabilidad Práctica: Proporciona una solución escalable para entornos donde los datos son inherentemente dispersos y heterogéneos, permitiendo la generación de datos sintéticos de alta calidad para pruebas de APIs, bases de datos NoSQL y data lakes.
• Herramienta Abierta: El código y el paquete Python (origami-ml) están disponibles públicamente, facilitando su adopción en la industria y la academia.

En conclusión, origami demuestra que los modelos autoregresivos, cuando se diseñan específicamente para la estructura de los datos (mediante tokenización estructurada y codificación de posición basada en rutas), superan a las arquitecturas genéricas en tareas de síntesis de datos semi-estructurados, ofreciendo un equilibrio superior entre fidelidad, privacidad y eficiencia computacional.