ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

El artículo presenta ReTabSyn, un pipeline de síntesis de datos tabulares basado en aprendizaje por refuerzo que, al priorizar la distribución condicional y ofrecer retroalimentación directa sobre la preservación de correlaciones, supera a los métodos actuales en escenarios con datos limitados, desequilibrados o con cambios de distribución, mejorando así la utilidad de los modelos downstream.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un niño a cocinar, pero solo tienes tres recetas en tu libro de cocina y, además, esas recetas son un poco desordenadas. Si le pides al niño que invente nuevas recetas basándose en tan poca información, probablemente te traerá un pastel que sabe a jabón o una sopa que tiene arena.

Esto es exactamente lo que pasa con las Inteligencias Artificiales (IA) cuando intentan crear datos falsos (datos sintéticos) para ayudar a otras IAs a aprender, especialmente cuando los datos reales son pocos, desiguales o difíciles de conseguir.

Aquí te explico el papel ReTabSyn como si fuera una historia:

🍳 El Problema: El Chef que se confunde

Imagina que tienes un chef robot (una IA generadora de datos) que debe aprender a cocinar "comida" (datos) para que otros robots aprendan a diagnosticar enfermedades o predecir si un cliente se irá de una tienda.

• El problema: Si le das al chef muy poca comida real para estudiar, él intenta memorizar todo: el color de la mesa, la temperatura de la cocina, el tipo de plato... pero se olvida de lo más importante: qué ingredientes combinan bien entre sí para hacer un buen plato.
• El resultado: El chef inventa datos que parecen reales a primera vista, pero que no tienen sentido. Por ejemplo, inventa un registro de un "CEO" (un jefe de empresa) que gana menos de 50 dólares al mes. ¡Eso es imposible! Si usas esos datos para entrenar a otro robot, ese robot aprenderá cosas equivocadas y fallará en la vida real.

💡 La Solución: ReTabSyn (El Entrenador Inteligente)

Los autores de este papel crearon ReTabSyn. En lugar de dejar que el chef intente memorizar todo el menú al azar, les dieron un nuevo enfoque basado en Reforzamiento (como un entrenador deportivo).

En lugar de decirle al chef: "¡Haz que todo se parezca a la realidad!", le dicen: "¡Haz que las relaciones sean correctas!".

La analogía del "Entrenador de Fútbol"

Imagina que el chef es un jugador de fútbol novato.

1. El método antiguo: El entrenador le gritaba: "¡Corre, patea, mira el cielo, mira el suelo!". El jugador se agobiaba y no aprendía a jugar bien.
2. El método ReTabSyn: El entrenador se enfoca solo en lo que importa para ganar: la relación entre el balón y la portería.
   • Si el jugador patea el balón hacia la portería (relación correcta), el entrenador le da un "¡Bien hecho!" (refuerzo positivo).
   • Si el jugador patea el balón hacia el cielo (relación incorrecta), el entrenador le dice: "¡No! Eso no funciona" (refuerzo negativo).

ReTabSyn hace esto con los datos:

• Pregunta: "Si una persona tiene 45 años y es CEO, ¿cuál es su salario?"
• Respuesta correcta: "Más de 50k".
• Respuesta incorrecta (que la IA podría inventar): "Menos de 50k".
• El truco: ReTabSyn crea un "juego" donde la IA ve la respuesta correcta y la incorrecta, y aprende a preferir la correcta. No necesita un juez humano ni un sistema externo complejo; la IA se corrige a sí misma basándose en reglas lógicas simples (como: "los CEOs no ganan sueldos de becarios").

🚀 ¿Por qué es tan bueno esto?

1. Funciona con poca comida: Incluso si solo tienes 32 o 64 ejemplos reales, ReTabSyn logra crear miles de datos falsos que son útiles. Es como si el entrenador pudiera enseñar al jugador a ganar solo con ver un par de partidos, porque se enfoca en la estrategia, no en memorizar cada movimiento.
2. No necesita un "Juez Maestro": Otros métodos necesitan un experto humano o una IA muy potente para decir "esto está bien, esto mal". ReTabSyn es autónomo. Usa reglas lógicas (como "si es mujer, no puede ser 'esposo'") para corregirse sola.
3. Privacidad: Al no memorizar los datos reales uno por uno, sino aprender las reglas generales, es más difícil que la IA "delate" información privada de las personas reales.

🏆 El Resultado Final

Gracias a ReTabSyn, los científicos pueden:

• Crear bancos de datos falsos para entrenar IAs en hospitales o bancos, donde los datos reales son secretos o escasos.
• Asegurarse de que la IA no cometa errores tontos (como un CEO pobre).
• Mejorar la toma de decisiones en situaciones donde hay muy poca información o los datos están muy desbalanceados (por ejemplo, detectar fraudes que ocurren muy raramente).

En resumen: ReTabSyn es como un entrenador sabio que le dice a la IA: "No intentes memorizar todo el mundo. Solo asegúrate de que las reglas lógicas entre las cosas sean correctas, y el resto se arreglará solo". ¡Y funciona de maravilla!

Resumen técnico

Resumen Técnico: ReTabSyn

1. El Problema

Los modelos generativos profundos (DGMs) han demostrado ser útiles para abordar la escasez de datos y las restricciones de privacidad mediante la creación de datos sintéticos. Sin embargo, en el contexto de datos tabulares, estos modelos enfrentan desafíos críticos en escenarios de pocos datos, desbalance de clases y desplazamiento de distribución (distribution shift):

• Ineficiencia en el aprendizaje de distribuciones: Los métodos estándar intentan aprender la distribución conjunta completa $P(X, y)$. En regímenes de datos escasos, esto consume el presupuesto estadístico limitado, a menudo sacrificando la precisión de la frontera de decisión en favor de la fidelidad de las características marginales.
• Pérdida de utilidad downstream: Como resultado, los datos generados pueden contener entradas poco realistas (ej. un CEO con ingresos bajos) que degradan el rendimiento de los modelos de aprendizaje automático entrenados con ellos.
• Dependencia de oráculos: Las aproximaciones recientes basadas en refuerzo (RL) para tablas suelen depender de clasificadores externos (oráculos) o etiquetas humanas para guiar la generación, lo que introduce sesgos, costos computacionales adicionales y problemas de privacidad.

2. Metodología: ReTabSyn

El autor propone ReTabSyn (Reinforced Tabular Synthesis), un marco de trabajo que utiliza Optimización Directa de Preferencias (DPO) para alinear un generador tabular preentrenado con la utilidad de las tareas downstream, sin necesidad de oráculos externos ni etiquetas humanas.

Fundamento Teórico:
El método se basa en un análisis teórico que demuestra que para maximizar la utilidad en tareas de clasificación, es más crítico modelar con precisión la distribución condicional $P(y | X)$ (la relación entre características y etiqueta) que la distribución conjunta completa o las distribuciones marginales $P(X)$. En escenarios de pocos datos, priorizar la preservación de la frontera de decisión es más eficiente que intentar replicar toda la estructura de la distribución conjunta.

Componentes Clave del Método:

1. Construcción de Pares de Preferencia "Oracle-Free":
   En lugar de usar un modelo de recompensa externo, ReTabSyn genera pares de datos "elegidos" (chosen) y "rechazados" (rejected) mediante perturbaciones basadas en reglas lógicas y de esquema sobre las filas reales:

   • Perturbación de Objetivo (Target Perturbation): Se mantiene la fila original con su etiqueta correcta ($y$) como "elegida" y se crea una versión con una etiqueta alterada ($\tilde{y}$) como "rechazada". Esto fuerza al modelo a aprender la lógica condicional correcta.
   • Perturbación de Características (Feature Perturbation): Se alteran características correlacionadas (ej. cambiar un valor numérico a un cuantil incompatible) para penalizar co-ocurrencias de características poco realistas, manteniendo la consistencia estructural.
   • Estrategia de Muestreo: Se utiliza una mezcla de aproximadamente el 70% de perturbaciones de objetivo y 30% de características para equilibrar la señal de decisión y la fidelidad estructural.

2. Optimización Directa de Preferencias (DPO):
   Se utiliza DPO para afinar un generador base (basado en un modelo de lenguaje como GPT-2, adaptado a tablas mediante el framework GReaT).

   • El objetivo de DPO maximiza el margen de verosimilitud entre la fila "elegida" y la "rechazada" para un mismo contexto de entrada.
   • Esto "bloquea" las relaciones condicionales esenciales para las tareas downstream sin necesidad de un modelo de recompensa explícito.

3. Preparación de Datos y Arquitectura:

   • Aumento de Datos: Antes del entrenamiento, se aplica una interpolación tipo SMOTE dentro de grupos categóricos para mitigar el sobreajuste en conjuntos de datos muy pequeños.
   • Arquitectura: Se utiliza un modelo de lenguaje autoregresivo donde las filas se serializan en cadenas de texto natural.

3. Contribuciones Clave

• Construcción de preferencias nativa de tablas y sin oráculos: Introducen una estrategia de perturbación consistente con el objetivo que genera pares de entrenamiento para DPO, eliminando la necesidad de modelos de recompensa externos o etiquetas humanas.
• Alineación condicional centrada en la decisión: El ajuste fino prioriza teóricamente la distribución condicional $P(y | X)$, cerrando la brecha de utilidad entre datos sintéticos y reales en regímenes de pocos datos y eventos raros.
• Evaluación robusta y diagnóstica: Presentan benchmarks exhaustivos en escenarios desafiantes (tasas de positivos del 0.5%, desplazamiento de distribución) y métricas integrales de utilidad downstream, fidelidad marginal y privacidad.

4. Resultados Experimentales

Los experimentos se realizaron en 10 conjuntos de datos de clasificación tabular reales bajo tres regímenes: datos pequeños, desbalanceados y con desplazamiento de distribución.

• Utilidad Downstream (Pocos Datos): En escenarios con muy pocas muestras de entrenamiento (32-128 filas), ReTabSyn supera consistentemente a los métodos más avanzados (GReaT, TVAE, TabSyn, PTA, SynRL). En algunos casos, el rendimiento supera al de los datos reales debido a la gran cantidad de muestras sintéticas de alta calidad generadas.
• Datos Desbalanceados: En tareas con prevalencia del 1% de la clase minoritaria, ReTabSyn logra las puntuaciones más altas (PR-AUC), preservando mejor la señal de la clase minoritaria que los baselines.
• Robustez al Desplazamiento de Distribución: En pruebas donde el conjunto de entrenamiento y prueba provienen de subpoblaciones demográficas diferentes, ReTabSyn mantiene una fidelidad superior, superando a los métodos guiados por RL que dependen de clasificadores externos.
• Fidelidad Estadística: Logra un equilibrio óptimo entre la similitud de correlaciones entre características y la cobertura de las regiones de alta densidad de datos reales.
• Privacidad: ReTabSyn reduce significativamente el riesgo de inferencia de membresía en comparación con métodos de interpolación como SMOTE, manteniendo un nivel de privacidad comparable a los generadores profundos más fuertes, pero con una utilidad mucho mayor.

5. Significado e Impacto

ReTabSyn representa un cambio de paradigma en la síntesis de datos tabulares:

• Eficiencia de Datos: Demuestra que no es necesario aprender la distribución conjunta perfecta para obtener datos sintéticos útiles; priorizar la relación característica-etiqueta es suficiente y más eficiente en datos escasos.
• Escalabilidad y Privacidad: Al eliminar la dependencia de oráculos externos y etiquetas humanas, el método es más escalable, reduce costos computacionales y minimiza los riesgos de privacidad asociados con el uso de modelos de recompensa adicionales.
• Aplicabilidad Práctica: Ofrece una solución viable para sectores críticos como la salud, las finanzas y las ciencias sociales, donde la privacidad es estricta y los datos suelen ser limitados o desbalanceados, permitiendo el desarrollo de modelos de IA más robustos y éticos.

En conclusión, ReTabSyn establece un nuevo estado del arte para la generación de datos tabulares sintéticos, demostrando que la alineación basada en preferencias (DPO) centrada en la utilidad condicional es superior a los enfoques tradicionales de maximización de verosimilitud conjunta en entornos de datos reales y desafiantes.