Resumen Técnico: LOS LLM AJUSTADOS PRIVADAMENTE PRESERVAN LA DINÁMICA TEMPORAL EN DATOS TABULARES

Formulación del Problema

La investigación actual en datos tabulares sintéticos con privacidad diferencial (DPSD) se centra predominantemente en filas independientes e idénticamente distribuidas (i.i.d.), donde una sola fila corresponde a un individuo único. Este paradigma no aborda la complejidad de los conjuntos de datos longitudinales, como las historias clínicas electrónicas (EHR) o los registros de solicitudes de servicio, donde un solo usuario contribuye con una secuencia completa de eventos (una subtabla) a lo largo del tiempo. En estos entornos, la unidad de propiedad es la tabla completa (trayectoria), no la fila individual.

Los enfoques existentes intentan adaptarse a esto mediante el "aplanamiento" de las trayectorias de los usuarios en vectores de alta dimensión y ancho fijo (concatenando todos los pasos temporales en una sola fila) para aplicar mecanismos estándar basados en marginales (por ejemplo, AIM, Private-PGM). Los autores argumentan que esta estrategia es fundamentalmente insuficiente. El aplanamiento provoca una explosión en la dimensionalidad del dominio, introduce una escasez artificial mediante el relleno (padding) y obliga a los mecanismos de privacidad a depender de marginales locales de bajo orden para mantenerse dentro del presupuesto. En consecuencia, estos métodos no logran capturar las dependencias temporales de largo alcance, generando trayectorias que son localmente plausibles pero globalmente incoherentes (por ejemplo, mezclando distintos perfiles de usuario). Además, aplicar la privacidad de grupo a los datos aplanados es excesivamente restrictivo, ya que protege grupos de filas que pueden pertenecer a diferentes usuarios.

Metodología: El Marco PATH

Para abordar estas limitaciones, los autores introducen PATH (Private Autoregressive Trajectory Histories), un marco generativo que trata la tabla completa del usuario como la unidad de síntesis y aprovecha las capacidades autorregresivas de los Modelos de Lenguaje de Gran Escala (LLMs).

Componentes Principales

1. Definición de la Unidad de Privacidad: El marco define explícitamente la unidad de privacidad como la tabla completa del usuario $D^{(i)}$. Se considera que dos conjuntos de datos son vecinos si uno se puede obtener añadiendo o eliminando exactamente la trayectoria completa de un usuario. Esto asegura que la garantía de privacidad proteja la historia temporal completa de un individuo.
2. Serialización: Las tablas de usuarios se serializan de forma determinista en secuencias de tokens utilizando una definición de esquema seguida de una codificación fila por fila (por ejemplo, [Fila 1]: charttime es ..., heartrate es ...). Los tokens delimitadores de fila fomentan que el modelo distinga los pasos temporales.
3. Estrategia de Entrenamiento:
   • Ajuste Fino con DP (DP Fine-tuning): Los autores ajustan modelos preentrenados (específicamente la familia Gemma 3, de 1B y 4B parámetros) utilizando el Descenso de Gradiente Estocástico con Privacidad Diferencial (DP-SGD).
   • Ventana Dinámica (Dynamic Windowing): Para asegurar un aprendizaje robusto de las transiciones en cualquier etapa de una trayectoria, el proceso de entrenamiento emplea una estrategia de ventana dinámica. Para cada usuario, se muestrea un punto de división para crear un contexto (historia) y un objetivo (continuación). Esto permite al modelo aprender de toda la diversidad de la historia del usuario mientras mantiene una sensibilidad de 1 por usuario por paso.
   • Muestreo Basado en Densidad: Los puntos de división se muestrean basándose en la distribución empírica de las longitudes de las tablas para evitar el sesgo hacia contextos cortos.
   • Arquitectura: Se utiliza la Adaptación de Bajo Rango (LoRA) para actualizar una pequeña fracción de los parámetros, reduciendo la dimensionalidad de las actualizaciones de gradiente que requieren la inyección de ruido.
4. Inferencia y Selección:
   • Generación Autorregresiva: Las tablas sintéticas se generan fila por fila, condicionando cada nueva fila al esquema y a las filas generadas anteriormente.
   • Análisis Robusto (Parsing): Una estrategia de análisis de múltiples pasos gestiona las salidas malformadas, recurriendo al ajuste de esquema o al completado parcial (infilling).
   • Selección Privada: Para garantizar una alta utilidad, un mecanismo de selección privado filtra un conjunto de tablas candidatas sobregeneradas. Este paso utiliza un mecanismo de votación con privacidad diferencial basado en embeddings semánticos (Gecko) para seleccionar las tablas más representativas sin consumir presupuesto de privacidad adicional más allá del presupuesto de selección asignado.

Contribuciones Clave

1. La Unidad de Privacidad como Tabla Completa: El artículo es el primero en formalizar la tabla completa del usuario como la unidad de privacidad para la síntesis de datos con privacidad diferencial y demuestra una aplicación práctica para preservar las trayectorias temporales.
2. Nuevo Marco para Tendencias Temporales: PATH introduce una metodología para ajustar finamente LLMs para generar datos tabulares estructurados y de múltiples filas, utilizando un proceso de dos etapas de generación de filas autorregresiva y selección privada para preservar las dependencias temporales.
3. Nuevas Métricas: Los autores proponen la Distancia de la Tabla al Registro más Cercano (TDCR), una métrica adaptada de la Distancia al Registro más Cercano (DCR) que utiliza el Ajuste de Tiempo Dinámico (DTW) para evaluar la fidelidad de la distribución de las trayectorias de usuario generadas frente a los datos reales, penalizando los fallos al replicar la forma temporal.
4. Evaluación Empírica Exhaustiva: El marco se evalúa en datos de HMM sintéticos, signos vitales de MIMIC-IV y solicitudes de servicio de NYC 311, demostando un rendimiento superior sobre las líneas base de marginales de última generación.

Resultados Experimentales

Los autores realizaron evaluaciones exhaustivas en tres conjuntos de datos:

• MIMIC-IV (Signos Vitales): PATH (Gemma 4B) superó significativamente a las líneas base basadas en marginales (AIM, Direct Mechanism). Con $\epsilon=2.0$, PATH redujo la TDCR en más de un 50% (0.289 vs. 0.736 para AIM) y redujo los errores de transición de estado en casi un 50%. Crucialmente, PATH mantuvo una alta fidelidad de los marginales mientras capturaba las dinámicas temporales que los métodos de aplanamiento pasaron por alto.
• Datos de HMM Sintéticos: En datos con probabilidades de transición de verdad fundamental conocida, PATH demostró una capacidad superior para capturar el proceso latente subyacente. Mientras que los métodos marginales lograron menores divergencias marginales univariantes, produjeron trayectorias con verosimilitudes de log-HMM prohibitivamente altas (lo que indica secuencias inválidas). Las secuencias generadas por PATH coincidieron estrechamente con la distribución de verosimilitud del HMM real.
• NYC 311 (Espaciotemporal): PATH logró preservar distribuciones geoespaciales complejas, ritmos diurnos y transiciones de tipo de queja. El prompting de pocos disparos (few-shot) no privado (Gemini 2.5 Flash-Lite) no pudo generalizar la distribución completa, resultando a menudo en colapso de modo, mientras que el ajuste fino privado capturó la variedad de la población.

Hallazgos Clave:

• El Aplanamiento es Insuficiente: El aplanamiento de datos longitudinales conduce a una pérdida "catastrófica" de utilidad debido a la explosión de la dimensionalidad y la incapacidad de los mecanismos de marginales para capturar dependencias globales.
• LLMs vs. Marginales: Mientras que los métodos de marginales sobresalen en estadísticas agregadas en conjuntos de datos simples y bien comportados, los LLMs dominan en la captura de dinámicas temporales y transiciones de estado, ofreciendo una solución de "lo mejor de ambos mundos" para datos longitudinales complejos.
• Ajuste Fino vs. Prompting: El ajuste fino privado es más efectivo que el aprendizaje en contexto (few-shot prompting) para el emparejamiento de distribuciones. El prompting suele conducir al colapso de modo y falla en capturar todo el soporte del manifold de los datos.
• Escalado del Modelo: Los modelos más grandes (Gemma 4B) exhiben una mayor robustez bajo presupuestos de privacidad estrictos ($\epsilon < 2.0$) en comparación con las variantes más pequeñas, probablemente debido a que sus priors semánticos preentrenados más fuertes estabilizan el aprendizaje cuando el ruido de DP es alto.

Significado y Reivindicaciones

El artículo afirma que PATH redefine la unidad de privacidad diferencial del registro individual a la tabla completa del usuario, abordando una brecha fundamental en la síntesis de datos temporales sensibles. Los autores sostienen que su trabajo demuestra que los LLM, cuando se ajustan finamente de forma privada, pueden servir como sintetizadores efectivos para dominios tabulares secuenciales, preservando dinámicas temporales intrincadas que los mecanismos tradicionales basados en marginales no logran capturar.

La importancia radica en la operacionalización de una unidad de privacidad multitabla, la cual es esencial para aplicaciones como el análisis de EHR donde la historia de un paciente es una trayectoria coherente en lugar de una colección de registros independientes. Los resultados sugieren que para datos longitudinales, la "unidad de síntesis" importa: tratar la trayectoria de un usuario como una única secuencia autorregresiva es una representación más eficiente y efectiva que el aplanamiento de las historias de los usuarios. El artículo concluye que el ajuste fino privado ofrece una solución robusta para el intercambio de datos en dominios secuenciales, permitiendo la liberación de datos sintéticos de alta fidelidad que respetan tanto la privacidad como la coherencia temporal.