Resumen Técnico: SelPE: Selección Progresiva para la Síntesis de Texto Estructurado Privado

1. Definición del Problema

El artículo aborda el desafío de la síntesis de texto estructurado con privacidad diferencial (DP) en regímenes de muestras pequeñas. Los datos de texto estructurado (por ejemplo, notas de triaje clínico, registros financieros) consisten en campos heterogéneos —numéricos, categóricos y texto de forma libre— que se adhieren a esquemas estrictos.

Los enfoques existentes enfrentan tres limitaciones principales cuando se aplican a este dominio con datos privados limitados:

1. Esparcimiento de la Señal (Signal Sparsity): En entornos de muestras pequeñas, los mecanismos de agregación aditiva (comunes en DP) dominan la señal de utilidad. A medida que el tamaño del grupo de candidatos crece en relación con el tamaño del conjunto de datos privado, la relación señal-ruido (SNR) desaparece, haciendo que la selección de candidatos sea poco fiable.
2. Fidelidad del Esquema: Generar texto que satisfaga restricciones de esquema complejas y transversales entre campos es difícil. Las restricciones estrictas suelen degradar la expresividad semántica, mientras que la generación de forma libre frecuentemente viola las reglas estructurales.
3. Alineación de Tipos Cruzados: Evaluar candidatos requiere comparar campos heterogéneos (texto, números, categorías) que existen en espacios incompatibles. Las métricas unificadas suelen colapsar estas señales, lo que conduce a comparaciones desalineadas.

El problema central es sintetizar un conjunto de datos que preserve la validez estructural, la fidelidad (precisión semántica y numérica) y la utilidad para aplicaciones posteriores (downstream utility) cumpliendo con la privacidad diferencial $(\epsilon, \delta)$ con muy pocos ejemplos privados.

2. Metodología: SelPE

Los autores proponen SelPE (Selection-guided Progressive Evolution), un marco que desplaza el presupuesto de privacidad de la agregación ruidosa hacia una secuencia de selecciones progresivas de alta confianza y conscientes de la estructura.

Componentes Principales

A. Generación Desacoplada de Contexto-Esquema
Para equilibrar la expresividad semántica con la validez estructural, SelPE emplea un pipeline de dos etapas:

1. Contexto de Datos Latente (Etapa I): Un modelo de lenguaje genera una descripción textual de forma libre ($t$) que representa una instancia del mundo real coherente. Esta etapa se enfoca puramente en la abstracción semántica sin restricciones de esquema.
2. Realización Basada en el Esquema (Etapa II): El contexto latente $t$ se convierte en un registro estructurado ($s$) utilizando decodificación restringida (vía LLGuidance). Un autómata de restricción inducido por el esquema asegura que los tokens generados se adhieran estrictamente a los tipos de campo y rangos de valores, garantizando la validez estructural.

B. Núcleo de Distancia Multicanal
Para evaluar candidatos a través de campos heterogéneos, SelPE define un núcleo de distancia $g(s, s')$ que opera en espacios nativos:

• Canales Semánticos: Los campos textuales y categóricos se codifican en vectores semánticos normalizados mediante un codificador de oraciones. Un canal semántico global captura la coherencia entre campos.
• Canales Numéricos: Los campos numéricos se preservan como valores escalares mediante una normalización robusta para mantener la precisión.
• Agregación: La distancia total es una suma ponderada de distancias de coseno (para canales semánticos) y diferencias absolutas (para canales numéricos). Esto permite una comparación precisa sin colapsar las señales heterogéneas.

C. Evolución Progresiva Guiada por Selección
En lugar de agregar datos privados, SelPE concentra el presupuesto de privacidad en selecciones top-1 multilote:

1. Generación Condicional Progresiva: La síntesis ocurre a lo largo de $T$ rondas. El número de muestras generadas por ronda aumenta ($m_t = t \cdot q$), permitiendo que las rondas posteriores se construyan sobre un contexto más rico de muestras de alta calidad previamente seleccionadas.
2. Selección Privada Multilote: El conjunto de datos privado se particiona en lotes disjuntos. Para cada lote, se computa un centro empírico. Los candidatos se califican según su distancia a estos centros de lote.
3. Mecanismo Exponencial Top-1: El mejor candidato de cada lote se selecciona utilizando el Mecanismo Exponencial Top-1. Al utilizar composición paralela, la pérdida de privacidad se rige por la pérdida máxima de la selección de cualquier lote individual, en lugar de acumularse a través de todo el grupo.
4. Expansión Contrastiva No Privada: Para asegurar la diversidad sin costo adicional de privacidad, cada ejemplo "bueno" seleccionado se empareja con un ejemplo "contrastivo" (el candidato más alejado del seleccionado). Estos pares guían la siguiente ronda de generación, empujando al modelo lejos de los modos colapsados.

3. Contribuciones Clave

1. Generación y Evaluación Consciente del Esquema: Un marco cohesivo que desacopla la abstracción semántica de la realización del esquema y utiliza un núcleo de distancia multicanal para asegurar tanto la validez estructural como la consistencia entre campos.
2. Evolución Privada Impulsada por Selección: Un enfoque novedoso diseñado para texto estructurado de muestras pequeñas que reemplaza la agregación basada en ruido por la selección DP top-1 multilote, mitigando eficazmente el problema del esparcimiento de la señal.
3. Validación Empírica: Experimentos extensos en tres conjuntos de datos realistas (Water, MIMIC-ED, Loan) que demuestran mejoras consistentes en la fidelidad estructural y la utilidad para aplicaciones posteriores bajo presupuestos de privacidad estrictos.

4. Resultados Experimentales

Los autores evaluaron SelPE contra cinco líneas base (DP-DS, DP-Gen, Aug-PE, WASP, CTCL) a través de tres conjuntos de datos con variaciones en la complejidad del esquema y la longitud del texto.

• Desempeño: SelPE superó consistentemente a las líneas base en utilidad TabSTAR (que mide dependencias de texto estructurado) y fidelidad R-CFG/S-CFG (que mide la validez del esquema), particularmente bajo presupuestos de privacidad ajustados ($\epsilon \in \{1, 2\}$).
• Robustez:
  • Transferibilidad de Backbone: SelPE mantuvo un alto desempeño a través de diferentes backbones de LLM (Llama, Gemma, Mistral, Qwen), indicando que su efectividad no depende de un generador específico.
  • Escala de Datos: SelPE destacó en regímenes de bajos datos ($n=5, 10$), donde otros métodos sufrieron por la dominación del ruido.
  • Hiperparámetros: El método mostró un desempeño óptimo con una profundidad de evolución moderada ($T \approx 4-5$) y multiplicidad de candidatos ($K \approx 3-4$), sugiriendo rendimientos decrecientes para una generación privada más profunda o exploratoria.
• Estudios de Ablación: Eliminar cualquier componente (ejemplos contrastivos, cuota progresiva, generación consciente del esquema o el núcleo de distancia) provocó caídas en el desempeño, confirmando que el pipeline completo es necesario para resultados óptimos. El núcleo de distancia multicanal fue particularmente crítico para la utilidad del texto estructurado.

5. Significado y Reivindicaciones

El artículo sostiene que concentrar el presupuesto de privacidad en la selección estructurada es una estrategia más efectiva que la agregación basada en ruido para la síntesis de texto estructurado de muestras pequeñas.

• Abordar la "Brecha Texto-Estructura": Los autores observan que, si bien algunas líneas base logran una alta fluidez textual holística (puntuaciones RoBERTa), fallan en mantener la consistencia entre campos. SelPE cierra esta brecha mediante el modelado explícito de las dependencias estructurales.
• Diseño Principiado: El trabajo postula que para el texto estructurado, donde los registros son compositivos y diversos, el "promedio" mediante agregación ruidosa es fundamentalmente erróneo. En su lugar, enfocarse en una secuencia de decisiones de alta confianza y conscientes de la estructura produce una mayor utilidad para aplicaciones posteriores.
• Escalabilidad: El marco se presenta como una dirección con principios para la síntesis de texto estructurado con DP, ofreciendo una solución viable para dominios sensibles a la privacidad donde los datos son escasos pero la integridad estructural es primordial.