📊 statistics

Label Differential Privacy via Aggregation

Este artículo propone un marco de privacidad diferencial de etiquetas para tareas de regresión que logra fuertes garantías de privacidad mediante la agregación lineal ponderada de instancias de entrenamiento o bolsas disjuntas, ofreciendo mejores límites prácticos y preservación de la utilidad sin requerir ruido de etiqueta aditivo.

Autores originales: Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

Publicado 2026-09-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anand Brahmbhatt, Rishi Saket, Shreyas Havaldar, Anshul Nasery, Yukti Makhija, Aravindan Raghuveer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital moderna, se recopilan diariamente vastas cantidades de información personal para entrenar programas informáticos que realizan predicciones, desde estimar precios de viviendas hasta pronosticar ventas. Un desafío crítico en este campo es cómo enseñar a estos sistemas sin exponer los detalles sensibles de los individuos que proporcionaron los datos. Una solución poderosa, conocida como privacidad diferencial, actúa como un escudo matemático. Asegura que el resultado final de un análisis informático se vea casi igual si la información de cualquier persona está incluida o excluida, haciendo imposible que un externo pueda realizar ingeniería inversa para obtener la información específica de esa persona. Si bien este concepto ha sido ampliamente estudiado para datos generales, surge un problema específico y difícil cuando la información sensible está oculta enteramente dentro de las etiquetas: las respuestas o resultados adjuntos a los datos, como el diagnóstico médico de un paciente o la elección de un votante. Proteger estas etiquetas sin destruir la capacidad de la computadora para aprender patrones útiles ha sido durante mucho tiempo un obstáculo.

Un equipo de investigadores de Google Research India ha desarrollado un nuevo método para resolver este problema cambiando la forma en que los datos se agrupan y combinan antes de ser utilizados para el entrenamiento. En lugar de añadir ruido aleatorio a los datos, una técnica que a menudo empaña los resultados y reduce la precisión, propusieron un sistema de agregación ponderada. Imagine tomar una gran colección de registros individuales y mezclarlos en grupos pequeños, o "bolsas". En su enfoque, cada registro dentro de una bolsa se multiplica por un número único, generado aleatoriamente, extraído de una distribución específica con forma de campana. El sistema luego suma estos registros ponderados para crear un nuevo punto de datos único para la bolsa. Este proceso se repite para crear muchos tales puntos agregados. Los investigadores descubrieron que esta forma específica de mezclar los datos, utilizando estos pesos aleatorios, crea una barrera matemática que protege la privacidad de las etiquetas originales. Crucialmente, demostraron que esta protección se mantiene incluso si un atacante conoce todo sobre los otros registros en la bolsa, siempre que el conjunto de datos sea lo suficientemente grande y las etiquetas no sean todas idénticas.

El estudio demuestra que este método funciona eficazmente para dos escenarios diferentes. En el primero, cada registro de todo el conjunto de datos se incluye en cada bolsa, creando un conjunto de agregados altamente mezclado. En el segundo, el conjunto de datos se divide en muchos grupos pequeños y no superpuestos, y cada grupo se procesa por separado. En ambos casos, los investigadores demostraron que un modelo informático entrenado en estos puntos agregados y protegidos por la privacidad aún puede aprender a realizar predicciones casi tan con precisión como un modelo entrenado con los datos originales y brutos. Probaron esto en enormes conjuntos de datos del mundo real, incluyendo un censo de más de 130 millones de personas de 1940 y una colección de más de 1,7 millones de registros de una plataforma de publicidad en línea. Los resultados fueron claros: los modelos entrenados con los datos agregados alcanzaron casi el mismo nivel de precisión que aquellos entrenados con los datos brutos, mientras cumplían con estrictas garantías de privacidad.

Un hallazgo clave de este trabajo es que simplemente sumar las etiquetas en un grupo sin estos pesos aleatorios especiales no proporciona ninguna protección real de la privacidad. Si los datos solo se suman, un cambio en la etiqueta de una sola persona causaría un desplazamiento detectable en el total, revelando su información. Los investigadores demostaron que la ponderación aleatoria es esencial para ocultar estas contribuciones individuales. Además, mostraron que esta técnica no requiere la adición de ruido extra a las etiquetas, un requisito común en otros métodos de privacidad que a menudo degradan la calidad del aprendizaje. Al confiar únicamente en las propiedades matemáticas de esta agregación ponderada, preservaron la utilidad de los datos para tareas de regresión, que se utilizan para predecir valores continuos como cifras de ventas u horas trabajadas.

El equipo también exploró una variación donde una pequeña fracción de las etiquetas es alterada intencionalmente con ruido antes de ser agrupada, combinada con la agregación ponderada. Este enfoque híbrido les permitió extender las garantías de privacidad a tareas de aprendizaje más complejas que involucran redes neuronales, que son modelos de aprendizaje profundo capaces de manejar patrones intrincados. Sus experimentos confirmaron que, incluso con estas complejidades añadidas, los modelos mantienen una alta utilidad. El trabajo sugiere que, para muchas aplicaciones prácticas, especialmente aquellas limitadas por regulaciones o limitaciones del sistema que impiden el uso de datos individuales brutos, este método de agregación ofrece un camino robusto hacia adelante. Permite a las organizaciones construir herramientas predictivas poderosas utilizando datos sensibles sin comprometer la privacidad de los individuos detrás de los números, todo ello sin la pérdida significativa de precisión que suele acompañar a las técnicas de preservación de la privacidad.

Resumen Técnico: Privacidad Diferencial de Etiquetas mediante Agregación

Definición del Problema

El artículo aborda el desafío de proteger las etiquetas de entrenamiento sensibles en conjuntos de datos de aprendizaje automático mientras se mantiene la utilidad de las tareas de regresión. Específicamente, se centra en la Privacidad Diferencial de Etiquetas (label-DP), una noción de privacidad donde la distribución de salida de un mecanismo permanece estable incluso si una única etiqueta de entrenamiento cambia, mientras que los vectores de características permanecen inalterados.

Los enfoques tradicionales para lograr la label-DP suelen basarse en la adición de ruido aditivo independiente (por ejemplo, ruido gaussiano) a cada etiqueta. Sin embargo, los autores señalan que en muchos escenarios prácticos, como las plataformas publicitarias (por ejemplo, Apple SKAN, Chrome Privacy Sandbox) o la agregación de datos médicos, los datos se procesan naturalmente mediante mecanismos de agregación (por ejemplo, Aprendizaje desde Proporciones de Etiquetas o Aprendizaje desde Agregados de Bolsas) en lugar de ruido aditivo. El artículo investiga si estos mecanismos de agregación naturales, utilizados frecuentemente por eficiencia o cumplimiento regulatorio, proporcionan inherentemente garantías de label-DP y, si no es así, cómo pueden mejorarse para lograrlo sin sacrificar la utilidad de las tareas de regresión lineal o neuronal.

Los autores establecen que la sumatoria no ponderada de etiquetas en bolsas no proporciona garantías de label-DP. El problema central consiste en diseñar mecanismos de agregación que logren $(\epsilon, \delta)$ -label-DP con un ruido aditivo mínimo o nulo, asegurando al mismo tiempo que el modelo de regresión óptimo entrenado en los datos agregados aproxime al modelo óptimo sobre el conjunto de datos original.

Metodología

El artículo propone tres mecanismos de agregación primarios que utilizan la agregación lineal ponderada con pesos i.i.d. gaussianos ( $N(0, 1)$ ).

1. Weighted-FLAg (WTD-FLAG)

Este mecanismo agrega todo el conjunto de datos en $m$ bolsas. Para cada bolsa $j$ , el mecanismo muestrea $n$ pesos i.i.d. $w_{ij} \sim N(0, 1)$ y calcula:

Vector de características agregado: $x^{AGG}_j = \sum_{i=1}^n w_{ij} x_i$
Etiqueta agregada: $y^{AGG}_j = \sum_{i=1}^n w_{ij} y_i$

Crucialmente, no se añade ruido aditivo a las etiquetas. La garantía de privacidad reside en la aleatoriedad de los pesos y en la no degeneración del conjunto de datos (específicamente, un límite inferior en la pérdida de regresión lineal).

2. Sampled-Weighted-FLAg (Sampled-WTD-FLAG)

Para reducir la sobrecarga computacional y la porción del conjunto de datos requerida para la agregación, esta variante muestrea $m$ bolsas disjuntas de tamaño $k$ . Para cada bolsa, se muestrean $k$ pesos i.i.d. y se calcula la suma ponderada de las características y las etiquetas dentro de ese subconjunto específico. Al igual que el primer mecanismo, utiliza ningún ruido aditivo. Este enfoque requiere un límite de valor singular mínimo en la matriz de datos para asegurar la utilidad.

3. Sampled-Noisy-Weighted LAg (Sampled-Noisy-WTD-LAg)

Este mecanismo aborda escenarios donde los vectores de características en las bolsas están disponibles individualmente (Agregación de Etiquetas o LAg). Para superar la pérdida de privacidad al exponer las características individuales, el mecanismo:

Añade ruido i.i.d. $N(0, 1)$ solo a una fracción pequeña y fija ( $\rho$ ) de las etiquetas.
Aplica agregación ponderada con pesos gaussianos a las etiquetas.
Entrega las etiquetas agregadas junto con los vectores de características individuales y sus correspondientes pesos para cada bolsa.

Este enfoque híbrido tiene como objetivo preservar la utilidad de las tareas de regresión de redes neuronales con límite Lipschitz mientras proporciona garantías de label-DP.

Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

Resultado Negativo: Demuestra que el mero agregar etiquetas (como en los conjuntos de datos LLP estándar) sin ponderación o ruido no proporciona garantías de privacidad diferencial.
Algoritmos Novedosos: Introduce algoritmos de agregación novedosos (WTD-FLAG, Sampled-WTD-FLAG y Sampled-Noisy-WTD-LAg) que generan conjuntos de datos con label-DP únicamente mediante la agregación (con ruido mínimo en la tercera variante), evitando el pesado ruido aditivo típico de los métodos previos de label-DP.
Preservación de la Utilidad: Demuestra que los conjuntos de datos generados por estos algoritmos preservan la utilidad (el óptimo) de las tareas de regresión lineal con regresores de norma acotada y, en la variante con ruido, de las tareas de regresión neuronal.
Límites Mejorados: El análisis teórico muestra que los métodos propuestos logran $(\epsilon, \delta)$ -label-DP con parámetros que dependen del límite inferior de la pérdida de regresión lineal ( $\gamma$ ) en lugar del valor singular mínimo de la matriz de datos, lo que conduce a límites más ajustados en la práctica.

Resultados Teóricos

Garantías de Privacidad:
- WTD-FLAG: Logra $(\epsilon, \delta)$ -label-DP si el número de bolsas $m$ satisface $m = O(\frac{\gamma n}{B_Y^2 \log(1/\delta)})$ , donde $\gamma$ es el límite inferior en la pérdida de regresión lineal y $B_Y$ es el límite en la magnitud de la etiqueta.
- Sampled-WTD-FLAG: Logra $(\epsilon, \delta)$ -label-DP con un tamaño de bolsa $k \geq \Omega(((1/\epsilon) \log(1/\delta))^2)$ , asumiendo un límite de valor singular mínimo en los datos.
- Sampled-Noisy-WTD-LAg: Logra $(\epsilon, \delta)$ -label-DP perturbando una fracción $\rho$ de las etiquetas, con $k$ escalando como $O(B_Y^2/\rho\epsilon^2)$ .
Garantías de Utilidad:
- Para la regresión lineal, el regresor óptimo entrenado en los datos agregados aproxima el óptimo del conjunto de datos original con alta probabilidad. El error está acotado por un factor multiplicativo $(1+\theta)$ , donde $\theta$ depende del número de bolsas y las propiedades del conjunto de datos.
- Los límites de utilidad son independientes de la dimensión de entrada $d$ para el mecanismo WTD-FLAG, una mejora significativa respecto a trabajos previos que dependían de límites dependientes de la dimensión.

Resultados Experimentales

Los autores evaluaron empíricamente sus métodos en dos conjuntos de datos a gran escala:

Datos del Censo de EE. UU. de 1940: Predicción de horas de trabajo basadas en características demográficas.
Conjunto de Datos de Búsqueda Patrocinada de Criteo: Predicción de montos de ventas de anuncios.

Hallazgos:

Privacidad vs. Utilidad: Los experimentos demuestran que WTD-FLAG preserva eficazmente la utilidad para la regresión lineal incluso bajo presupuestos de privacidad ( $\epsilon$ ) modestos. A medida que $\epsilon$ aumenta, el Error Cuadrático Medio (MSE) en el conjunto de datos original disminuye, estabilizándose cerca de la pérdida óptima de los datos originales.
Comparación con Trabajos Previos: El artículo compara los límites teóricos superiores sobre el número de bolsas ( $m$ ) permitidos para un $\epsilon$ dado contra el trabajo de Sheffet [42]. Los autores muestran que sus límites, derivados del límite inferior de la pérdida de regresión lineal, son sustancialmente mejores (permitiendo más bolsas) que los límites derivados del valor singular mínimo en conjuntos de datos del mundo real.
Regresión Neuronal: Los experimentos con Sampled-Noisy-WTD-LAg en redes neuronales muestran que la utilidad se preserva incluso con un número limitado de bolsas muestreadas y tamaños de bolsa variables, confirmando las garantías teóricas para tareas no lineales.

Significado y Reivindicaciones

El artículo afirma que su principal significancia radica en cuantificar la privacidad lograda únicamente a través de la agregación. A diferencia de los métodos de label-DP previos que dependen fuertemente de la adición de ruido o del remuestreo probabilístico, este trabajo demuestra que los mecanismos de agregación naturales, cuando se mejoran con el muestreo ponderado, pueden proporcionar garantías de privacidad rigurosas.

Los autores enfatizan que su enfoque está motivado por restricciones del mundo real donde el ruido aditivo es indeseable o imposible debido a limitaciones sistémicas o regulatorias. Al demostrar que la label-DP puede lograrse con poco o ningún ruido aditivo mientras se preserva la utilidad de las tareas de regresión, el trabajo sugiere que los procesos de agregación existentes en la industria pueden ofrecer ya garantías de privacidad más fuertes de lo que se entendía anteriormente, reduizando potencialmente la necesidad de intervenciones adicionales y costosas para la preservación de la privacidad. El artículo se mantiene modesto, centrándose en cuantificar estas garantías en lugar de proponer nuevas aplicaciones o direcciones futuras más allá del alcance de su actual análisis teórico y empírico.