🤖 machine learning

LDPKiT: Superimposing Remote Queries for Privacy-Preserving Distillation

Este artículo presenta LDPKiT, un marco de preservación de la privacidad que utiliza una novedosa técnica de superposición para generar muestras aproximadas de la misma distribución a partir de datos locales, permitiendo una destilación de modelos efectiva bajo la privacidad diferencial local mientras mantiene una alta utilidad incluso con niveles de privacidad estrictos.

Autores originales: Kexin Li, Aastha Mehta, David Lie

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kexin Li, Aastha Mehta, David Lie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una receta secreta y superinteligente para predecir el futuro (un modelo de aprendizaje automático) que vive en una bóveda de alta seguridad propiedad de una gran corporación. Quieres usar esta receta para hacer predicciones sobre tus propios datos privados, como tus registros médicos o estados de cuenta bancarios. Pero no puedes simplemente entrar en la bóveda y copiar la receta; el dueño no te lo permitirá. Así que tienes que enviar tus datos a la bóveda, recibir una predicción a cambio y esperar lo mejor.

El problema es que enviar tus datos sin procesar es arriesgado. Si el dueño de la bóveda siente curiosidad (o es hackeado), podría ver tus secretos. Para evitar esto, añades "ruido" a tus datos antes de enviarlos, como si desenfocaras una foto para que el dueño no pueda ver los detalles, aunque la forma general siga siendo perceptible. Esto se llama Privacidad Diferencial Local (LDP, por sus siglas en inglés).

Pero aquí está el truco: ese desenfoque es tan fuerte que las predicciones del dueño de la bóveda se vuelven casi inútiles. Es como intentar adivinar qué lleva puesto un amigo basándote en una foto donde lo han cubierto con una niebla espesa. Tienes la idea de que es una persona, pero no puedes distinguir si lleva un sombrero o un casco.

Aquí entra LDPKiT, un nuevo y astuto marco de trabajo que actúa como un truco de magia para "desenfocar" tu privacidad.

El truco de magia: Superposición de sombras

Los investigadores descubrieron que si solo envías tus fotos desenfocadas, el modelo aprende muy poco. Pero, ¿y si pudieras crear más fotos desenfocadas a partir de las originales sin volver a ver nunca la imagen clara?

Idearon dos formas de hacerlo:

El desenfoque aleatorio (LDPKiT-Rand): Toman tu foto desenfocada y le añaden aún más estática aleatoria, creando miles de versiones ligeramente diferentes y borrosas.
La mezcla de sombras (LDPKiT-Sup): Este es el protagonista. Toman dos de tus fotos desenfocadas y las "superponen"; básicamente, promedian los píxeles para crear una nueva imagen mezclada.

Piénsalo de esta manera: si tienes dos fotos borrosas de un gato y las mezclas, el resultado es un gato "superborroso" que sigue pareciendo un gato, pero el ruido aleatorio se cancela un poco, haciendo que la forma sea más clara que una sola foto borrosa. Los investigadores llaman a esto superposición.

Lo que descubrieron

El equipo probó esto en tres "mundos" de datos diferentes: imágenes de números de calles (SVHN), artículos de moda como sandalias y camisas (Fashion-MNIST), e imágenes médicas de células (PathMNIST).

Las malas noticias: Cuando solo enviaban las fotos desenfocadas individuales (un método que llaman SIDP), el modelo local que entrenaron era pésimo. En el conjunto de datos de números de calles, obtuvo solo un 21% de precisión cuando la privacidad se configuró en un nivel moderado (épsilon = 2.0). Eso es apenas mejor que adivinar al azar.
Las buenas noticias: Cuando usaron la técnica de Mezcla de Sombras (LDPKiT-Sup), la precisión del modelo local se disparó. En ese mismo conjunto de datos de números de calles, la precisión saltó a más del 80%.
El momento "¡Ajá!": Descubrieron que el método de Mezcla de Sombras funcionaba tan bien porque mantenía intacta la "forma" de los datos. Cuando observaron dentro del "cerebro" de la computadora (el espacio latente), las imágenes mezcladas se situaban justo al lado de las categorías reales, mientras que las versiones con ruido aleatorio estaban dispersas por todas partes.

El equilibrio: Privacidad vs. Precisión

Los investigadores se preguntaron: "¿Funciona esto incluso cuando la privacidad es súper estricta?"

Sí. De hecho, cuanto más privacidad exiges (más ruido), más ayuda LDPKiT.
Por ejemplo, en el conjunto de datos de números de calles, lograron obtener casi la misma precisión con un nivel de privacidad muy estricto (épsilon = 1.25) que con un nivel más débil (épsilon = 2.0). Esto significa que puedes tener garantías de privacidad más fuertes con una caída de precisión menor al 2%.

Lo que descartaron

El artículo es muy claro sobre lo que no funciona:

Ruido aleatorio solo: Añadir simplemente estática aleatoria a tus datos (LDPKiT-Rand) ayudó un poco, pero no fue suficiente. A menudo no lograba capturar la verdadera forma de los datos, especialmente en imágenes médicas complejas.
Datos fuera de la distribución: No puedes usar simplemente fotos aleatorias de internet para entrenar tu modelo local. Si intentas enseñar a un modelo sobre moda usando fotos de números de calles, no aprenderá nada. Debes usar tus propios datos privados (aunque estén borrosos).
Cifrado: Compararon su método con el uso de "cifrado homomórfico" (matemáticas que permiten computar sobre datos cifrados). Descubrieron que LDPKiT es mucho más rápido y económico. Mientras que el cifrado podría tardar cientos de segundos en procesar una sola imagen, LDPKit puede procesar miles en segundos.

¿Qué tan seguros están?

Los autores están bastante seguros de sus resultados, pero son cuidadosos con su lenguaje.

Demostraron mediante experimentos que LDPKiT-Sup supera consistentemente a los métodos de referencia en tres conjuntos de datos diferentes y dos tamaños de modelo distintos.
Midieron el riesgo de privacidad intentando "reconstruir" las imágenes originales a partir de las ruidosas. Descubrieron que, incluso con herramientas de IA potentes, las imágenes reconstruidas eran muy diferentes de las originales (puntuaciones de similitud bajas), lo que sugiere que la privacidad se mantiene.
Sugieren que la "Mezcla de Sombras" funciona porque crea muestras que se sitúan más cerca de los límites de decisión de los datos, pero admiten que una explicación estadística completa de por qué funciona tan bien sigue siendo un tema para investigaciones futuras.

La conclusión

LDPKiT es como un truco de magia para preservar la privacidad. Te permite tomar tus datos secretos y borrosos, mezclarlos con ellos mismos de una manera especial y crear una enorme biblioteca de ejemplos de entrenamiento "seguros". Esto te permite construir un experto local que sabe casi tanto como el modelo secreto de la gran bóveda, sin revelar jamás tus secretos privados.

¿El único inconveniente? Necesitas una cantidad decente de tus propios datos privados para empezar (probaron con tan solo 125 muestras, pero funciona mejor con más), y tienes que estar dispuesto a enviar muchas consultas al servidor remoto para construir tu biblioteca. Pero para muchos, el intercambio de enviar unas cuantas fotos borrosas adicionales para obtener un modelo local mucho más inteligente es una victoria.

Resumen Técnico: LDPKiT

Planteamiento del Problema

En dominios regulados como la salud y las finanzas, las organizaciones suelen alojar modelos de aprendizaje automático (ML) a través de APIs remotas para proporcionar servicios (por ejemplo, predicción de riesgo de enfermedades, detección de fraude) sin compartir los datos de entrenamiento o los pesos del modelo que son propiedad intelectual. El acceso de caja negra protege la propiedad intelectual y los datos de entrenamiento del proveedor del modelo, pero obliga al usuario del modelo a transmitir entradas de inferencia potencialmente sensibles al servidor remoto. Los métodos de inferencia con preservación de la privacidad existentes, como el cifrado homomórfico o los entornos de ejecución de confianza (TEE), sufren de sobrecargas computacionales severas o requieren hardware especializado que no está ampliamente disponible.

Por el contrario, permitir que los usuarios descarguen los pesos del modelo para la inferencia local expone el modelo a ataques de caja blanca. El desafío central abordado en este trabajo es permitir que los usuarios destilen un modelo local a partir de un modelo de caja negra remoto utilizando sus propios datos privados y sensibles, mientras se limita estrictamente la filtración de privacidad de las consultas. Un desafío secundario es que los usuarios en estos dominios suelen poseer solo pequeñas cantidades de datos privados, lo que, al combinarse con el ruido requerido para la privacidad, resulta en una utilidad (precisión) deficiente para el modelo destilado.

Metodología

Los autores proponen LDPKiT (Transferencia de Conocimiento mediante Inferencia con Privacidad Diferencial Local y Preservación de la Utilidad), un marco que combina la Privacidad Diferencial Local (LDP) con una novedosa técnica de aumentación de datos para recuperar la utilidad perdida debido al ruido de privacidad.

1. Configuración del Sistema

El escenario involucra a un proveedor de modelos que aloja un modelo remoto ( $M_R$ ) y a un usuario con un conjunto de datos sensible, no etiquetado y pequeño ( $D_{priv}$ ). El objetivo del usuario es entrenar un modelo local ( $M_L$ ) que pueda etiquetar con precisión $D_{priv}$ sin revelar los datos brutos a $M_R$ .

2. Mecanismo de Privacidad

Para proteger $D_{priv}$ , el usuario aplica ruido $\epsilon$ -LDP a cada muestra antes de consultar a $M_R$ . El artículo utiliza el Mecanismo de Laplace para satisfacer la $\epsilon$ -LDP. Crucialmente, el marco se basa en la Propiedad de Post-procesamiento de LDP, que establece que cualquier función determinista o aleatorizada aplicada a una salida $\epsilon$ -LDP sigue siendo $\epsilon$ -LDP. Esto permite al usuario aumentar los datos ruidosos sin debilitar la garantía de privacidad.

3. Estrategias de Aumentación de Datos

Dado que $D_{priv}$ es típicamente pequeño, la consulta directa produce una baja utilidad. LDPKiT aumenta el conjunto de datos ruidoso inicial ( $D_{protected}$ ) en un conjunto de datos de inferencia más grande ( $D_{infer}$ ) utilizando dos estrategias:

LDPKiT-Rand: Añade una segunda capa de ruido de Laplace independiente a las muestras protegidas. Esto genera variantes perturbadas pero puede alejar los datos de la distribución real.
LDPKiT-Sup (Superposición): Esta es la contribución novedosa. Genera nuevas muestras promediando pares de muestras protegidas de $D_{protected}$ $D_{p r o t ec t e d}$ . Específicamente, para índices distintos $i$ $i$ y $j$ $j$ , una muestra aumentada se calcula como $d_{infer} = \text{avg}(d_{protected_i}, d_{protected_j})$ $d_{in f er} = avg (d_{p r o t ec t e d_{i}}, d_{p r o t ec t e d_{j}})$ .
- Razonamiento: Los autores hipotetizan que la superposición de muestras ruidosas ayuda a preservar mejor la estructura de las clases objetivo y los límites de decisión que la inyección de ruido aleatorio.
- Privacidad: Dado que el promedio es una operación de post-procesamiento sobre salidas $\epsilon$ -LDP, el $D_{infer}$ resultante mantiene la garantía de $\epsilon$ -LDP a nivel de registro. Incluso si un proveedor intenta recuperar algebraicamente los registros protegidos a partir de los promedios por pares, solo recuperará los registros protegidos ruidosos, no los datos privados originales, preservando así la garantía de $\epsilon$ -LDP.

4. Flujo de Trabajo

Etapa I: El usuario aplica ruido $\epsilon$ -LDP a $D_{priv}$ para crear $D_{protected}$ .
Etapa II: El usuario post-procesa $D_{protected}$ (vía Rand o Sup) para generar $D_{infer}$ .
Etapa III: El usuario consulta $M_R$ con $D_{infer}$ para obtener etiquetas.
Etapa IV: El usuario entrena $M_L$ en el $D_{infer}$ etiquetado y utiliza $M_L$ para la inferencia local en $D_{priv}$ .

Principales Contribuciones

Marco para la Destilación con Preservación de la Privacidad: LDPKiT permite a los usuarios destilar conocimiento de modelos de caja negra remotos utilizando sus propios datos privados mientras se limita la filtración de privacidad mediante LDP.
Técnica de Superposición: La introducción de LDPKiT-Sup, que utiliza el promedio por pares de muestras ruidosas para generar datos aumentados. Esta técnica aprovecha la propiedad de post-procesamiento de LDP para mejorar la utilidad sin comprometer la privacidad.
Validación Empírica: Los autores demuestran que LDPKiT, particularmente la variante de superposición, recupera significativamente la utilidad perdida debido al ruido de LDP en comparación con los métodos de referencia (SIDP) y la aumentación de ruido aleatorio.
Análisis del Espacio Latente: El artículo proporciona un análisis de las representaciones del espacio latente, mostrando que las muestras superpuestas permanecen más cerca de los grupos de clases objetivo que las muestras perturbadas aleatoriamente, lo que explica las ganancias de precisión.

Resultados Experimentales

El marco fue evaluado en tres conjuntos de datos de clasificación de imágenes: Fashion-MNIST, SVHN y PathMNIST (imágenes médicas), utilizando ResNet-152 como profesor remoto y ResNet-18 o MobileNetV2 como estudiante local.

Recuperación de Utilidad: LDPKiT-Sup supera consistentemente tanto al método de referencia (SIDP) como a LDPKiT-Rand.
- En SVHN con $\epsilon = 1.25$ , LDPKiT-Sup logra casi la misma precisión de inferencia que en $\epsilon = 2.0$ , proporcionando garantías de privacidad más fuertes con una reducción de precisión de menos del 2% en comparación con la configuración de mayor $\epsilon$ .
- En Fashion-MNIST ( $\epsilon = 2.0$ ), LDPKiT-Sup mejoró la precisión de ResNet-18 al 81.78%, comparado con el 28.69% de SIDP y el 68.52% de LDPKiT-Rand.
- En PathMNIST ( $\epsilon = 10.0$ ), LDPKiT-Sup alcanzó el 82.11%, superando significativamente a SIDP (28.74%) y LDPKiT-Rank (43.90%).
Impacto del Tamaño del Conjunto de Datos: El sistema es relativamente insensible al tamaño del conjunto de datos privado ( $|D_{priv}|$ ). Los usuarios pueden lograr una utilidad similar con menos muestras privadas (por ejemplo, 125 muestras) siempre que el conjunto de consultas aumentado ( $|D_{infer}|$ ) sea suficientemente grande (por ejemplo, 250k–500k consultas).
Robustez de la Privacidad: Los ataques de reconstrucción de datos utilizando DDPMs en los datos aumentados no lograron recuperar las imágenes originales con alta fidelidad. Las imágenes reconstruidas mostraron un SSIM más bajo y un MSE más alto en comparación con las originales, y los clasificadores alcanzaron una precisión cercana al azar en ellas.
Eficiencia de Costos: Los autores estiman que para grandes conjuntos de consultas (por ejemplo, 2.2M de consultas), el costo de la API es de aproximadamente $1.15 (basado en un precio hipotético de 2026), lo que lo hace más eficiente que el cifrado homomórfico para el procesamiento por lotes.

Significación y Reivindicaciones

El artículo afirma que LDPKiT ofrece un diseño práctico y preservador de la privacidad para interactuar con servicios de ML remotos en dominios sensibles. Su importancia radica en:

Equilibrio entre Privacidad y Utilidad: Demuestra que es posible una transferencia de conocimiento efectiva incluso bajo restricciones de privacidad estrictas (bajo $\epsilon$ ) aprovechando una aumentación de datos que respeta las garantías de LDP.
Accesibilidad: A diferencia de los TEE o el cifrado homomórfico, LDPKiT no requiere hardware especializado y opera dentro de las restricciones estándar de las API, lo que lo hace más accesible para su adopción.
Privacidad por Diseño: El marco se alinea con los principios de uso responsable de datos al asegurar que los datos brutos del usuario nunca abandonan el control del usuario y que la filtración de privacidad está matemáticamente limitada.

Los autores señalan modestamente las limitaciones, incluyendo la restricción actual a modalidades de imagen (donde la superposición es basada en píxeles) y la falta de un límite inferior universal para el tamaño del conjunto de datos privado, sugiriendo estas como direcciones para trabajos futuros. También reconocen que, aunque se garantiza la LDP a nivel de registro, las correlaciones entre registros podrían teóricamente debilitar la privacidad semántica, aunque las prácticas de deduplicación en la industria pueden mitigar esto.