🤖 machine learning

Differentially Private Relational Learning with Entity-level Privacy Guarantees

Este artículo propone un marco fundamentado para el aprendizaje relacional con privacidad diferencial que aborda los desafíos de la alta sensibilidad de las entidades y el muestreo acoplado mediante la introducción de un recorte de gradiente adaptativo y análisis de amplificación de privacidad extendidos, logrando así garantías de privacidad a nivel de entidad formales con una utilidad sólida.

Autores originales: Yinan Huang, Haoteng Yin, Eli Chien, Rongzhe Wei, Pan Li

Publicado 2026-02-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yinan Huang, Haoteng Yin, Eli Chien, Rongzhe Wei, Pan Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una computadora a entender cómo se conectan las personas, como por ejemplo, descubrir quién es amigo de quién o qué productos se suelen comprar juntos. Esto se llama aprendizaje relacional. La computadora aprende mirando un mapa gigante de conexiones (un grafo) donde los puntos son personas (entidades) y las líneas son sus relaciones.

¿El problema? Estos mapas suelen contener secretos sensibles. Tal vez el mapa muestra quién visitó a qué médico, o quién compró qué medicamento. Si simplemente entrenas a una computadora con estos datos, esta podría "memorizar" accidentalmente estos secretos y filtrarlos después.

Para evitar esto, los científicos utilizan un escudo llamado Privacidad Diferencial (DP). Piensa en la DP como una "máquina de ruido" que añade estática al proceso de aprendizaje de la computadora, haciendo que sea imposible saber si una persona específica estaba en los datos de entrenamiento o no.

Sin embargo, los autores de este artículo descubrieron que la forma estándar de usar este escudo de privacidad (llamada DP-SGD) falla cuando se aplica a estos mapas de conexiones. He aquí por qué, y cómo lo solucionaron, utilizando analogías sencillas:

Los dos grandes problemas

1. El problema de "Una persona, muchos roles" (Alta sensibilidad)
En los datos normales, una persona suele ser solo un punto de datos. Pero en un mapa de conexiones, una persona puede estar involucrada en docenas de relaciones.

La analogía: Imagina a un profesor calificando a una clase. En una clase normal, si un estudiante se va, el profesor solo pierde una tarea. Pero en esta clase relacional, si un estudiante se va, se lleva consigo todos sus proyectos grupales, sus evaluaciones de pares y sus compañeros de estudio. De repente, la hoja de calificaciones del profesor cambia dramente porque falta una persona.
El riesgo: Debido a que una persona afecta a tantas partes de las matemáticas, el "ruido" necesario para ocultarla tiene que ser enorme, lo que arruina la capacidad de la computadora para aprender cosas útiles.

2. El problema del "Baile de dos pasos" (Muestreo acoplado)
Para enseñar a la computadora, no le mostramos todo el mapa a la vez. Le mostramos pequeños fragmentos (mini-lotes o mini-batches). Para crear un fragmento, primero elegimos algunas conexiones reales (muestras positivas) y luego inventamos algunas conexiones falsas (muestras negativas) para enseñarle a la computadora qué es lo que no debe esperar.

La analogía: Imagina que estás creando una lista de reproducción. Primero eliges 5 canciones reales que te gustan. Luego, para que la lista de reproducción sea interesante, eliges 5 canciones aleatorias que no te gustan para compararlas con las primeras 5.
El riesgo: El segundo paso (elegir las canciones que "no te gustan") depende enteramente del primer paso. Si cambias las primeras 5 canciones, las otras 5 también cambian. La matemática de la privacidad estándar asume que estos pasos son independientes, como si estuvieras eligiendo dos listas de reproducción separadas. Debido a que están vinculados, la antigua matemática de la privacidad no funciona, y no sabemos qué tan seguros están realmente los datos.

La solución: Un escudo de privacidad más inteligente

Los autores construyeron una nueva versión del escudo de privacidad específicamente para estos mapas de conexiones. Resolvieron los dos problemas anteriores con dos trucos ingeniosos:

1. El "Recortador de justicia" (Recorte de gradiente adaptativo)
En lugar de usar una regla de "talla única" para limitar cuánta influencia tiene una persona, la hicieron dinámica.

La solución: Si una persona aparece en muchas relaciones en el fragmento actual, el sistema automáticamente "baja el volumen" de su contribución más de lo habitual. Si aparece raramente, el volumen se mantiene normal.
El resultado: Esto mantiene las matemáticas estables. Evita que una persona popular domine el proceso de aprendizaje, lo que significa que no necesitamos añadir tanto "ruido" para protegerla. Es como un profesor que sabe que si un estudiante está en 10 grupos, solo cuenta como un estudiante para la calificación final, no diez.

2. El "Baile estrictamente ordenado" (Muestreo dependiente de la cardinalidad)
Cambiaron la forma en que eligen las conexiones falsas (negativas) para que los dos pasos del baile estén solo débilmente vinculados.

La solución: En lugar de elegir conexiones falsas basadas en las conexiones reales específicas elegidas, eligen un número fijo de personas aleatorias primero y luego las emparejan.
El resultado: Esto hace que los dos pasos sean matemáticamente predecibles. Les permite demostrar exactamente cuánta privacidad se preserva, incluso aunque los pasos estén vinculados. Es como decir: "Elegiremos exactamente 10 personas aleatorias para la lista de 'no me gusta', sin importar cuáles fueron las 5 canciones que elegimos para la lista de 'me gusta'".

Los resultados

El equipo probó este nuevo método con datos del mundo real, específicamente ajustando modelos de lenguaje extensos (como los que impulsan los chatbots) para comprender las relaciones en redes de artículos científicos y datos de compras en línea.

Mejor privacidad: Demostraron matemáticamente que su método ofrece garantías sólidas de que los datos de una sola persona no pueden ser sometidos a ingeniería inversa.
Mejor aprendizaje: Debido a que su método no necesitó añadir tanto "ruido" como los métodos antiguos, la computadora aprendió mucho mejor. Podía predecir relaciones (como "quién comprará esto después") con mucha más precisión que los métodos previos de preservación de la privacidad.

En pocas palabras

Este artículo trata sobre cómo enseñar a las computadoras a aprender de una compleja red de relaciones sin exponer los secretos de los individuos en esa red. Los autores se dieron cuenta de que las herramientas de privacidad antiguas eran demasiado rudimentarias para este trabajo, así que construyeron una herramienta personalizada que ajusta las reglas de privacidad basándose en qué tan activa es cada persona y cómo se muestrean los datos. El resultado es un sistema que mantiene los secretos seguros mientras permite que la computadora aprenda de manera efectiva.

Resumen Técnico: Aprendizaje Relacional con Privacidad Diferencial con Garantías de Privacidad a Nivel de Entidad

1. Formulación del Problema

El artículo aborda el desafío de entrenar modelos de aprendizaje automático en datos relacionales y con estructura de red, proporcionando garantías formales de privacidad diferencial (DP) a nivel de entidad (nivel de nodo). En el aprendizaje relacional, los modelos (como los codificadores de atributos de nodos) se entrenan para predecir relaciones (aristas) entre entidades (nodos) utilizando funciones de pérdida contrastiva.

El Descenso de Gradiente Estocástico con Privacidad Diferencial (DP-SGD) estándar, diseñado para datos no estructurados e independientes, enfrenta dos fallos críticos cuando se aplica directamente al aprendizaje relacional:

Alta Sensibilidad: En los datos de grafos, una sola entidad (nodo) suele participar en múltiples relaciones. En consecuencia, eliminar o modificar un solo nodo puede alterar múltiples tuplas de aristas dentro de un mini-lote (mini-batch), provocando que el gradiente cambie significativamente a través de muchos términos. Esto conduce a una sensibilidad ilimitada o excesivamente alta, lo que requiere una cantidad prohibitiva de ruido para enmascarar la contribución de la entidad.
Muestreo Acoplado: Los mini-lotes de aprendizaje relacional se construyen típicamente mediante un proceso de múltiples etapas: primero, el muestreo de aristas positivas (relaciones observadas) y, posteriormente, la generación de aristas negativas (relaciones ausentes) condicionadas a las muestras positivas. Esta interdependencia viola el supuesto de DP-SGD estándar de muestreo independiente de un solo paso, lo que hace que los análisis de amplificación de privacidad tradicionales (que dependen del submuestreo de conjuntos de datos independientes) sean inaplicables.

2. Metodología

Los autores proponen un marco de trabajo DP-SGD adaptado que integra tres componentes principales para superar estos desafíos:

A. Recorte de Gradiente Adaptativo (FREQ-CLIP)
Para abordar la alta sensibilidad, el artículo introduce un esquema de recorte de gradiente adaptativo. A diferencia del recorte estándar que utiliza un umbral fijo $C$ para todas las muestras, este método ajusta dinámicamente el umbral de recorte basándose en la frecuencia de ocurrencia de los nodos dentro de un mini-lote.

Mecanismo: Para cada tupla de arista $T_i$ , el umbral de recorte se escala por la frecuencia máxima de cualquier nodo que aparezca en esa tupla (tanto en aristas positivas como negativas).
Efecto: Esto asegura que la sensibilidad local del gradiente del mini-lote con respecto a la eliminación de un solo nodo esté acotada por una constante, incluso si el nodo aparece en múltiples relaciones. Específicamente, acota la sensibilidad por $(1 + |B^-(u^*)|) \cdot C$ , donde $|B^-(u^*)|$ es el recuento de tuplas de aristas donde el nodo aparece únicamente en aristas negativas.

B. Muestreo Acoplado Dependiente de la Cardinalidad
Para manejar el análisis de privacidad del muestreo de múltiples etapas, los autores formalizan una subclase de muestreo acoplado donde la dependencia entre las etapas surge únicamente de las restricciones de tamaño de muestra (cardinalidad), no del contenido específico de las muestras.

Implementación: Proponen una estrategia de muestreo negativo específica (Algoritmo 2: Muestreo Negativo Sin Reemplazo). En este esquema, las aristas negativas se construyen emparejando nodos muestreados independientemente del conjunto de nodos con los extremos de las aristas positivas muestreadas.
Beneficio: Este diseño asegura que el paso de muestreo negativo dependa solo del número de aristas positivas muestreadas, no de sus identidades específicas. Este desacoplamiento permite que el complejo proceso de dos etapas se analice como un mecanismo de muestreo dependiente de la cardinalidad tratable.

C. Análisis de Amplificación de Privacidad
El artículo deriva un límite de amplificación de privacidad riguroso para este escenario específico de muestreo acoplado dependiente de la cardinalidad.

Resultado: Demuestran que para un conjunto de datos compuesto donde la primera etapa es un muestreo de Poisson y la segunda es un muestreo sin reemplazo (dependiente solo del tamaño de la primera), el costo de privacidad puede acotarse estrechamente utilizando la Privacidad Diferencial de Rényi (RDP).
Integración: Al combinar el recorte adaptativo (que acota la sensibilidad) con la estrategia de muestreo específica (que permite el límite de amplificación), los autores proporcionan una garantía $(\alpha, \epsilon(\alpha))$ -RDP demostrable para todo el proceso de entrenamiento.

3. Contribuciones Clave

Análisis de Sensibilidad y Recorte Adaptativo: Un análisis riguroso de la sensibilidad del gradiente en el aprendizaje relacional, que conduce a un algoritmo de recorte de gradiente adaptativo basado en la frecuencia que controla eficazmente la sensibilidad sin asumir grados de nodos en el peor de los casos.
Formalización del Muestreo Acoplado: La extensión de la teoría de amplificación de privacidad a una subclase tratable de muestreo acoplado donde las dependencias se limitan a los tamaños de muestra, proporcionando los primeros límites de amplificación para este entorno.
Variante de DP-SGD a Medida: Un algoritmo completo (Algoritmo 3) que integra el límite de grado (degree capping), el recorte adaptativo y el muestreo dependiente de la cardinalidad para lograr garantías de privacidad a nivel de entidad.
Validación Empírica: Demostración de la efectividad de su método para el ajuste fino (fine-tuning) de codificadores de texto pre-entrenados (ej. BERT, Llama2) en redes con atributos de texto para la predicción de relaciones zero-shot.

4. Resultados Experimentales

Los autores evaluaron su método en conjuntos de datos de redes con atributos de texto (redes de citas MAG y redes de compra conjunta de Amazon) con el objetivo de realizar el ajuste fino de codificadores para la predicción de relaciones.

Límites de Privacidad: El análisis numérico de los límites RDP derivados (Ec. 3) muestra que el método propuesto logra límites de privacidad significativamente más estrechos en comparación con los mecanismos gaussianos ingenuos y el DP-SGD estándar con recorte fijo.
Compromiso Utilidad-Privacidad: En tareas de predicción de relaciones (medidas por PREC@1 y MRR), el método propuesto supera consistentemente a:
- El ajuste fino no privado (como es de esperar, pero con garantías de privacidad).
- Los modelos base sin ajuste fino.
- El DP-SGD estándar con recorte de gradiente fijo bajo los mismos presupuestos de privacidad ( $\epsilon = 4$ y $\epsilon = 10$ ).
Estudios de Ablación: Los experimentos indican que aumentar el número de muestras negativas por cada arista positiva y el límite de grado de los nodos generalmente mejora la utilidad del modelo bajo restricciones de privacidad fijas.

5. Significado y Reivindicaciones

El artículo afirma proporcionar el primer marco basado en principios para el aprendizaje relacional con privacidad diferencial a nivel de entidad que ofrece garantías formales. Su importancia radica en:

Cerrar la Brecha: Aborda los desafíos estructurales específicos de los datos de grafos (alta sensibilidad y muestreo acoplado) que impiden la aplicación directa de DP-SGD estándar.
Rigor Teórico: Va más allá de las aplicaciones heurísticas de DP a los grafos al proporcionar un análisis de sensibilidad riguroso y un nuevo teorema de amplificación de privacidad para procesos de muestreo dependientes.
Utilidad Práctica: Demuestra que se puede mantener una estricta privacidad a nivel de entidad sin una pérdida catastrófica en el rendimiento del modelo, lo que lo hace viable para dominios sensibles como la salud y las finanzas, donde los datos relacionales son prevalentes.

Los autores enfatizan que su enfoque permite el ajuste fino de modelos fundacionales sobre datos relacionales mientras protege la privacidad de las entidades individuales, una capacidad que anteriormente se veía obstaculizada por la falta de mecanismos de privacidad adecuados para el muestreo relacional acoplado.