🤖 machine learning

PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration

PriDyG es un marco de trabajo para la preservación de la privacidad en la inferencia de grafos dinámicos que combina el aprendizaje estructural basado en GNN con el razonamiento semántico basado en LLM para lograr la privacidad diferencial a nivel de arista con un costo acumulativo constante, superando significativamente a las líneas base existentes en utilidad mientras mitiga la acumulación de pérdida de privacidad.

Autores originales: Yuyang Xia, Ruixuan Liu, Li Xiong

Publicado 2026-08-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuyang Xia, Ruixuan Liu, Li Xiong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el internet es un mapa gigante de conexiones en constante cambio. Algunas líneas en este mapa son amistades, otras son transacciones financieras y algunas son consultas médicas secretas. Este mapa se llama "grafo", y las computadoras lo usan para hacer predicciones, como adivinar con quién podrías querer ser amigo o qué producto comprarás después. Pero aquí está el truco: si le pides a una computadora que estudie este mapa demasiado de cerca, podría accidentalmente revelar esas líneas secretas, exponiendo relaciones privadas. Para evitar esto, los científicos usan un escudo matemático llamado "Privacidad Diferencial". Piensa en ello como añadir un poco de estática de ruido a una señal de radio; hace que la señal sea lo suficientemente borrosa como para que nadie pueda escuchar un secreto específico, pero lo suficientemente clara como para seguir entendiendo la música general.

El problema se vuelve más complicado cuando el mapa no deja de cambiar. En el mundo real, nuevas amistades se forman y nuevas transacciones ocurren cada segundo. Si una computadora intenta actualizar sus predicciones cada vez que se dibuja una nueva línea, tiene que estudiar todo el mapa una y otra vez. Cada vez que mira, el escudo de privacidad se debilita un poco y el ruido se vuelve más fuerte, hasta que las predicciones se convierten en basura inútil. Este artículo aborda la gran pregunta: ¿Cómo podemos seguir actualizando nuestras predicciones en un mapa cambiante sin agotar la privacidad o ahogarnos en el ruido?

Los autores de este artículo, Yuyang Xia, Ruixuan Liu y Li Xiong, proponen un nuevo y astuto sistema llamado PriDyG. En lugar de intentar forzar a la computadora a re-escanear todo el mapa desordenado cada vez que aparece una nueva línea, construyeron un equipo de dos partes. Una parte es un "detective estructural" (una Red Neuronal de Grafos) que observa las conexiones, y la otra es un "lector semántico" (un Modelo de Lenguaje Grande) que lee las descripciones de texto de las personas o artículos involucrados.

Así es como funciona su truco de magia. El "detective estructural" es el que necesita el escudo de privacidad porque observa las conexiones secretas. Usualmente, cada vez que el mapa cambia, este detective tiene que re-examinar todo el conjunto, lo que consume el presupuesto de privacidad y añade tanto ruido que termina confundido. PriDyG cambia las reglas del juego utilizando un sistema de "búfer". En lugar de volver a leer todo el mapa, el sistema solo observa las nuevas líneas que llegaron desde la última revisión. Calcula la diferencia y la añade a la respuesta anterior, como actualizar un marcador sumando simplemente los nuevos puntos en lugar de volver a contar todo el partido. Esto significa que el costo de privacidad se mantiene igual sin importar cuántas veces se actualice el mapa.

Sin embargo, este método de la "diferencia" no es perfecto; pierde algunas conexiones complejas y de larga distancia que un re-escaneo completo sí detectaría. Ahí es donde entra el segundo miembro del equipo, el "lector semántico". Este lector solo observa las descripciones de texto públicas (como la biografía de una persona o la descripción de un producto) e ignora por completo las conexiones secretas. Debido a que no toca los datos privados, ¡no necesita ningún presupuesto de privacidad! Actúa como una red de seguridad. Cuando el detective estructural se vuelve demasiado borroso o inseguro debido al ruido, el sistema se apoya más fuertemente en la opinión del lector semántico.

El artículo muestra que esta colaboración funciona increíblemente bien. En pruebas realizadas en cuatro conjuntos de datos diferentes (que incluyen redes sociales y catálogos de productos), PriDyG logró mantener la precisión de sus predicciones incluso mientras el grafo cambiaba miles de veces. Demostró que, al combinar una actualización estructural que preserva la privacidad con un lector de texto libre de privacidad, se puede mantener una alta precisión sin que el costo de privacidad se salga de control. Los autores descubrieron que este método es mucho mejor que las formas antiguas de intentar ahorrar privacidad, las cuales usualmente resultaban en una computadora tan ruidosa que no podía hacer ninguna predicción útil después de unas pocas actualizaciones. Demostraron que su enfoque mantiene el costo de privacidad constante, independientemente de cuántas actualizaciones ocurran, mientras sigue entregando resultados competitivos con sistemas que no utilizan protección de privacidad alguna.

Resumen Técnico: PriDyG

Formulación del Problema

El artículo aborda el desafío de la Inferencia de Grafos Dinámicos con Privacidad Diferencial (DP) a nivel de arista (EDG). En los grafos dinámicos, donde las aristas llegan continuamente y los modelos requieren actualizaciones frecuentes, los métodos existentes de preservación de la privacidad enfrentan dos desafíos críticos:

Compromiso Utilidad-Privacidad (Desafío 1): Imponer DP a nivel de arista requiere inyectar ruido en la agregación de vecindad, lo que distorsiona las señales estructurales esenciales para las Redes Neuronales de Grafos (GNN), provocando una degradación significativa de la precisión en comparación con sus contrapartes no privadas.
Acumulación del Presupuesto de Privacidad (Desafío 2): En entornos dinámicos, las actualizaciones repetidas del modelo suelen activar la composición secuencial de presupuestos de privacidad. Si un mecanismo vuelve a ejecutar la agregación privada en todo el grafo para cada actualización, el costo de privacidad total crece linealmente ( $M \cdot \epsilon$ ) con el número de actualizaciones $M$ , volviéndose rápidamente prohibitivo. Alternativamente, asignar un presupuesto que decae geométricamente a las actualizaciones sucesivas mantiene el costo total acotado, pero hace que la escala del ruido crezca exponencialmente, inutilizando los modelos posteriores.

Los autores definen el problema EDG como el diseño de un mecanismo que responda a consultas de clasificación de nodos y predicción de enlaces en un grafo evolutivo, satisfaciendo la DP a nivel de arista durante toda la ejecución y manteniendo una alta utilidad. Crucialmente, el modelo de amenazas asume que los atributos textuales de los nodos son públicos, mientras que solo la existencia de las aristas está protegida.

Metodología: PriDyG

Los autores proponen PriDyG, un marco que acopla el razonamiento semántico basado en LLM con el aprendizaje estructural de DP-GNN dinámico. La arquitectura opera mediante tres componentes principales:

1. Marco Colaborativo LLM-GNN

PriDyG ejecuta dos ramas complementarias:

Rama DP-GNN: Aprende representaciones estructurales bajo DP a nivel de arista.
Rama LLM: Realiza clasificación zero-shot o puntuación de enlaces utilizando únicamente los atributos textuales de los nodos. Dado que el texto de los nodos es público bajo el modelo de amenazas, esta rama consume cero presupuesto de privacidad.
Fusión con Compuerta de Confianza (Confidence-Gated Fusion): El sistema fusiona dinámicamente las predicciones. Si la predicción de la GNN es confiable (margen alto), se utiliza directamente. Si hay incertidumbre, el sistema fusiona la salida de la GNN con la predicción semántica del LLM. Esto permite que el sistema dependa del ancla semántica estable y libre de privacidad del LLM a medida que la precisión estructural de la GNN se erosiona debido a la acumulación de ruido con el tiempo.

2. Agregación Multi-salto Privada Incremental (PMA)

Para resolver el problema de la acumulación de presupuesto, PriDyG introduce la PMA Incremental, que reemplaza el enfoque de volver a ejecutar la agregación completa en todo el grafo.

Mecanismo: Las nuevas aristas entrantes se almacenan en un búfer. Cuando se emite un comando de reentrenamiento, el algoritmo calcula una agregación "delta" basada solo en las nuevas aristas y añade este delta ruidoso a las agregaciones almacenadas en caché de pasos anteriores.
Garantía de Privacidad: Debido a que cada arista se procesa exactamente una vez (cuando se extrae del búfer), se aplica el Teorema de Composición Paralela. El costo total de privacidad permanece constante ( $\epsilon_{PMA}$ ), independientemente del número de actualizaciones $M$ o del esquema de reentrenamiento.
Preservación de la Señal:
- Un salto (One-hop): La agregación es exacta en señal (sin pérdidas en el caso sin ruido).
- Multi-salto (Multi-hop): El método retiene al menos la mitad de todas las transferencias de información de dos saltos. Omite rutas "hacia atrás en el tiempo" (donde la información fluye de aristas más nuevas a aristas más antiguas), pero este error es estructurado y acotado, a diferencia de la deriva ilimitada de otros métodos.
Acumulación de Ruido: Aunque el presupuesto de privacidad es constante, la varianza del ruido crece linealmente ( $O(M)$ ) con el número de actualizaciones. Sin embargo, este es un crecimiento polinomial, que contrasta fuertemente con el crecimiento exponencial del ruido requerido por las líneas base de presupuesto con decaimiento geométrico.

3. Adaptación de la Predicción de Enlaces

Para la predicción de enlaces, el predictor por defecto utiliza la similitud de coseno sobre las representaciones PMA privatizadas. Para calibrar los pesos de fusión sin violar la DP a nivel de arista, los autores utilizan Respuesta Aleatoria (Randomized Response) en un conjunto disjunto de pares de nodos para generar etiquetas privatizadas para el ajuste de los parámetros de fusión ( $\alpha, \tau$ ).

Contribuciones Clave

Marco Colaborativo LLM-GNN: Un flujo de trabajo unificado que reduce la brecha de privacidad-utilidad compensando la pérdida de utilidad de la GNN privatizada con el razonamiento semántico del LLM libre de privacidad.
Inferencia Dinámica de Presupuesto Constante: La propuesta de la PMA Incremental, que logra un costo de privacidad total de $O(1)$ bajo arbitrarias cantidades de actualizaciones de modelo al explotar la disjuntividad de los lotes de aristas, resolviendo fundamentalmente la tensión del presupuesto en la inferencia de grafos dinámicos.
Evaluación Exhaustiva: Experimentos extensos en cuatro conjuntos de datos de referencia (Cora, PubMed, ogbn-arxiv, ogbn-products) para clasificación de nodos y predicción de enlaces.

Resultados

Los experimentos demuestran que PriDyG:

Supera consistentemente a las líneas base de presupuesto con decaimiento geométrico bajo el mismo presupuesto total de privacidad.
Reduce el costo de privacidad acumulado hasta en tres órdenes de magnitud en comparación con los enfoques de reentrenamiento por actualización, manteniendo una utilidad competitiva.
Mantiene una precisión estable sobre flujos de inserción prolongados, mientras que la rama de solo GNN sufre caídas sustanciales de precisión respecto al entrenamiento estático debido a la acumulación de ruido.
Se mantiene competitivo con las líneas base no privadas mientras proporciona garantías formales de DP a nivel de arista.

Significado y Reivindicaciones

El artículo afirma que PriDyG es el primer trabajo en formular y estudiar la inferencia de grafos con DP a nivel de arista sobre grafos actualizados continuamente con el objetivo específico de asegurar que el costo de privacidad no crezca con el número de actualizaciones.

Los autores enfatizan que la colaboración LLM-GNN no es simplemente una mejora de precisión genérica, sino que es específicamente valiosa en el régimen dinámico. A medida que la rama estructural (GNN) se debilita debido a la acumulación de ruido, el flujo de trabajo desplaza naturalmente la dependencia hacia el ancla semántica estable y libre de privacidad del LLM. Este diseño permite actualizaciones frecuentes del modelo sin degradación adicional de la privacidad, abordando un cuello de botella crítico en las aplicaciones de grafos dinámicos del mundo real donde los datos evolucionan continuamente.