🤖 machine learning

PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration

PriDyG is een privacy-bewarend framework voor dynamische graafinferentie dat GNN-gebaseerd structureel leren combineert met LLM-gebaseerde semantische redenering om edge-niveau differentiële privacy te bereiken met constante cumulatieve kosten, waarbij het bestaande baselines aanzienlijk overtreft in nut terwijl het de accumulatie van privacyverlies beperkt.

Oorspronkelijke auteurs: Yuyang Xia, Ruixuan Liu, Li Xiong

Gepubliceerd 2026-08-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Xia, Ruixuan Liu, Li Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, voortdurend veranderende kaart van verbindingen. Sommige lijnen op deze kaart zijn vriendschappen, andere zijn financiële transacties, en sommige zijn geheime medische consultaties. Deze kaart wordt een "graaf" genoemd, en computers gebruiken het om voorspellingen te doen, zoals raden met wie je misschien vriend wilt worden of welk product je als volgende zult kopen. Maar hier zit de crux: als je een computer vraagt om deze kaart te nauwgezet te bestuderen, kan hij per ongeluk die geheime lijnen onthullen, waardoor privérelaties bloot komen te liggen. Om dit te stoppen, gebruiken wetenschappers een wiskundig schild genaamd "Differential Privacy". Denk aan het toevoegen van een beetje statische ruis aan een radiosignaal; het maakt het signaal net fuzzy genoeg zodat niemand een specifiek geheim kan horen, maar duidelijk genoeg om nog steeds de algemene muziek te begrijpen.

Het probleem wordt ingewikkelder wanneer de kaart blijft veranderen. In de echte wereld ontstaan er elke seconde nieuwe vriendschappen en vinden er nieuwe transacties plaats. Als een computer zijn voorspellingen elke keer probeert bij te werken wanneer er een nieuwe lijn wordt getekend, moet hij de hele kaart telkens opnieuw bestuderen. Elke keer dat hij kijkt, wordt het privacyschild een beetje zwakker en de ruis een beetje luider, totdat de voorspellingen nutteloze rommel worden. Dit artikel pakt de grote vraag aan: Hoe kunnen we onze voorspellingen op een veranderende kaart blijven bijwerken zonder dat de privacy opraakt of we verdrinken in ruis?

De auteurs van dit artikel, Yuyang Xia, Ruixuan Liu en Li Xiong, stellen een slim nieuw systeem voor genaamd PriDyG. In plaats van te proberen de computer elke keer de hele rommelige kaart opnieuw te laten scannen wanneer er een enkele nieuwe lijn verschijnt, hebben ze een tweeledig team gebouwd. Eén deel is een "structurele detective" (een Graph Neural Network) die naar de verbindingen kijkt, en het andere deel is een "semantische lezer" (een Large Language Model) die de tekstuele beschrijvingen van de mensen of items die erbij betrokken zijn leest.

Zo werkt hun goocheltruc. De "structurele detective" is degene die het privacyschild nodig heeft omdat hij naar de geheime verbindingen kijkt. Normaal gesproken moet deze detective elke keer dat de kaart verandert de hele kaart opnieuw onderzoeken, wat het privacybudget opsnoept en zoveel ruis toevoegt dat hij in de war raakt. PriDyG verandert het spel door een "buffer"-systeem te gebruiken. In plaats van de hele kaart opnieuw te lezen, kijkt het systeem alleen naar de nieuwe lijnen die sinds de laatste controle zijn gearriveerd. Het berekent het verschil en voegt het toe aan het oude antwoord, zoals het bijwerken van een scorebord door alleen de nieuwe punten toe te voegen in plaats van het hele spel opnieuw te tellen. Dit betekent dat de privacykosten gelijk blijven, ongeacht hoe vaak de kaart wordt bijgewerkt.

Echter, deze "verschil"-methode is niet perfect; het mist sommige zeer complexe, verre verbindingen die een volledige re-scan zou opvangen. Dat is waar het tweede teamlid, de "semantische lezer", in beeld komt. Deze lezer kijkt alleen naar de publieke tekstuele beschrijvingen (zoals de bio van een persoon of de beschrijving van een product) en negeert de geheime verbindingen volledig. Omdat het de privédata niet aanraakt, heeft het helemaal geen privacybudget nodig! Het fungeert als een vangnet. Wanneer de structurele detective te fuzzy of onzeker wordt door de ruis, leunt het systeem zwaarder op de mening van de semantische lezer.

Het artikel laat zien dat deze samenwerking ongelooflijk goed werkt. In tests op vier verschillende datasets (inclusief sociale netwerken en productcatalogi) slaagde PriDyG erin om zijn voorspellingen accuraat te houden, zelfs terwijl de graaf duizenden keren veranderde. Het bewees dat door een privacy-beschermende structurele update te combineren met een privacy-vrije tekstlezer, je een hoge nauwkeurigheid kunt behouden zonder dat de privacykosten uit de hand lopen. De auteurs ontdekten dat deze methode veel beter is dan oudere manieren om privacy te sparen, die meestal resulteerden in een computer die zo ruizig werd dat hij na een paar updates geen nuttige voorspellingen meer kon doen. Ze toonden aan dat hun aanpak de totale privacykosten constant houdt, ongeacht hoeveel updates er plaatsvinden, terwijl het nog steeds resultaten levert die concurrerend zijn met systemen die helemaal geen privacybescherming gebruiken.

Technische Samenvatting: PriDyG

Probleemformulering

Het artikel behandelt de uitdaging van Edge-level Differentially Private (DP) Dynamic Graph Inference (EDG). In dynamische grafen, waar randen (edges) continu binnenkomen en modellen frequente updates vereisen, worden bestaande privacy-bewarende methoden geconfronteerd met twee kritieke uitdagingen:

Utility-Privacy Trade-off (Uitdaging 1): Het afdwingen van edge-level DP vereist het injecteren van ruis in buurt-aggregatie (neighborhood aggregation), wat de structurele signalen die essentieel zijn voor Graph Neural Networks (GNNs) verstoort, wat leidt tot een significante degradatie van de nauwkeurigheid vergeleken met niet-private tegenhangers.
Privacy Budget Accumulation (Uitdaging 2): In dynamische settings leiden herhaalde modelupdates doorgaans tot sequentiële compositie van privacy-budgetten. Als een mechanisme bij elke update een private aggregatie op de gehele graaf opnieuw uitvoert, groeit de totale privacykosten lineair ( $M \cdot \epsilon$ ) met het aantal updates $M$ , wat snel onhoudbaar wordt. Alternatief zorgt het toewijzen van een geometrisch afnemend budget aan opeenvolgende updates voor een begrensd totaal budget, maar dit zorgt ervoor dat de ruisschaal exponentieel groeit, waardoor latere modellen onbruikbaar worden.

De auteurs definiëren het EDG-probleem als het ontwerpen van een mechanisme dat node classificatie en link prediction queries beantwoordt op een evoluerende graaf, terwijl het voldoet aan edge-level DP over de gehele uitvoering en een hoge utility behoudt. Cruciaal is dat het dreigingsmodel ervan uitgaat dat tekstuele kenmerken van nodes publiek zijn, terwijl alleen de aanwezigheid van de randen beschermd is.

Methodologie: PriDyG

De auteurs stellen PriDyG voor, een framework dat LLM-gebaseerde semantische redenering koppelt aan dynamische DP-GNN structurele leerprocessen. De architectuur werkt via drie componenten:

1. LLM-GNN Collaboratief Framework

PriDyG voert twee complementaire takken uit:

DP-GNN Tak: Leert structurele representaties onder edge-level DP.
LLM Tak: Voert zero-shot classificatie of link scoring uit met alleen de tekstuele kenmerken van de nodes. Omdat node-tekst publiek is onder het dreigingsmodel, verbruikt deze tak nul privacy-budget.
Confidence-Gated Fusion: Het systeem fuseert voorspellingen dynamisch. Als de GNN-voorspelling zelfverzekerd is (hoge marge), wordt deze direct gebruikt. Bij onzekerheid fuseert het systeem de GNN-output met de semantische voorspelling van de LLM. Dit stelt het systeem in staat om te vertrouwen op de stabiele, privacy-vrije LLM-anker naarmate de structurele nauwkeurigheid van de GNN erodeert door de accumulatie van ruis over de tijd.

2. Incremental Private Multi-hop Aggregation (PMA)

Om het probleem van budgetaccumulatie op te lossen, introduceert PriDyG Incremental PMA, wat de aanpak van het opnieuw uitvoeren van volledige aggregatie op de gehele graaf vervangt.

Mechanisme: Nieuw binnengekomen randen worden gebufferd. Wanneer een hertrainingscommando wordt uitgegeven, berekent het algoritme een "delta" aggregatie gebaseerd alleen op de nieuwe randen en voegt deze toe aan de gecachte aggregaties van vorige stappen.
Privacy Garantie: Omdat elke rand precies één keer wordt verwerkt (wanneer deze uit de buffer wordt gehaald), is het Parallel Composition Theorem van toepassing. De totale privacykosten blijven constant ( $\epsilon_{PMA}$ ), onafhankelijk van het aantal updates $M$ of het hertrainingsschema.
Signaalbehoud:
- One-hop: De aggregatie is signaal-exact (verliesloos in het niet-private geval).
- Multi-hop: De methode behoudt ten minste de helft van alle twee-hop informatieoverdrachten. Het laat "backward-in-time" paden weg (waar informatie van nieuwere randen naar oudere randen stroomt), maar deze fout is gestructureerd en begrensd, in tegen tegenstelling tot de onbegrensde drift van andere methoden.
Ruisaccumulatie: Hoewel het privacy-budget constant is, groeit de ruisvariantie polynomiaal ( $O(M)$ ) met het aantal updates. Echter, dit is een polynomiale groei, wat scherp contrasteert met de exponentiële ruisgroei die vereist is door geometrisch afnemende budget-baselines.

3. Link Prediction Adaptatie

Voor link prediction gebruikt de standaard predictor cosine similarity op geprivatiseerde PMA-representaties. Om de fusie-gewichten te kalibreren zonder edge-level DP te schenden, gebruiken de auteurs Randomized Response op een disjuncte set van node-paren om geprivatiseerde labels te genereren voor het afstemmen van de fusieparameters ( $\alpha, \tau$ ).

Belangrijkste Bijdragen

LLM-GNN Collaboratief Framework: Een uniforme pijplijn die de privacy-utility kloof verkleint door de verlies aan GNN-utility door privatisatie te compenseren met privacy-vrije LLM semantische redenering.
Constant-Budget Dynamische Inferentie: De voorstel van Incremental PMA, die een $O(1)$ totale privacykosten bereikt bij een willekeurig aantal modelupdates door gebruik te maken van de disjunctheid van edge-batches, wat de spanning tussen budget en dynamische graf-inferentie fundamenteel oplost.
Uitgebreide Evaluatie: Uitgebreide experimenten op vier benchmark datasets (Cora, PubMed, ogbn-arxiv, ogbn-products) voor node classificatie en link prediction.

Resultaten

Experimenten tonen aan dat PriDyG:

Consistent presteert beter dan geometrisch afnemende budget-baselines onder hetzelfde totale privacy-budget.
De cumulatieve privacykosten met wel drie ordes van grootte vermindert vergeleken met per-update hertrainingsbenaderingen, terwijl het concurrerende utility behoudt.
Een stabiele nauwkeurigheid behoudt over lange insertiestromen, terwijl de GNN-alleen tak substantiële nauwkeurigheidsdalingen lijdt ten opzichte van statische training door de accumulatie van ruis.
Concurrerend blijft met niet-private baselines terwijl het formele edge-level DP garanties biedt.

Betekenis en Claims

Het artikel claimt dat PriDyG het eerste werk is dat edge-level DP graf-inferentie formuleert en bestudeert over continu bijgewerkte grafen met het specifieke doel om te garanderen dat de privacykosten niet groeien met het aantal updates.

De auteurs benadrukken dat de LLM-GNN samenwerking niet louter een generieke verbetering van de nauwkeurigheid is, maar specifiek waardevol is in het dynamische regime. Naarmate de structurele tak (GNN) zwakker wordt door geaccumuleerde ruis, verschuift de pijplijn de afhankelijkheid natuurlijk naar de stabiele, privacy-vrije LLM-anker. Dit ontwerp maakt frequente modelupdates mogelijk zonder extra privacy-degradatie, wat een kritieke bottleneck aanpakt in real-world dynamische grafen-applicaties waar data continu evolueert.