🤖 machine learning

Continual Learning With Participation Privacy: An Auditable Buffering-Aggregation Recipe

Dit artikel stelt een controleerbaar modulair recept voor om trajectniveau-differentieel privacy te bereiken in continu leren onder participatieprivacybeperkingen door een gerandomiseerde bufferingwrapper te gebruiken om single-edit gebruikersstromen te transformeren naar beheersbare Hamming-stijl bin-updates, waardoor standaard differentieel private primitieven de privacygaranties kunnen handhaven ondanks adaptieve interacties.

Oorspronkelijke auteurs: T-H. Hubert Chan, Elaine Shi, Mengshi Zhao, Mingxun Zhou

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: T-H. Hubert Chan, Elaine Shi, Mengshi Zhao, Mingxun Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, collaboratieve kookwedstrijd organiseert. Duizenden koks (gebruikers) sturen één voor één hun geheime recepten (data) naar een centrale rechter (de server) om één enkel, perfect meestergerecht (het machine learning-model) te creëren.

Het probleem is dat de rechter na elke paar toegevoegde ingrediënten een "proefmoment" van het gerecht vrijgeeft. Een sluwe observator (de tegenstander) houdt elk proefmoment nauwlettend in de gaten. Zij willen ontdekken of een specifieke kok, laten we hem Chef Bob noemen, ooit heeft deelgenomen.

In de wereld van privacy maken we ons meestal zorgen over het beschermen van de inhoud van het recept van Chef Bob. Maar deze paper maakt zich zorgen over het beschermen van de existentie van Chef Bob. Zelfs als Bobs recept verborgen blijft, kan het loutere feit dat het gerecht veranderde omdat hij een ingrediënt toevoegde, onthullen dat hij aanwezig was.

Hier is de eenvoudige uitsplitsing van de oplossing uit de paper, met behulp van enkele creatieve analogieën:

1. Het Probleem: Het "Domino-effect" van Privacy

Normaal gesproken gaan privacytools ervan uit dat als je één ingrediënt verandert, alleen die ene plek in het recept verandert. Dit is als het vervangen van een snufje zout door een snufje peper; de rest van het gerecht blijft exact hetzelfde.

Maar in dit scenario van "participatie-privacy" verschuift, als Chef Bob niet verschijnt, elk ingrediënt dat na hem komt naar voren. Dit is als het verwijderen van de eerste domino in een lange rij; elke domino die daarna komt, valt anders. Deze "verschuiving" breekt de standaard privacytools omdat de volledige tijdlijn van het gerecht er volledig anders uitziet, niet alleen één specifere plek.

2. De Oplossing: De "Mystery Box" Lopende Band

De auteurs stellen een tweestaps-"recept" voor om dit op te lossen: Randomized Buffering en Certified Aggregation.

Stap A: De Mystery Box (Randomized Buffering)

Stel je voor dat de ingrediënten niet rechtstreeks naar de rechter gaan. In plaats daarvan gaan ze op een lopende band met een "Mystery Box"-systeem.

De Regel: Het systeem wacht tot het een willekeurige hoeveelheid ingrediënten heeft verzameld (bijvoorbeeld tussen de 10 en 20) voordat het een doos opent en deze naar de rechter stuurt.
De Magie: Omdat de grootte van de doos willekeurig is en de timing willekeurig is, wordt de "verschuiving" in de tijdlijn afgevlakt als Chef Bob ontbreekt; het systeem wacht dan simpelweg iets langer of vult de doos met iets andere ingrediënten.
Het Resultaat: Voor de rechter (en de sluwe observator) ziet de stroom ingrediënten er nu uit als een standaard lijst waarbij slechts één doos misschien iets anders is, in plaats van een hele tijdlijn die is verschoven. Het verandelt een "Domino-effect"-probleem in een eenvoudig "Eén-Doos"-probleem.

Noot: Dit introduceert wel een vertraging. De ingrediënten moeten in de doos wachten tot deze vol genoeg is. De paper berekent precies hoeveel vertraging nodig is op basis van hoeveel privacy gewenst is.

Stap B: De Gecertificeerde Rechter (Adaptive Safety)

Zodra de ingrediënten in deze Mystery Boxes zitten, worden ze naar een speciale rechter gestuurd die ze toevoegt aan het meestergerecht.

De Uitdaging: De rechter geeft na elke doos een snapshot van het gerecht vrij. De sluwe observator kan het vorige snapshot gebruiken om te beslissen wat er vervolgens wordt gestuurd (dit wordt "adaptive interaction" genoemd).
De Oplossing: De auteurs hebben een "Certificeringschecklist" gemaakt. Ze hebben bewezen dat als de rechter twee eenvoudige regels volgt, de privacy standhoudt, zelfs als de observator kijkt en reageert:
1. Verse Dobbelstenen: De rechter moet voor elke doos die hij verwerkt, een nieuwe, verse set dobbelstenen (willekeur) gooien. Oude dobbelstenen mogen niet hergebruikt worden.
2. Stabiele Context: De rechter moet ervoor zorgen dat de "ruis" (de privacybescherming) die aan een specifieke doos wordt toegevoegd, alleen afhangt van die doos, en niet van wat er vóór of na is gebeurd.

Als de rechter deze regels volgt, bewijzen de auteurs dat de privacygaranties standhouden, zelfs wanneer de sluwe observator het hele proces in de gaten houdt.

3. De Definitieve Garantie

Door de Mystery Box (die de "verschuiving" verbergt die wordt veroorzaakt door een ontbrekend persoon) te combineren met de Gecertificeerde Rechter (die veilig blijft terwijl hij wordt bekeken), garandeert het systeem dat:

Het uiteindelijke gerecht nog steeds heerlijk is (het model leert goed).
De sluwe observator niet kan zien of Chef Bob heeft deelgenomen of niet, zelfs als zij elke enkele snapshot van de bereiding van het gerecht bekijken.
De kosten van deze privacy een voorspelbare vertraging zijn (de tijd dat ingrediënten in de Mystery Box wachten).

Samenvatting in één zin

De paper vindt een "Mystery Box"-systeem uit dat de verwerking van data randomiseert om te verbergen of iemand is toegetreden of vertrokken, en bewijst dat standaard privacytools nog steeds veilig kunnen werken, zelfs wanneer de data in realtime wordt gegenereerd op basis van wat de observator ziet.

Technische Samenvatting: Continual Learning Met Participatieprivacy

Probleemstelling
Moderne federated en streaming learning-systemen geven frequent tussenliggende model-snapshots vrij tijdens de training, waardoor het volledige traject van updates $(w(t))_{t \ge 0}$ aan een tegenstander wordt blootgesteld in plaats van alleen een eindmodel. Hoewel klassieke differential privacy (DP) analyses voor continue releases vaak uitgaan van Hamming-buur stromen (waarbij twee stromen verschillen op exact één tijdstip), vereisen veel real-world implementaties participatieprivacy. In deze setting wil een gebruiker plausibele ontkenbaarheid kunnen garanderen met betrekking tot de vraag of zij überhaupt hebben deelgenomen. Dit motiveert single-edit (edit-afstand) buur stromen, waarbij twee stromen buren zijn als de ene verkregen kan worden uit de andere door een enkele gebruikersgebeurtenis in te voegen of te verwijderen.

De kern van de moeilijkheid is dat een enkele invoeging of verwijdering de uitlijning van alle daaropvolgende posities in de stroom verschuift. Gevolgelijk kan een edit-buurpaar willekeurig ver verwijderd zijn van een Hamming-buurpaar. Bovendien is continual learning inherent interactief: vrijgegeven modellen beïnvloeden toekomstige gebruikersupdates, wat een adaptieve feedbackloop creëert. Standaard continue DP-primitieven (bijv. boomgebaseerde prefix-sommen) werden oorspronkelijk geanalyseerd onder statische, niet-adaptieve Hamming-aannames, en hun garanties laten zich niet direct vertalen naar de combinatie van edit-buur stromen en adaptieve interactie.

Methodologie: Een Auditeerbaar Buffering-Aggregatie Recept
De auteurs stellen een modulaire pijplijn voor die bestaat uit twee primaire componenten: een gerandomiseerde buffering-wrapper en een gecertificeerde continue-release DP-primitief.

Gerandomiseerde Buffering (RandBin):
- Deze component fungeert als een interface die een single-edit buur gebeurtenissenstroom omzet in een ijle, Hamming-stijl per-bin update-stroom.
- Het introduceert willekeurige vertragingen, waarbij gebruikersupdates worden vrijgegeven in "bins" van gecontroleerde grootte $[U, 2U]$ , waarbij $U$ een parameter is die gekalibreerd wordt door het privacybudget $(\varepsilon, \delta)$ .
- Door de grenzen van deze bins te randomiseren, induceert een enkele invoeging of verwijdering in de invoerstroom slechts een begrensde, Hamming-stijl perturbatie in de uitgevoerde bin-stroom (specifiek, het beïnvloedt maximaal twee aangrenzende bins).
- Het mechanisme biedt expliciete backlog- en vertragingsgaranties, waardoor gegarandeerd wordt dat het aantal openstaande gebeurtenissen met hoge waarschijnlijkheid begrensd blijft.
Certificering van Adaptieve Veiligheid:
- De auteurs introduceren een certificeringstheorema om te bepalen wanneer een standaard niet-adaptieve DP-bewijs voor een continue primitief geldig blijft onder adaptieve interactie (feedback).
- De certificering vereist twee structurele condities voor de downstream primitief:
  - Verse Per-ronde Willekeur: Het mechanisme moet onafhankelijke willekeur gebruiken bij elke release-stap.
  - Stabiele Context (Kwantitatieve Decomposability): Veelvoorkomende adaptieve updates mogen de vrijgegeven statistiek weliswaar veranderen, maar ze mogen de privacykosten van de unieke Hamming-discrepantie tussen buurstromen niet wijzigen.
- Primitieven die aan deze condities voldoen (bijv. boomgebaseerde prefix-sommen, onder-triangulaire matrixmechanismen) worden beschouwd als "feedback-veilig", waardoor hun niet-adaptieve privacy-analyses direct kunnen worden toegepast op de adaptieve setting.
Modulaire Compositie:
- De pijplijn combineert de gerandomiseerde buffering (die edit-nabijheid reduceert tot Hamming-nabijheid) met de gecertificeerde DP-aggregator.
- De end-to-end privacygarantie wordt afgeleid via een modulaire compositie-stelling, die de neighbor-preserving (NPDP) eigenschap van de wrapper combineert met de adaptieve DP-eigenschap van de aggregator.

Belangrijkste Bijdragen

Formalisering van Edit-Buur Continual Learning: Het artikel formaliseert participatieprivacy via single-edit buur gebruikers-update stromen in een continual learning setting met tussenliggende releases en adaptieve feedback.
Expliciete Privacy-Latentie Koppeling: De auteurs bieden een modulaire pijplijn waarbij de beoogde privacyparameters $(\varepsilon, \delta)$ expliciet de buffering-niveau $U$ bepalen, waardoor een kwantificeerbare vertraging/veroudering in het leerproces wordt geïnduceerd.
Certificeringstheorema voor Adaptieve Veiligheid: Er wordt een herbruikbare, controleerbare conditie vastgesteld waaronder standaard niet-adaptieve Hamming-buur DP-bewijzen voor continue primitieven geldig blijven onder adaptieve interactie. Deze conditie combineert verse willekeur met een eis van een stabiele context.
End-to-End Garantie: Het artikel bewijst dat de samengestelde pijplijn traject-niveau $(\varepsilon, \delta)$ -DP bereikt voor single-edit buur stromen onder feedback.

Resultaten en Instantiatie

Theoretische Garanties: De hoofdtheorema (Theorem 3.1) stelt dat door het buffering-niveau $U = \Theta(\frac{1}{\varepsilon_b} \log \frac{1}{\delta_b})$ in te stellen, het systeem $(\varepsilon, \delta)$ -DP bereikt voor single-edit stromen. De backlog is begrensd door $O(\frac{1}{\varepsilon_b} \log t (\log t + \log \frac{1}{\delta_b}))$ .
SGD Instantiatie: Het recept wordt geïnstantieerd met streaming Stochastic Gradient Descent (SGD). De aggregator gebruikt standaard boomgebaseerde of onder-triangulaire matrix prefix-sum mechanismen.
Experimentele Context: Het artikel verwijst naar experimenten in een begeleid werk [CSZZ26] die nauwkeurigheid versus $(\varepsilon, \delta)$ en empirische vertragingsverdelingen rapporteren. De theoretische convergentie van DP-SGD varianten wordt als reeds uitgebreid geanalyseerd in eerdere literatuur vermeld.

Betekenis en Claims
Het artikel claimt een fundamentele kloof te overbruggen tussen participatieprivacy (edit-nabijheid) en adaptieve continue release. Het toont aan dat naïeve continue-release analyses niet van toepassing zijn op edit-buur stromen vanwege verschuivingen in de uitlijning. Door een "schilderende" interface (gerandomiseerde buffering) en een structurele certificering voor adaptieve veiligheid te introduceren, stelt het de auteurs in staat om de canonieke continue DP-primitieven (zoals tree prefix sums) veilig te hergebruiken in interactieve, participatie-gevoelige settings.

Het werk legt de nadruk op modulariteit en auditeerbaarheid: de pijplijn scheidt het probleem van het afhandelen van edit-nabijheid (upstream) van het probleem van het afhandelen van adaptieve feedback (downstream). Dit stelt systeemontwerpers in staat om verschillende gecertificeerde primitieven in te pluggen terwijl rigoureuze, end-to-end privacygaranties behouden blijven met expliciete trade-offs tussen privacy, latentie en nut. De auteurs merken op dat hun certificeringsconditie voldoende maar niet noodzakelijk is, en dat de vertraging die door de buffering wordt geïnduceerd een intrinsieke kost is van het bereiken van edit-privacy in een continual setting.