Continual Learning With Participation Privacy: An Auditable Buffering-Aggregation Recipe

Resumo Técnico: Aprendizado Contínuo com Privacidade de Participação

Definição do Problema
Sistemas modernos de aprendizado federado e de fluxo frequentemente liberam instantâneos (snapshots) intermediários do modelo durante o treinamento, expondo toda a trajetória de atualizações $(w(t))_{t \ge 0}$ a um adversário, em vez de apenas um modelo final. Embora as análises clássicas de privacidade diferencial (DP) para liberação contínua frequentemente assumam fluxos de vizinhos de Hamming (onde dois fluxos diferem em exatamente um índice temporal), muitas implementações do mundo real exigem privacidade de participação. Neste cenário, um usuário pode desejar garantir a negação plausível quanto ao fato de ter participado ou não. Isso motiva o uso de fluxos de vizinhos de edição única (distância de edição), onde dois fluxos são vizinhos se um puder ser obtido a partir do outro pela inserção ou exclusão de um único evento de usuário.

A dificuldade central é que uma única inserção ou exclusão altera o alinhamento de todas as posições subsequentes no fluxo. Consequentemente, um par de vizinhos por edição de distância pode estar arbitrariamente longe de ser vizinho de Hamming. Além disso, o aprendizado contínuo é intrinsecamente interativo: modelos liberados influenciam atualizações futuras de usuários, criando um ciclo de feedback adaptativo. Primitivas de DP contínua padrão (ex: somas de prefixo baseadas em árvores) foram originalmente analisadas sob suposições de Hamming estáticas e não adaptativas, e suas garantias não se transferem diretamente para a combinação de fluxos de vizinhos por edição de distância e interação adaptativa.

Metodologia: Uma Receita de Agregação de Buffering Auditável
Os autores propõem um pipeline modular composto por dois componentes primários: um wrapper de buffering randomizado e uma primitiva de DP de liberação contínua certificada.

1. Buffering Randomizado (RandBin):

   • Este componente atua como uma interface que converte um fluxo de eventos de vizinhança de edição única em um fluxo de atualização por bin de estilo Hamming esparso.
   • Ele introduz atrasos aleatórios, liberando as atualizações do usuário em "bins" de tamanho controlado $[U, 2U]$, onde $U$ é um parâmetro calibrado pelo orçamento de privacidade $(\varepsilon, \delta)$.
   • Ao randomizar os limites desses bins, uma inserção ou exclusão única no fluxo de entrada induz apenas uma perturbação limitada de estilo Hamming no fluxo de bins emitido (especificamente, afetando no máximo dois bins adjacentes).
   • O mecanismo fornece garantias explícitas de backlog e atraso, garantindo que o número de eventos pendentes permaneça limitado com alta probabilidade.

2. Certificação de Segurança Adaptativa:

   • Os autores introduzem um teorema de certificação para determinar quando uma prova de DP não adaptativa padrão para uma primitiva contínua permanece válida sob interação adaptativa (feedback).
   • A certificação requer duas condições estruturais para a primitiva descendente:
     • Aleatoriedade Fresca por Rodada: O mecanismo deve usar aleatoriedade independente em cada etapa de liberação.
     • Contexto Estável (Decomponibilidade Quantitativa): Atualizações adaptativas comuns podem alterar a estatística liberada, mas não devem alterar o custo de privacidade da discrepância de Hamming única entre fluxos vizinhos.
   • Primitivas que satisfazem essas condições (ex: somas de prefixo baseadas em árvores, mecanismos de matriz triangular inferior) são consideradas "seguras para feedback", permitindo que suas análises de privacidade não adaptativas sejam elevadas diretamente para o cenário adaptativo.

3. Composição Modular:

   • O pipeline compõe o buffering (que reduz a adjacência por edição à adjacência de Hamming) com o agregador de DP certificado.
   • A garantia de privacidade de ponta a ponta é derivada via um teorema de composição modular, combinando a propriedade de preservação de vizinhança (NPDP) do wrapper com a propriedade de DP adaptativa do agregador.

Principais Contribuições

• Formalização do Aprendizado Contínuo de Vizinhos de Edição: O artigo formaliza a privacidade de participação via fluxos de atualização de usuário de vizinhança de edição única em um cenário de aprendizado contínuo com liberações intermediárias e feedback adaptativo.
• Elo Explícito entre Privacidade e Latência: Os autores fornecem um pipeline modular onde os parâmetros de privacidade alvo $(\varepsilon, \delta)$ determinam explicitamente o nível de buffering $U$, induzindo assim um atraso/obsolescência quantificável no processo de aprendizado.
• Teorema de Certificação para Segurança Adaptativa: Uma condição reutilizável e verificável é estabelecida sob a qual as provas de DP de vizinhança de Hamming não adaptivas padrão para primitivas contínuas permanecem válidas sob interação adaptativa. Esta condição combina aleatoriedade fresca com um requisito de contexto estável.
• Garantia de Ponta a Ponta: O artigo prova que o pipeline composto atinge $(\varepsilon, \delta)$-DP para fluxos de vizinhança de edição única sob feedback.

Resultos e Instanciação

• Garantias Teóricas: O teorema principal (Teorema 3.1) afirma que, ao definir o nível de buffering $U = \Theta(\frac{1}{\varepsilon_b} \log \frac{1}{\delta_b})$, o sistema atinge $(\varepsilon, \delta)$-DP para fluxos de edição única. O backlog é limitado por $O(\frac{1}{\varepsilon_b} \log t (\log t + \log \frac{1}{\delta_b}))$.
• Instanciação de SGD: A receita é instanciada com o Gradiente Descendente Estocástico (SGD) de fluxo. O agregador utiliza mecanismos padrão de soma de prefixo baseados em árvores ou matrizes triangulares inferiores.
• Contexto Experimental: O artigo faz referência a experimentos em um trabalho complementar [CSZZ26] que relatam precisão versus $(\varepsilon, \delta)$ e distribuições empíricas de atraso. A convergência teórica de variantes de DP-SGD é observada como já extensivamente analisada na literatura prévia.

Significância e Alegações
O artigo afirma preencher uma lacuna fundamental entre privacidade de participação (adjacência por edição) e liberação contínua adaptativa. Demonstra que análises de liberação contínua ingênuas não se aplicam a fluxos de vizinhos por edição devido aos deslocamentos de alinhamento. Ao introduzir uma interface de "blindagem" (buffering randomizado) e uma certificação estrutural para segurança adaptativa, os autores permitem o reuso seguro de primitivas de DP contínua canônicas (como somas de prefixo de árvore) em cenários interativos e sensíveis à participação.

O trabalho enfatiza a modularidade e a auditabilidade: o pipeline separa o problema de lidar com a adjacência por edição (upstream) do problema de lidar com o feedback adaptativo (downstream). Isso permite que projetistas de sistemas utilizem diferentes primitivas certificadas enquanto mantêm garantias rigorosas de privacidade de ponta a ponta com trade-offs explícitos entre privacidade, latência e utilidade. Os autores observam que sua condição de certificação é suficiente, mas não necessária, e que o atraso induzido pelo buffering é um custo intrínseco para alcançar a privacidade de edição em um cenário contínuo.