Privacy-Preserving Continual Learning for Detecting Concept Drift in Distributed Artificial Intelligence Systems

No mundo moderno, os sistemas de inteligência artificial são cada vez mais construídos não em enormes centros de dados centralizados, mas através de milhares de dispositivos separados: hospitais, escolas, bancos e smartphones. Esta abordagem, conhecida como aprendizagem distribuída, permite que estes sistemas aprendam com dados locais sem nunca mover essa informação sensível para uma localização central. No entanto, o mundo real não é estático. Os padrões dos quais estes sistemas aprendem mudam ao longo do tempo; um novo tipo de ataque cibernético surge, uma mudança sazonal altera o consumo de energia ou uma mudança na demografia estudantil altera os comportamentos de aprendizagem. No campo da aprendizagem automática, esta paisagem mutável é chamada de deriva de conceito (concept drift). Se um sistema não consegue detetar estas mudanças, começa a cometer erros, a apegar-se a regras antigas que já não se aplicam. O desafio para os sistemas distribuídos é duplo: eles devem detetar estas mudanças rapidamente para manter a precisão, mas também devem fazê-lo sem espreitar os dados privados que causaram a mudança em primeiro lugar.

Investigadores da Universidade de Atlantis abordaram este difícil equilíbrio ao conceber um novo quadro que permite à inteligência artificial distribuída detetar estas mudanças enquanto mantém os dados individuais estritamente privados. A ideia central é tratar o sinal que avisa de uma mudança como um canal separado e protegido. Em vez de enviar dados brutos ou mesmo relatórios de erro não encriptados, o sistema envia um resumo fortemente embaralhado de quão bem o modelo está a desempenhar. Este resumo é misturado com ruído matemático, uma técnica que garante a privacidade ao tornar impossível a engenharia reversa dos dados originais a partir do sinal. O servidor central observa então estes resumos ruidosos para decidir se o sistema precisa de reaprender as suas regras. Os investigadores testaram este método em três tipos diferentes de fluxos de dados: procura de eletricidade, tráfego de rede simulado e dados sintéticos concebidos para imitar tendências mutáveis. Eles descobriram que o sistema conseguia detetar com sucesso quando o mundo tinha mudado, desde que as definições de privacidade não fossem configuradas de forma demasiado estrita.

O estudo revela um ponto de rutura distinto na forma como a privacidade afeta o desempenho. Quando os investigadores permitiram uma quantidade moderada de proteção de privacidade, o sistema detetou mudanças apenas cerca de trinta por cento mais lentamente do que um sistema sem quaisquer proteções de privacidade. Este atraso, medido em rondas de comunicação entre dispositivos, é frequentemente aceitável para aplicações do mundo real, como a monitorização de redes elétricas ou tendências educativas. No entanto, a relação entre privacidade e desempenho não é uma transição suave. Se a proteção de privacidade for apertada além de um determinado limiar crítico, o sistema não apenas abranda; ele quebra. Abaixo deste limiar, o ruído adicionado para proteger a privacidade torna-se tão alto que abafa o sinal real de mudança. O sistema começa a dar falsos alarmos, confundindo ruído aleatório com uma mudança real, ou falha totalmente em notar mudanças reais. Os investigadores identificaram esta fronteira crítica num valor de privacidade específico de um; abaixo deste número, o sistema torna-se efetivamente cego às mudanças que deveria acompanhar.

Para além de apenas detetar mudanças, o quadro também teve de resolver o problema do esquecimento. Em muitos sistemas de aprendizagem, quando um modelo aprende um novo conceito, muitas vezes apaga o que sabia sobre o anterior, um fenómeno conhecido como esquecimento catastrófico. A solução proposta utiliza um truque de memória inteligente que não requer o armazenamento de quaisquer exemplos reais de dados passados, o que seria um risco de privacidade. Em vez disso, o sistema recorda o "sentir" matemático das respostas antigas que deu, em vez das perguntas em si. Isto permite que o sistema se adapte a novas tendências enquanto mantém o conhecimento das anteriores. Em testes onde os dados oscilaram entre dois padrões diferentes, este método melhorou a capacidade do sistema de recordar os padrões antigos em até onze pontos percentuais em comparação com os métodos padrão que simplesmente reentrenam nos novos dados. Isto significa que o sistema pode aprender uma nova competência sem perder a antiga, mantendo todos os dados subjacentes ocultos.

A investigação também destacou uma limitação significativa quando a mudança não afeta todos de forma igual. No mundo real, uma nova regulamentação pode aplicar-se apenas a uma região específica, ou um novo vírus pode visar apenas um subconjunto de dispositivos. O estudo descobriu que, quando apenas uma parte da rede experimenta uma mudança, o sistema tem dificuldade em detetá-la, a menos que as definições de privacidade sejam muito permissivas. O próprio mecanismo que protege a privacidade — misturar dados de muitas fontes — também dilui o sinal de um pequeno grupo que está a mudar. Se a mudança afetar menos de quarenta por cento dos participantes, o sistema muitas vezes não a nota, a menos que o orçamento de privacidade seja aumentado significativamente. Isto sugere que, embora o método funcione bem para mudanças amplas e sistémicas, pode necessitar de uma abordagem diferente, como agrupar dispositivos por região ou organização, para captar mudanças menores e localizadas sem sacrificar a privacidade.

Em última análise, este trabalho define os limites práticos da privacidade em sistemas de aprendizagem adaptativa. Demonstra que é possível construir uma inteligência distribuída que seja simultaneamente privada e responsiva, mas apenas dentro de um intervalo específico de configurações. As descobertas sugerem que, para muitas aplicações, tais como análise educativa ou monitorização de infraestruturas, um nível moderado de proteção de privacidade oferece um ponto ideal onde o sistema permanece preciso e responsivo. No entanto, para ambientes de alto risco onde as mudanças acontecem instantaneamente, como a cibersegurança, o atraso causado por medidas de privacidade estritas pode ser demasiado grande. O estudo conclui que não existe uma configuração única que funcione para todas as situações; em vez disso, os designers de sistemas devem escolher um nível de privacidade que corresponda à velocidade com que o seu mundo específico muda, compreendendo que forçar demasiado a privacidade acabará por tornar o sistema incapaz de ver o mundo a mudar à sua volta.