ERASE -- A Real-World Aligned Benchmark for Unlearning in Recommender Systems

O artigo apresenta o ERASE, um benchmark em larga escala e alinhado com cenários reais para avaliar o aprendizado de máquina em sistemas de recomendação, demonstrando que, embora métodos aproximados possam igualar o re-treinamento em alguns casos, a robustez varia significativamente entre abordagens e arquiteturas, especialmente sob unlearning sequencial.

O essencial

O Problema: O "Esquecimento" é Difícil para Computadores

Imagine que você tem um chef de cozinha (o sistema de recomendação) que aprendeu a cozinhar milhões de pratos baseados no que você e seus amigos gostam. Ele é ótimo em sugerir o que você vai querer comer amanhã.

Mas, e se você decidir que não quer mais que ele saiba que você gosta de picles? Talvez você tenha uma alergia, ou apenas mudou de ideia. Pela lei (como a GDPR na Europa), você tem o "direito de ser esquecido". Você pede para o chef apagar essa informação da memória dele.

O problema é: como você pede para um chef esquecer um ingrediente específico sem ter que demitir o chef e contratar um novo do zero?

Atualmente, para "apagar" essa informação, as empresas muitas vezes precisam recomeçar tudo: demitir o chef, contratar um novo, e ensiná-lo a cozinhar desde o início, sem nunca ter visto o picles. Isso é caro, demorado e ineficiente.

A Solução: O Benchmark ERASE

Os autores deste artigo criaram um novo "campo de provas" chamado ERASE. Pense no ERASE como um simulador de treinamento para ver quais métodos de "apagamento" funcionam melhor na vida real.

Antes do ERASE, os testes eram como se você pedisse ao chef para esquecer 50% de todos os ingredientes de uma vez só. Isso é irreal! Na vida real, você pede para esquecer um ou dois itens de cada vez, e o sistema precisa responder rápido.

O ERASE muda as regras do jogo para ser mais realista:

1. Pequenos pedidos: Em vez de apagar tudo de uma vez, ele testa apagar itens sensíveis (como álcool para um alcoólatra) ou lixo (spam) aos poucos.
2. Vários cenários: Ele testa não só filmes (como o Netflix), mas também compras em supermercado (cestas de compras) e sessões de navegação rápida.
3. Velocidade: O método precisa ser rápido. Se demorar tanto quanto recomeçar do zero, não vale a pena.

Os "Mágicos" do Apagamento (Algoritmos)

O ERASE testou vários "truques" (algoritmos) que tentam apagar a memória do chef sem demiti-lo. Eles se dividem em dois grupos:

• Os Generalistas: São como mágicos que tentam apagar qualquer coisa de qualquer sistema. Eles são versáteis, mas às vezes falham quando o sistema é muito complexo (como redes neurais avançadas).
• Os Especialistas: São mágicos que estudaram especificamente como funciona o "cérebro" de um sistema de recomendação. Eles sabem exatamente qual neurônio apagar.

O Que Eles Descobriram? (Os Resultados)

Ao rodar o simulador ERASE, eles encontraram algumas surpresas:

1. Nem todo apagamento é igual: Alguns métodos funcionam muito bem em alguns cenários e falham miseravelmente em outros. É como tentar usar uma chave de fenda para apertar um parafuso: às vezes funciona, mas não é o ideal.
2. O Especialista Venceu: O método chamado SCIF (um especialista em recomendações) foi o mais consistente. Ele conseguiu "apagar" a informação sem estragar o sabor dos outros pratos (a qualidade das recomendações).
3. O Perigo de Pedir Muitas Vezes: Se você pedir para o sistema esquecer coisas repetidamente, os métodos "generalistas" começam a ficar confusos e o sistema perde a qualidade. Os especialistas aguentam melhor a pressão.
4. Velocidade é Tudo: A maioria dos métodos ainda é lenta demais para ser usada em tempo real. Eles precisam ser milhares de vezes mais rápidos do que recomeçar do zero para valer a pena no mundo real.

A Grande Conquista: O Kit de Ferramentas

A parte mais legal do ERASE não é apenas o teste, mas o que eles liberam para a comunidade.

Imagine que eles construíram uma gigantesca biblioteca de receitas e chefs treinados e deixaram de graça para todos.

• Eles treinaram os modelos (os chefs).
• Eles criaram os dados de teste (os pedidos de esquecimento).
• Eles salvaram o resultado de cada tentativa.

Isso significa que, agora, qualquer pesquisador no mundo pode pegar esse "kit", testar uma nova ideia de como apagar dados, e ver se funciona, sem precisar gastar milhões de dólares e meses de tempo treinando os modelos do zero.

Resumo em uma Frase

O ERASE é um novo padrão de testes que mostra como fazer sistemas de recomendação "esquecerem" informações específicas de forma rápida e segura, provando que é possível apagar dados sem precisar "reiniciar o computador" inteiro, e oferecendo todas as ferramentas necessárias para que outros cientistas continuem melhorando essa tecnologia.

Resumo técnico

Título: ERASE – Um Benchmark Alinhado ao Mundo Real para Esquecimento (Unlearning) em Sistemas de Recomendação

1. O Problema

Os sistemas de recomendação modernos dependem massivamente de dados de interação do usuário (cliques, avaliações, compras) para personalização. No entanto, regulamentações de privacidade como o GDPR (Regulamento Geral sobre a Proteção de Dados) na Europa e leis similares globalmente garantem o "direito ao esquecimento", exigindo que os usuários possam solicitar a exclusão de seus dados pessoais de bancos de dados e modelos treinados.

Além da conformidade legal, o esquecimento de dados é crucial para segurança (remoção de interações de spam) e responsabilidade (remoção de conteúdo com direitos autorais). O Esquecimento de Máquina (Machine Unlearning - MU) visa remover a influência de pontos de dados específicos de um modelo treinado de forma eficiente, sem a necessidade de retreinamento completo do zero.

Limitações dos Benchmarks Atuais:
O artigo identifica que os benchmarks existentes (como o CURE4Rec) falham em refletir cenários reais de recomendação devido a:

• Escopo Limitado: Focam quase exclusivamente em Filtragem Colaborativa (CF), ignorando tarefas sequenciais comuns em e-commerce e streaming (Recomendação Baseada em Sessão - SBR e Recomendação de Próxima Cesta - NBR).
• Cenários Irrealistas: Simulam exclusões de grandes blocos de dados (até 5% do conjunto) de uma só vez, enquanto na realidade as solicitações são contínuas, pequenas e sequenciais.
• Padrões de Dados Ignorados: Não consideram padrões específicos de domínio, como a remoção de itens sensíveis (ex: álcool para usuários com dependência) ou dados de spammers.
• Ineficiência: Os métodos avaliados muitas vezes são apenas uma ordem de magnitude mais rápidos que o retreinamento, o que é insuficiente para sistemas de produção que exigem latência de segundos ou minutos.

2. Metodologia: O Benchmark ERASE

Os autores apresentam o ERASE, um benchmark de grande escala projetado para alinhar a avaliação de algoritmos de esquecimento com as restrições e necessidades do mundo real.

Componentes Principais:

• Tarefas de Recomendação: Cobre três domínios principais:
  1. Filtragem Colaborativa (CF).
  2. Recomendação Baseada em Sessão (SBR).
  3. Recomendação de Próxima Cesta (NBR).
• Modelos e Dados: Utiliza 9 modelos state-of-the-art (incluindo BPR, LightGCN, GRU4Rec, SASRec, SR-GNN, Sets2Sets, etc.) e 9 conjuntos de dados públicos (MovieLens, Instacart, Dunnhumby, RSC15, etc.).
• Algoritmos de Esquecimento: Avalia 7 algoritmos, divididos em:
  • Específicos para Recomendação/Gráficos: SCIF, GIF, CEU, IDEA.
  • Genéricos (do NeurIPS 2023 Unlearning Competition): Fanchuan, Kookmin, Seif.
  • Baseline: Retreinamento completo.
• Cenários de Esquecimento Realistas:
  1. Itens Sensíveis: Remoção sequencial de interações com itens específicos (ex: álcool) para usuários individuais, simulando solicitações de privacidade urgentes.
  2. Remoção de Dados Envenenados (Spam): Remoção de interações maliciosas injetadas por atacantes para manipular o sistema.
• Protocolo Experimental: Em vez de um único pedido de esquecimento, o ERASE executa solicitações sequenciais e repetidas de pequenos lotes de dados, simulando o fluxo contínuo de produção.

Métricas de Avaliação:

1. Utilidade (Utility): Métricas de ranking padrão (nDCG, Recall, Hit Ratio) nos dados retidos.
2. Eficácia do Esquecimento (Effectiveness):
   • Para itens sensíveis: RelItems@k (quantos usuários ainda recebem itens sensíveis após o esquecimento).
   • Para spam: RelEff@k (quão bem o modelo recuperou a performance original comparado ao retreinamento).
3. Eficiência (Efficiency): Latência de execução do esquecimento em comparação ao retreinamento completo.

3. Principais Contribuições

1. Definição do ERASE: Criação do primeiro benchmark abrangente e alinhado ao mundo real para MU em sistemas de recomendação, cobrindo múltiplas tarefas, modelos e cenários dinâmicos.
2. Artefatos Reutilizáveis: Os autores executaram o benchmark gerando mais de 600 GB de artefatos, incluindo logs experimentais extensos e mais de 1.000 checkpoints de modelos (treinados, retreinados e esquecidos). Isso permite que a comunidade avalie novos algoritmos sem precisar gastar recursos computacionais massivos no treinamento inicial.
3. Análise Empírica Abrangente: Fornecimento de uma análise sistemática sobre onde os métodos atuais falham e onde têm sucesso, servindo como base empírica para o progresso futuro.
4. Código Aberto: Disponibilização de todo o código, dados e guias de uso sob licença aberta.

4. Resultados Chave

A análise dos dados do ERASE revela insights importantes sobre o estado atual do esquecimento em recomendação:

• Desempenho Variável: O esquecimento aproximado pode igualar o retreinamento em alguns cenários, mas a robustez varia drasticamente entre conjuntos de dados e arquiteturas.
• Fragilidade de Métodos Genéricos: Algoritmos genéricos (como Kookmin e Seif) tendem a degradar significativamente sob esquecimento repetido, especialmente em modelos baseados em atenção (SASRec) e recorrentes (GRU4Rec).
• Superioridade de Métodos Específicos: Abordagens específicas para recomendação, notadamente o SCIF (Selective and Collaborative Influence Function), demonstraram ser mais robustas, consistentes e eficazes na manutenção da utilidade do modelo enquanto esquecem os dados.
• Desafios de Arquitetura: Modelos baseados em Grafos (GNNs) e métodos que dependem de aproximações de Hessiana inversa (como GIF e IDEA) mostraram instabilidade numérica e divergência frequente durante o esquecimento sequencial.
• Gap de Eficiência: A maioria dos algoritmos atuais ainda não atinge os requisitos de implantação prática. Para ser viável, o esquecimento precisa ser pelo menos 3 ordens de magnitude mais rápido que o retreinamento (reduzindo o tempo de dias para minutos), mantendo a eficácia. Atualmente, poucos métodos atingem essa meta sem sacrificar a utilidade ou a eficácia.

5. Significado e Impacto

O artigo ERASE é fundamental para o avanço da pesquisa em privacidade e segurança em IA, pois:

• Preenche uma Lacuna Crítica: Move a avaliação de esquecimento de cenários teóricos e estáticos para ambientes dinâmicos e realistas.
• Facilita a Reproducibilidade: Ao liberar checkpoints pré-treinados e retreinados, remove a barreira de custo computacional para pesquisadores que desejam testar novas ideias de esquecimento.
• Direciona Pesquisas Futuras: Identifica que a seleção de algoritmos deve ser feita com base no tipo de tarefa e arquitetura, e aponta a necessidade de desenvolver métodos que estabilizem o desempenho sob múltiplas solicitações de esquecimento e reduzam a latência para viabilizar a implantação em produção.

Em resumo, o ERASE estabelece um novo padrão de ouro para avaliar e impulsionar o desenvolvimento de sistemas de recomendação que são não apenas precisos, mas também éticos, seguros e conformes com a legislação de privacidade.