🤖 machine learning

LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

O artigo apresenta o LoTUS, um método de desaprendizado de máquina novo e eficiente que elimina a influência de amostras de treinamento de modelos pré-treinados ao suavizar as probabilidades de predição para um limite informacional, superando assim os métodos de referência de última geração tanto em conjuntos de dados padrão quanto em larga escala sem exigir retreinamento.

Autores originais: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Christoforos N. Spartalis, Theodoros Semertzidis, Petros Daras, Efstratios Gavves

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito inteligente que memorizou um livro didático imenso. Esse aluno é tão bom que consegue recitar fatos específicos de cada uma das páginas. Mas agora, imagine uma situação em que algumas páginas desse livro foram escritas por alguém que deseja permanecer anônimo, ou talvez essas páginas contenam informações sensíveis que precisam ser apagadas.

Você quer que o aluno "esqueça" essas páginas específicas completamente, como se nunca as tivesse visto, sem ter que enviar o aluno de volta à escola para reler o livro inteiro do zero. Este é o problema do Aprendizado de Máquina Não-Aprendido (Machine Unlearning).

O artigo apresenta um novo método chamado LoTUS (Estratégia de Desaquecimento de Logits) para resolver isso. Veja como funciona, usando analogias simples:

O Problema: O Aluno "Excesso de Confiança"

Os modelos de aprendizado profundo (como o aluno) frequentemente "memorizam" detalhes específicos dos dados nos quais foram treinados. Se você mostrar a eles a foto de um gato com uma cicatriz única, eles não aprendem apenas "gato"; eles aprendem "gato com aquela cicatriz específica".

Devido a essa memorização, o modelo torna-se excessivamente confiante. Ele diz: "Tenho 99,9% de certeza de que este é aquele gato específico!". Isso é perigoso porque revela que o modelo já viu aquela imagem específica antes. Hackers podem usar essa excesso de confiança para descobrir se a foto de uma pessoa específica estava nos dados de treinamento (um ataque de privacidade).

A Solução: LoTUS (A Estratégia de "Resfriamento")

Em vez de retreinar todo o modelo (o que seria como fazer o aluno reler toda a biblioteca), o LoTUS "esfria" suavemente a confiança do modelo sobre as imagens específicas que ele precisa esquecer.

Pense na saída do modelo como um feixe de laser quente e afiado. O LoTUS transforma esse laser em um holofote suave e difuso.

Suavizando as Probabilidades: O método pega as previsões do modelo para as imagens de "esquecimento" e as torna menos certas. Ele espalha a confiança para que o modelo não seja tão seguro sobre esses detalhes específicos novamente.
O Objetivo do "Padrão Ouro": O objetivo é fazer o modelo agir sobre essas imagens de "esquecimento" exatamente como ele teria agido se nunca as tivesse visto. Se o modelo nunca tivesse visto o "gato com cicatriz", ele seria menos seguro sobre ele. O LoTUS força o modelo a ser menos seguro, mimetizando esse estado de "nunca ter visto".
O Botão de Temperatura: O método usa uma configuração de "temperatura" (como um termostato).
- Se o modelo ainda estiver muito confiante (muito quente), o sistema aumenta a temperatura para tornar as previsões mais aleatórias e incertas.
- Se o modelo ficar confuso demais (muito frio), o sistema abaixa a temperatura para refinar o foco novamente.
- Ele ajusta constantemente esse botão até que o comportamento do modelo nessas imagens de "esquecimento" corresponda ao comportamento de um modelo que nunca as viu.

A Nova Ferramenta: O "Boletim Sem Re-teste"

Normalmente, para provar que você fez um aluno esquecer algo, você tem que enviá-lo de volta à escola, reensiná-lo tudo sem as páginas ruins, e comparar as duas versões. Isso é caro e lento.

Os autores inventaram uma nova forma de verificar o trabalho chamada RF-JSD (Divergência de Jensen-Shannon Sem Retreino).

A Analogia: Em vez de reensinar o aluno e comparar as duas versões, você apenas observa as respostas atuais do aluno e as compara com uma "caixa misteriosa" de perguntas novas e não vistas.
Se as respostas do aluno para as perguntas de "esquecimento" parecerem semelhantes às suas respostas para as "novas" perguntas (onde ele não tem memória), você sabe que ele esqueceu com sucesso.
Isso permite verificar vazamentos de privacidade sem precisar retreinar o modelo, o que é crucial para conjuntos de dados gigantescos como o ImageNet, onde o retreino é impossível.

O Que Eles Descobriram

Os pesquisadores testaram o LoTUS em vários modelos (como Vision Transformers e ResNet) e conjuntos de dados (desde pequenos como o CIFAR até o massivo ImageNet).

Melhor que os demais: O LoTUS foi mais rápido e eficaz do que todos os outros métodos com os quais foi comparado.
Funciona com grandes dados: Eles usaram o método com sucesso no ImageNet (mais de 1 milhão de imagens), um cenário onde o retreino é praticamente impossível.
Evita o "Efeito Streisand": Às vezes, quando você tenta esconder algo, faz com que isso se destaque mais. O LoTUS evita isso; ele não faz apenas o modelo errar (o que seria óbvio); ele torna o modelo genuinamente incerto, que é o estado natural de não saber.

Em Resumo

O LoTUS é um "apagador" inteligente para a IA. Ele não deleta o livro inteiro; ele apenas borra suavemente as páginas específicas que precisam ser esquecidas, garantindo que a IA não fique confiante demais sobre elas, tudo isso economizando uma quantidade enorme de tempo e poder computacional. Eles também construíram uma nova régua (RF-JSD) para medir o quão bem o apagamento funcionou sem precisar reconstruir toda a máquina.

Resumo Técnico: LoTUS – Aprendizado de Desaprendizado em Larga Escala com um Toque de Incerteza

1. Declaração do Problema

O Aprendizado de Desaprendizado de Máquina (Machine Unlearning - MU) visa remover a influência de amostras de treinamento específicas (o "conjunto de esquecimento") de um modelo pré-treinado sem a necessidade de retreinar o modelo do zero. Isso é crítico para proteção de privacidade, conformidade de direitos autorais e mitigação de viés. No entanto, os métodos existentes enfrentam três desafios principais:

Eficiência: Retreinar do zero (o "padrão ouro") é computacionalmente proibitivo, especialmente para conjuntos de dados de larga escala como o ImageNet1k.
Acessibilidade de Dados: Em cenários do mundo real, o acesso total aos dados de treinamento originais é frequentemente restrito devido a políticas de privacidade ou limitações de armazenamento, tornando o retreinamento impossível.
Eficácia vs. Retenção: Os métodos devem eliminar efetivamente a influência das amostras de esquecimento enquanto preservam a utilidade do modelo nos dados restantes. As abordagens existentes frequentemente lutam para equilibrar esses objetivos conflitantes ou falham em aproximar o desempenho do padrão ouro com precisão.

As técnicas atuais de desaprendizado geralmente se enquadram em desaprendizado exato (estatisticamente indistinguível do retreinamento, mas muitas vezes inviável) ou desaprendizado aproximado (usando várias métricas para mensurar a proximidade com o padrão ouro). Existe uma lacuna significativa em métodos que possam operar eficientemente em modelos de larga escala sob restrições de dados realistas, fornecendo simultaneamente métricas de avaliação robustas que não exijam um modelo padrão ouro retreinado.

2. Metodologia: LoTUS

Os autores propõem o LoTUS (Logits Tempering Unlearning Strategy), uma abordagem inovadora que opera diretamente no espaço de saída do modelo usando um framework de teoria da informação.

Conceito Central: Entropia e Incerteza

O LoTUS aborda a tendência das Redes Neurais Profundas (DNNs) de memorizar características específicas de amostras, levando a previsões excessivamente confiantes nos dados de treinamento. Essa confiança excessiva é uma vulnerabilidade explorada por Ataques de Inferência de Membro (MIAs). O LoTUS busca suavizar as probabilidades de predição das amostras de esquecimento para aumentar sua entropia, fazendo com que a resposta do modelo a essas amostras se assemelhe à sua resposta a dados não vistos.

Framework Teórico

O método baseia-se na separação de informação global (características compartilhadas entre classes, ex: forma geral de um gato) e informação específica de subconjuntos (características únicas de amostras específicas, ex: padrões de pelagem únicos).

Objetivo: Eliminar a informação específica de subconjuntos ( $I(f_{orig}(X_f); X_f | X)$ ) enquanto retém a informação global ( $I(f_{orig}(X_f); X)$ ).
Aproximação: Como estimar a informação mútua diretamente é computacionalmente intensivo, o LoTUS aproxima o objetivo de desaprendizado igualando a acurácia do modelo desaprendido no conjunto de esquecimento ( $D_f$ ) à acurácia do modelo original pré-treinado em um conjunto não visto ( $D_u$ ):
$Acc(f_{un}, D_f) = Acc(f_{orig}, D_u)$
Aqui, $D_u$ pode ser um conjunto de validação ou dados sintéticos. Isso garante que o modelo desaprendido não retenha a confiança "memorizada" que possuía sobre $D_f$ .

Implementação: Temperatura Dinâmica e Ruído Gumbel

O LoTUS emprega um framework de destilação de conhecimento onde um modelo aluno ( $f_{un}$ ) aprende com um modelo professor ( $f_{orig}$ ).

Perturbação Gumbel-Softmax: Os logits do professor são perturbados usando ruído Gumbel ( $g \sim \text{Gumbel}(0,1)$ ) e um parâmetro de temperatura ( $\tau$ ) via a função Gumbel-Softmax. Isso introduz estocasticidade e permite a amostragem diferenciável.
Ajuste de Temperatura Dinâmica: A temperatura $\tau_d$ $τ_{d}$ é ajustada dinamicamente em cada época com base na lacuna de acurácia entre o aluno no conjunto de esquecimento e o professor no conjunto não visto:
$\tau_d = \exp(\alpha \cdot (Acc(f_{un}, D_f) - Acc(f_{orig}, D_u)))$
- Se o aluno for muito acurado em $D_f$ (indicando memorização), $\tau_d > 1$ , suavizando as probabilidades para aumentar a entropia.
- Se o aluno for muito impreciso (desaprendizado excessivo), $\tau_d < 1$ , tornando as probabilidades mais nítidas para restaurar a utilidade.
Função de Perda: A função de perda combina um termo de "esquecimento" (usando a saída perturbada do professor com $\tau_d$ dinâmico) e um termo de "retenção" (usando a saída do professor com $\tau \to 0$ para tornar as predições mais nítidas e preservar a utilidade no conjunto de retenção).

3. Principais Contribuições

Algoritmo LoTUS: O primeiro método de desaprendizado que opera diretamente no espaço de saída usando um limite de teoria da informação. Ele controla a incerteza através de um parâmetro de temperatura dinâmica, evitando a maximização indiscriminada da entropia.
Métrica RF-JSD: A introdução da Divergência de Jensen-Shannon Livre de Retreinamento (RF-JSD). Esta métrica avalia a eficácia do desaprendizado comparando a saída do modelo desaprendido no conjunto de esquecimento contra a saída do modelo original em um conjunto não visto. Ela elimina a necessidade de um modelo padrão ouro retreinado, tornando-a adequada para cenários de larga escala do mundo real. O RF-JSD mostra uma forte correlação de Pearson ( $0.92 \pm 0.04$ ) com a pontuação JSD estabelecida.
Configuração Experimental de Larga Escala: Um framework de avaliação inovador utilizando o conjunto de dados ImageNet1k (1.2M de amostras) com acesso restrito a dados, simulando condições onde o retreinamento é inviável.

4. Resultados Experimentais

Os autores avaliaram o LoTUS em arquiteturas Vision Transformer (ViT) e ResNet18 através de cinco conjuntos de dados: CIFAR-10, CIFAR-100, MUFAC, TinyImageNet e ImageNet1k.

Eficácia: O LoTUS superou consistentemente oito baselines de estado da arte (incluindo Finetuning, NegGrad+, SalUn e SCRUB) em termos da métrica Avg Gap (equilibrando esquecimento e retenção) e JSD (medindo a similaridade de distribuição com o padrão ouro e a resiliência ao efeito Streisand).
Eficiência: O LoTUS demonstrou eficiência computacional superior, muitas vezes exigindo menos tempo que os baselines. Isso é atribuído à sua capacidade de usar apenas uma pequena porcentagem de amostras de retenção (30%) e sua complexidade linear em computações auxiliares.
Desempenho em Larga Escala: No ImageNet1k, onde o retreinamento era impossível, o LoTUS alcançou o menor escore de RF-JSD (1.11 vs. 1.22 para o modelo original, e superior para os baselines), indicando um desaprendizado eficaz. Ele também preservou de forma única a Acurácia de Retenção enquanto reduziu significamente a acurácia do Ataque de Inferência de Membro (MIA).
Robustez: O método permaneceu eficaz mesmo quando o conjunto não visto consistia em dados sintéticos gerados por IA (CIFAKE), validando a relaxação da suposição de similaridade de distribuição.

5. Significância e Alegações

O artigo afirma que o LoTUS representa um avanço significativo no aprendizado de desaprendizado de máquina ao:

Preencher a Lacuna: Fornecer um método que seja tanto eficaz quanto eficiente para modelos de larga escala onde o retreinamento é impraticável.
Aplicabilidade no Mundo Real: A introdução da métrica RF-JSD permite uma avaliação rigorosa em cenários onde o modelo padrão ouro não está disponível, uma restrição comum em indústrias sensíveis à privacidade.
Rigor Teórico: Ir além de abordagens heurísticas ao fundamentar o processo de desaprendizado na teoria da informação, visando especificamente a remoção da informação específica de subconjuntos enquanto preserva a utilidade global.
Superioridade: Demonstrar que o LoTUS supera os métodos atuais de estado da arte ao equilibrar o trade-off entre esquecer dados específicos e manter o desempenho do modelo, ao mesmo tempo em que mitiga o efeito Streisand (onde o desaprendizado inadvertidamente torna os dados mais identificáveis).

Os autores observam que, embora o framework se estenda ao desaprendizado de classe, sua validação experimental principal foca no desaprendizado de instância. O trabalho é apresentado como um passo em direção ao aprendizado de máquina escalável e preservador de privacidade em ambientes restritos.