Resumo Técnico: Enfrentando o Esquecimento Falso por meio de Quantificação de Incerteza

Declaração do Problema

O esquecimento de máquina visa remover a influência de pontos de dados específicos de um modelo treinado, uma capacidade cada vez mais exigida por regulamentações como o GDPR. Embora a Precisão de Esquecimento (PE) seja a métrica padrão para avaliar o desempenho — medindo a taxa na qual um modelo classifica incorretamente dados de "esquecimento" —, os autores identificam uma falha crítica: o esquecimento falso.

O artigo argumenta que a PE é insuficiente porque depende exclusivamente de previsões pontuais. Um modelo pode classificar incorretamente um ponto de dados de esquecimento (gerando uma pontuação alta de PE) enquanto ainda retém alta confiança no rótulo verdadeiro dentro de suas estimativas de incerteza. Especificamente, o rótulo verdadeiro pode permanecer incluído no conjunto de previsão conformal do modelo, o que significa que a informação não foi verdadeiramente apagada da fronteira de decisão do modelo. Esse fenômeno é visualizado via Grad-CAM, que mostra que, mesmo quando um modelo classifica incorretamente uma imagem, seus mecanismos de atenção frequentemente ainda se concentram nas características principais do objeto se o rótulo verdadeiro permanecer no conjunto de previsão.

Metodologia

1. A Métrica Razão Conformal (RC)

Para abordar as limitações da PE, os autores propõem uma nova métrica de avaliação chamada Razão Conformal (RC), inspirada na Previsão Conformal Dividida (PCD). Diferentemente da PE, que verifica apenas a classe prevista única, a RC avalia todo o conjunto de previsão.

A métrica é definida como:
$$RC = \frac{\text{Cobertura}}{\text{Tamanho do Conjunto}}$$

• Cobertura: A proporção de pontos de dados de esquecimento onde o rótulo verdadeiro cai dentro do conjunto de previsão conformal. Alta cobertura em dados de esquecimento indica "esquecimento falso".
• Tamanho do Conjunto: O número médio de rótulos no conjunto de previsão.
• Interpretação: Um valor de RC mais baixo em dados de esquecimento ($D_f$) indica um esquecimento mais forte (o rótulo verdadeiro é excluído com sucesso do conjunto). Inversamente, uma RC mais alta em dados de teste ($D_{teste}$) indica que a utilidade do modelo foi preservada.

Os autores validam que as métricas existentes frequentemente falham em detectar casos onde o rótulo verdadeiro permanece no conjunto de previsão, enquanto a RC captura isso exigindo que o rótulo verdadeiro seja empurrado além do limiar de pontuação de não conformidade.

2. O Framework de Esquecimento por Previsão Conformal (EPC)

Com base nas percepções da RC, os autores propõem o EPC, um framework geral para aprimorar métodos de esquecimento baseados em treinamento. A ideia central é modificar a função de perda para forçar explicitamente o rótulo verdadeiro dos dados de esquecimento para fora do conjunto de previsão conformal.

O framework adapta a função de perda do ataque adversarial de Carlini & Wagner (C&W). Em vez de simplesmente maximizar a diferença entre a classe verdadeira e a classe concorrente principal, a perda do EPC empurra a pontuação de não conformidade do rótulo verdadeiro ($S(x, y_t)$) além do limiar conformal ($\hat{q}$).

A função de perda proposta é:
$$L_{epc}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$$

Onde:

• $\hat{q}$ é o limiar derivado de um conjunto de calibração.
• $S(x, y_t) = 1 - p_t(x)$ é a pontuação de não conformidade (probabilidade inversa).
• $\Delta$ é um parâmetro de margem (definido como 0,01 nos experimentos).

Essa perda incentiva o modelo a aumentar a pontuação de não conformidade do rótulo verdadeiro até que ela exceda $\hat{q}$, excluindo efetivamente o rótulo verdadeiro do conjunto de previsão. O objetivo final combina a perda original com este novo termo:
$$L_{total} = L_{original} + \lambda \cdot L_{epc}$$

Contribuições Principais

1. Identificação do Esquecimento Falso: O artigo demonstra que uma parte significativa dos dados identificados como "esquecidos" pela PE (classificados incorretamente) ainda pode ser recuperada porque o rótulo verdadeiro permanece dentro do conjunto de previsão conformal.
2. Nova Métrica (RC): Introdução da Razão Conformal, que fornece uma avaliação mais confiável da qualidade do esquecimento ao avaliar todo o conjunto de previsão em vez de apenas a previsão principal.
3. Framework EPC: Um framework de esquecimento geral e agnóstico ao modelo que integra conceitos de previsão conformal na função de perda de treinamento (via perda C&W adaptada) para garantir que o rótulo verdadeiro seja excluído do conjunto de previsão.
4. Avaliação Abrangente: Experimentos extensivos em múltiplos conjuntos de dados (CIFAR-10, Tiny ImageNet, Oxford-Pets) e arquiteturas (ResNet-18, ViT, Swin-T) validando que o EPC melhora a qualidade do esquecimento sem degradar significativamente a utilidade do modelo em dados retidos ou de teste.

Resultados Experimentais

• Superioridade da Métrica: Em experimentos com 12 diferentes baselines de esquecimento, a classificação dos métodos mudou significativamente quando avaliada com RC versus PE. Métodos que se saíram bem sob PE (por exemplo, Rotulagem Aleatória) mostraram-se afetados por esquecimento falso sob RC, enquanto outros (por exemplo, Salun) demonstraram melhores capacidades de esquecimento verdadeiro.
• Desempenho do Framework: Aplicar o framework EPC a métodos existentes (RT, FT, RL) reduziu significativamente a RC em dados de esquecimento (indicando melhor esquecimento) enquanto mantinha a Precisão de Retenção (PR) e a Precisão de Teste (PT) estáveis.
  • Por exemplo, no CIFAR-10 com ResNet-18, aplicar o EPC ao método Fine-tune (FT) reduziu a lacuna de PE em relação à baseline Re-treino (RT) de 4,8% para 0,7%, enquanto simultaneamente diminuía a RC em dados de esquecimento.
• Evidência Visual: Visualizações Grad-CAM confirmaram que, quando o rótulo verdadeiro é excluído do conjunto de previsão (como alcançado pelo EPC), as regiões de ativação do modelo se afastam das características principais do objeto, ao contrário do esquecimento padrão onde as características permanecem destacadas apesar da classificação incorreta.
• Eficiência: A adição da perda EPC introduziu sobrecarga computacional negligenciável, com tempos de treinamento aumentando em menos de 1 minuto em vários conjuntos de dados.

Significado e Alegações

O artigo alega fornecer uma base mais rigorosa para o esquecimento de máquina, deslocando o paradigma de avaliação da simples precisão para a quantificação de incerteza. Os autores enfatizam que depender exclusivamente da PE cria uma falsa sensação de privacidade e segurança. Ao garantir que o rótulo verdadeiro não seja apenas classificado incorretamente, mas ativamente excluído do conjunto de previsão, a métrica RC proposta e o framework EPC oferecem uma garantia mais confiável de que os dados foram verdadeiramente esquecidos. O trabalho destaca que os métodos existentes de esquecimento frequentemente falham em abordar a confiança das previsões, e a abordagem proposta preenche essa lacuna usando princípios de previsão conformal e ataques adversariais.