Resumo Técnico: FUSE – Exemplos Não Aprendíveis de Espectro Total via Equalização Espectral

1. Definição do Problema

Exemplos Não Aprendíveis (Unlearnable Examples - UEs) são uma técnica de preservação de privacidade projetada para proteger dados de treinamento através da adição de perturbações imperceptíveis. Essas perturbações fazem com que modelos de aprendizado de máquina falhem na extração de representações semânticas exploráveis, impedindo, assim, o treinamento não autorizado em dados sensíveis.

No entanto, os autores identificam uma vulnerabilidade crítica nos métodos de UE existentes: sua eficácia depende fortemente de componentes de alta frequência. Uma análise empírica revela que, quando um filtro passa-baixa é aplicado aos dados protegidos, a não aprendibilidade das abordagens atuais colapsa. Modelos treinados em dados filtrados conseguem extrair com sucesso informações semânticas do conteúdo residual de baixa frequência, levando ao vazamento de privacidade. Isso indica que as perturbações existentes não são "agnósticas ao espectro" e falham em proteger os dados em todo o espectro de frequência.

2. Metodologia

O artigo propõe o FUSE (Full-spectrum Unlearnable examples via Spectral Equalization), um framework projetado para gerar perturbações que permaneçam eficazes independentemente de filtragem espectral. O FUSE alcança isso por meio de dois componentes complementares:

A. Mascaramento Espectral Aleatório (Random Spectral Masking - RSM)

O RSM é projetado para evitar que as perturbações colapsem em regiões espectrais estreitas. Ele emprega dois mecanismos durante o treinamento do gerador:

1. Dropout de Frequência Estocástico: Um operador de máscara aleatória $T_{spec}$ é aplicado em cada etapa de treinamento, o qual zera uma porção contígua do domínio da frequência na transformada de Fourier da entrada. Isso força o gerador a garantir que as bandas de frequência restantes ainda possam induzir a não aprendibilidade, evitando a dependência excessiva de frequências específicas.
2. Regularização de Entropia: Para desencorajar ainda mais a concentração espectral, o método maximiza a entropia do espectro de potência normalizado da perturbação. Isso incentiva uma distribuição mais uniforme da energia da perturbação pelo espectro, sem impor uma distribuição de ruído branco.

O objetivo do RSM ($L_{RSM}$) combina uma perda de invariância (garantindo a degradação do desempenho mesmo quando partes do espectro são mascaradas) e um termo de entropia negativa.

B. Orientação entre Bandas (Cross-Band Guidance - CBG)

Enquanto o RSM distribui as perturbações, o CBG gerencia explicitamente a interação entre os componentes de baixa frequência (semântica global) e alta frequência (detalhes locais) para garantir consistência mútua.

1. Decomposição de Frequência: As imagens são divididas em componentes de baixa frequência ($x'_{low}$) e alta frequência ($x'_{high}$) usando uma máscara circular no domínio de Fourier definida por um raio $r_c$.
2. Orientação Semântica: O ramo de alta frequência, que naturalmente induz uma confusão de classificador mais forte, é usado como um "alvo suave" para orientar o ramo de baixa frequência. O componente de baixa frequência é treinado para se alinhar com as previsões do componente de alta frequência ($L_{guide}$), garantindo que as estruturas globais não permaneçam aprendíveis.
3. Consistência Estrutural: Para evitar que o ramo de alta frequência se distorça independentemente, uma perda de consistência ($L_{struct}$) é aplicada. Esta perda minimiza a diferença entre a similaridade estrutural (combinando similaridade de cosseno no nível de características e SSIM) do par de baixa frequência e o par de alta frequência. A similaridade de baixa frequência atua como um alvo fixo (via stop-gradient) para regularizar as perturbações de alta frequência, preservando a fidelidade semântica enquanto mantém a não aprendibilidade.

O objetivo de otimização total minimiza a soma de $L_{RSM}$ e $L_{CBG}$ sujeito a um orçamento de perturbação ($\|\delta\|_\infty \le \epsilon$).

3. Principais Contribuições

• Identificação de Vulnerabilidade: Os autores demonstram que as defesas de UE existentes falham sob filtragem passa-baixa porque suas perturbações dependem predominantemente de componentes de alta frequência.
• Framework Agnóstico ao Espectro: O FUSE é proposto como um novo framework que distribui os efeitos da perturbação por toda a faixa de frequência, impedindo pistas residuais em qualquer banda específica.
• Avaliação Abrangente: Experimentos extensos em múltiplos conjuntos de dados (CIFAR-10, CIFAR-100, SVHN), arquiteturas (ResNet, VGG, DenseNet, ViT e modelos não padronizados como ConvNeXt e Swin-T) mostram que o FUSE supera consistentemente as abordagens anteriores.

4. Resultados Experimentais

• Robustez à Filtragem Passa-Baixa: Sob filtragem passa-baixa, os métodos existentes (ex: LSP, TUE, GUE) mostram uma recuperação significativa de acurácia (ex: LSP atinge ~54% no CIFAR-10 com ResNet-18). Em contraste, o FUSE mantém a acurácia de teste próxima ao chute aleatório (ex: ~10% no CIFAR-10), demonstrando robustez mesmo quando as altas frequências são suprimidas.
• Desempenho Sem Filtro: O FUSE alcança a menor acurácia de teste na maioria dos pares de conjunto de dados-arquitetura mesmo sem filtragem, confirmando sua eficácia em cenários padrão.
• Transferibilidade entre Arquiteturas: O FUSE permanece eficaz quando o modelo substituto (ResNet-18) é usado para gerar perturbações para diversas arquiteturas alvo, incluindo Vision Transformers e CNNs não padronizadas.
• Resistência a Defesas: O FUSE mantém uma forte não aprendibilidade contra várias estratégias de defesa, incluindo aumento de dados (data augmentation), treinamento adversarial e defesas específicas de UE, como D-VAE, AN-SDA e ORTHO PROJ. Também demonstra robustez contra compressão JPEG.
• Modelos de Visão-Linguagem: Em um estudo de prova de conceito no CLIP, o FUSE causou uma queda significativa de acurácia (4,28% sem filtro, 6,06% passa-baixa) em comparação com os baselines, sugerindo aplicabilidade além da classificação padrão.
• Eficiência: Comparado ao baseline baseado em gerador GUE, o FUSE requer significativamente menos parâmetros, menores GFLOPs e tempos de inferência mais rápidos.

5. Significância e Alegações

O artigo afirma que o FUSE aborda uma limitação fundamental nos métodos atuais de proteção de dados ao garantir que a não aprendibilidade não fique confinada às regiões de alta frequência. Ao impor a equalização espectral e a consistência entre bandas, o FUSE fornece uma proteção de privacidade confiável que persiste mesmo quando os dados passam por filtragem espectral ou outras transformações que removem detalhes de alta frequência. Os autores posicionam este trabalho como um passo em direção a mecanismos de privacidade mais robustos e conscientes da frequência, capazes de resistir a defesas adaptativas e mudanças de distribuição.

Os autores declaram explicitamente que seu objetivo é fortalecer a proteção de privacidade contra o treinamento de modelos não autorizado, ao mesmo tempo em que reconhecem que tais perturbações poderiam, teoricamente, ser mal utilizadas em contextos adversariais. Eles enfatizam que o FUSE deve ser aplicado exclusivamente para fins éticos de proteção de dados, em conformidade com as estruturas legais e licenças de conjuntos de dados.