Resumo Técnico: Amostragem por Importância Regularizada por Desacordo para Corrupção Adversarial de Rótulos

Declaração do Problema

A Amostragem por Importância (IS) padrão no Descenso de Gradiente Estocástico (SGD) visa reduzir a variância do estimador priorizando exemplos com normas de gradiente altas ou valores de perda elevados. No entanto, essa abordagem baseada em magnitude sofre uma falha crítica sob contaminação $\epsilon$ (corrupção adversarial de rótulos). Em tais cenários, exemplos corrompidos frequentemente exibem as maiores normas de gradiente ou valores de perda. Consequentemente, a IS padrão alocar excessivamente massa de amostragem a esses outliers adversariais, fazendo com que redes superparametrizadas memorizem ruído em vez de aprender o sinal subjacente. Métodos existentes de poda baseados em magnitude (por exemplo, EL2N, GraNd) e abordagens de dinâmica de treinamento (por exemplo, AUM) ou colapsam sob ataques direcionados de alta norma ou carecem de garantias rigorosas de amostra finita sobre a exclusão de ruído.

Metodologia: Amostragem por Importância Regularizada por Desacordo (DR-IS)

Os autores propõem DR-IS, uma estrutura robusta de subamostragem e reponderação que desloca o critério de seleção da magnitude da perda para o desacordo de rank da perda através de um conjunto de modelos proxy independentes.

Mecanismo Central

1. Conjunto de Proxies: Um conjunto de $K$ modelos proxy leves ($h_1, \dots, h_K$) é treinado no conjunto de dados potencialmente corrompido $D$ por algumas épocas. Esses proxies são treinados com diferentes sementes, inicializações ou arquiteturas para induzir estocasticidade.
2. Pontuação de Desacordo de Rank: Para cada exemplo $i$, o rank de perda normalizado $\rho_i(h_k)$ é computado para cada proxy. A pontuação de seleção $\hat{\sigma}^2_i$ é a variância amostral desses ranks através do conjunto:
   $$\hat{\sigma}^2_i = \frac{1}{K} \sum_{k=1}^K (\rho_i(h_k) - \bar{\rho}_i)^2$$
3. Lógica de Seleção:
   • Volume Corrompido: Sob o "viés de simplicidade" do SGD, os proxies atribuem consistentemente ranks de perda altos a rótulos corrompidos (que contradizem as características dominantes), resultando em baixa variância de rank (estabilidade).
   • Fronteira Limpa: Exemplos limpos próximos à fronteira de decisão são sensíveis à estocasticidade do treinamento, fazendo com que seus ranks de perda flutuem significativamente através do conjunto, resultando em alta variância de rank (instabilidade).
   • Fácil Limpo: Exemplos limpos distantes da fronteira têm ranks de perda consistentemente baixos, resultando em baixa variância.
   • Estratégia DR-IS: O método seleciona exemplos com o maior $\hat{\sigma}^2_i$, priorizando efetivamente os dados "limpos de fronteira" enquanto filtra os dados "volume corrompido".

Variantes de Implementação

• Poda Estática: Seleciona os top $\alpha N$ exemplos com as maiores pontuações de desacordo para formar um subconjunto robusto $S_{DR-IS}$. O modelo alvo é treinado neste subconjunto por $1/\alpha$ vezes mais épocas para manter o total de passos de gradiente.
• IS Online: Define uma distribuição de amostragem $q_i \propto \hat{\sigma}^2_i + \xi \bar{\sigma}^2$ (onde $\xi$ é uma constante de suavização) para reponderar os gradientes durante o treinamento, preservando a estimação não enviesada enquanto evita outliers de alta perda.

Contribuições Principais

1. Caracterização do Modo de Falha (Teorema 2): Os autores formalizam que qualquer pontuação de amostragem por importância que seja não decrescente em relação à perda por amostra (incluindo normas de gradiente) inevitavelmente alocar massa excessiva a pontos corrompidos sob contaminação $\epsilon$. Isso estabelece um resultado de impossibilidade para IS baseada em magnitude na presença de ataques adversariais alinhados à perda.
2. Teorema de Concentração (Teorema 1): O artigo prova limites de concentração de amostra finita para a pontuação de desacordo de rank. Demonstra que, com probabilidade $1-\delta$, o desacordo de rank empírico de exemplos de volume corrompido é limitado superiormente, enquanto o de exemplos limpos de fronteira é limitado inferiormente.
   • A lacuna de separação escala como $O(\sqrt{\log(N/\delta)/K})$.
   • Quando a lacuna de expectativa estrutural $\Delta'$ é positiva, o método certifica uma separação estrita entre os dois grupos.
3. Certificados de Contaminação de Subconjunto: Os autores fornecem o primeiro controle não assintótico sobre o vazamento de ruído no subconjunto selecionado. Eles derivam um limite superior explícito para a taxa de contaminação do subconjunto selecionado em termos da "cauda de fuga" de pontos corrompidos, da variância de rank da cauda e da fração de retenção $\alpha$.
4. A Estrutura DR-IS: Um método prático usando $K=3$ proxies leves que mantém baixa sobrecarga computacional (<10%) enquanto previne a memorização de outliers.
5. Complementaridade com AUM: O artigo contrasta DR-IS com Área Sob a Margem (AUM). Enquanto o AUM explora flutuações temporais dentro de um único proxy, o DR-IS explora o desacordo transversal através de proxies independentes. Os autores fornecem uma garantia uniforme de identificação de amostra finita para DR-IS que é qualitativamente distinta dos limites de AUROC em pares associados ao AUM.

Resultados Empíricos

Experimentos foram conduzidos em CIFAR-10, CIFAR-100 e Food-101 sob ruído simétrico uniforme e ataques direcionados de alta norma (onde os rótulos dos exemplos com as top-$\nu$ normas de gradiente são invertidos).

• Robustez a Ataques Direcionados: Sob 25% de ruído direcionado, métodos baseados em magnitude (EL2N, Perda de Consenso) colapsaram para precisão próxima ao acaso (por exemplo, 9,39% no CIFAR-10). Em contraste, o DR-IS manteve alta precisão (81,86% no CIFAR-10, 60,96% no CIFAR-100), superando o SGD uniforme em +9,5 pontos percentuais no CIFAR-10.
• Contaminação de Subconjunto: O DR-IS reduziu a fração de exemplos corrompidos no subconjunto selecionado para ~5-7%, comparado a ~86% para EL2N e ~0,25% (acaso) para amostragem aleatória.
• Desempenho em Dados Limpos: Em dados limpos, o DR-IS mostrou um déficit menor em tarefas simples (CIFAR-10, -0,64 pp) devido ao seu viés em direção a exemplos de fronteira, mas alcançou ganhos em tarefas complexas (CIFAR-100, +0,56 pp). A variante online rastreou o desempenho do SGD uniforme dentro de ~1 pp em dados limpos.
• Comparação com AUM: Embora o AUM também tenha se saído bem, o DR-IS ofereceu fidelidade superior em níveis moderados de corrupção e frações de retenção menores. O AUM demonstrou estabilidade superior sob ruído extremo ($\epsilon \ge 0,40$), mas incorreu em uma penalidade maior em dados limpos no cenário de ruído natural do Food-101.

Significado e Alegações

O artigo alega que o DR-IS aborda uma vulnerabilidade fundamental na amostragem por importância ao alavancar o desacordo do conjunto em vez da magnitude da perda.

• Rigor Teórico: Fornece os primeiros certificados explícitos e não assintóticos para exclusão de ruído na amostragem por importância, limitando a taxa de contaminação do subconjunto selecionado.
• Insight Mecanístico: Identifica que o "viés de simplicidade" dos proxies SGD faz com que rótulos corrompidos sejam consistentemente penalizados (baixa variância), enquanto exemplos limpos de fronteira são sensíveis à estocasticidade (alta variância). Essa distribuição bimodal permite uma separação robusta.
• Utilidade Prática: O método oferece uma alternativa computacionalmente eficiente (<10% de sobrecarga) e robusta à IS padrão e à poda de dados, particularmente eficaz contra ataques direcionados de alta norma que derrotam heurísticas baseadas em magnitude.

Os autores reconhecem limitações, observando que o método depende da existência de um conjunto de fronteira suficientemente rico (Assunção 3) e do "viés de simplicidade" dos proxies (Assunção 2). Em configurações sintéticas com proxies de baixa complexidade ou ruído uniforme onde essas suposições falham, o método pode não separar dados corrompidos efetivamente. No entanto, em benchmarks padrão com proxies de aprendizado profundo, a separação empírica consistentemente supera os limites teóricos do pior caso.