Resumo Técnico: Poda de Dados: Amostras Redundantes, Problemáticas e Interdependentes

Declaração do Problema

O desempenho de modelos de deep learning depende tanto da quantidade quanto da qualidade dos dados de treinamento. Embora a poda de dados (data pruning) vise reduzir o tamanho do conjunto de dados retendo apenas as amostras mais "importantes" para manter ou melhorar o desempenho, a literatura existente frequentemente assume uma definição clara de importância da amostra. Este artigo investiga a eficácia de métodos populares de poda de dados sob diversas condições, focando especificamente em como a redundância, as amostras problemáticas (ruído de rótulo) e a interdependência entre amostras influenciam o ranking e a subsequente remoção de dados de treinamento. Os autores identificam uma lacuna crítica: enquanto trabalhos anteriores sugerem métodos de pontuação específicos para a poda, seu comportamento na presença de ruído de rótulo significativo e ao longo de todo o espectro de poda (da remoção moderada à quase total) permanece subexplorado.

Metodologia

Os autores empregam um framework padrão de avaliação de poda de dados envolvendo três etapas: classificar as amostras, remover um subconjunto com base nesse ranking e retreinar o modelo para avaliar o desempenho de teste.

• Datasets: Experimentos foram conduzidos em três conjuntos de dados de classificação multiclasse: um dataset sintético (10 classes, distribuições gaussianas isotrópicas), MNIST e CIFAR-10.
• Modelos: Perceptrons Multicamadas (MLP) foram usados para os datasets sintético e MNIST, enquanto o VGG-16 foi usado para o CIFAR-10. Todos os modelos utilizaram o otimizador Adam, normalização por lote (batch normalization) e ativações ReLU.
• Métodos de Pontuação: Dois métodos de pontuação estabelecidos foram avaliados:
  1. Pontuação de Esquecimento de Amostra (Sample Forgetting Score - Toneva et al. [16]): Conta o número de vezes que um modelo "esquece" uma amostra (classifica corretamente em $t-1$, classifica incorretamente em $t$) durante o treinamento.
  2. Pontuação de Norma L2 de Erro (EL2N Score - Paul et al. [6]): Calcula a norma euclidiana média do vetor de erro durante os estágios iniciais de treinamento.
• Protocolo Experimental:
  • Estratégia de Poda: As amostras foram classificadas em ordem ascendente de seus scores (removendo primeiro as amostras de baixo score/"menos importantes") e em ordem descendente (removendo primeiro as amostras de alto score).
  • Injeção de Ruído: Para experimentos específicos, ruído de rótulo simétrico foi aplicado a 30% do conjunto de treinamento.
  • Baselines: Um baseline de poda aleatória e um baseline "Oracle" (que remove todos os rótulos ruidosos primeiro) foram utilizados para comparação.
  • Métrica: O output primário é uma curva $\psi$, plotando a acurácia do conjunto de teste contra a fração do conjunto de treinamento podado.

Resultados Principais

1. Redundância e Poda Moderada

Em datasets limpos, os autores descobriram que existe uma redundância significativa. Aproximadamente 40% dos conjuntos de treinamento sintético e CIFAR-10, e 90% do conjunto MNIST, puderam ser podados com perda de desempenho negligenciável.

• Observação: Sob poda moderada, os dois métodos de pontuação ofereceram ganhos marginais (aprox. 2% para o CIFAR-10) sobre um baseline aleatório.
• Anomalia de Poda Extrema: Ao podar para níveis extremos (mantendo apenas as amostras "mais importantes"), o baseline aleatório consistentemente superou os métodos de pontuação. Os autores hipotetizam que as amostras consideradas "redundantes" em grandes tamanhos de dataset são, na verdade, necessárias para a generalização quando o dataset é pequeno. Os métodos de pontuação removeram excessivamente essas amostras, enquanto o baseline aleatório reteve uma mistura necessária de amostras "fáceis" e "difíceis".

2. Impacto do Ruído de Rótulo

Na presença de 30% de ruído de rótulo, a aplicação padrão das pontuações de Sample Forgetting e EL2N falhou catastroficamente.

• Modo de Falha: Ambos os métodos tenderam a atribuir scores altos (classificando-as como "importantes" para manter) às amostras com rótulos corrompidos. Consequentemente, ao realizar a poda em ordem ascendente, as amostras ruidosas foram retidas enquanto as amostras limpas foram removidas, levando a uma queda acentuada no desempenho do modelo.
• Estabilidade de Ranking: Amostras limpas mantiveram suas posições de ranking relativo mesmo após a introdução do ruído, enquanto amostras corrompidas mudaram significativamente para o topo do ranking (scores altos).

3. O Fenômeno do "Ranking Reverso"

Um achado contraintuitivo emergiu quando a ordem de ranking foi invertida (podando em ordem descendente de score):

• Dados Ruidosos: Inverter a ordem permitiu que o modelo podasse as amostras ruidosas de alto score primeiro. Isso resultou em um desempenho do modelo que igualou ou aproximou-se do baseline Oracle (que conhece a localização de todo o ruído).
• Poda Extrema: Mesmo em dados limpos, inverter o ranking melhorou o desempenho em níveis de poda extrema, sugerindo que a "importância" de uma amostra não é intrínseca, mas dependente da presença de outras amostras no dataset.

Contribuições Principais

O artigo contribui com os seguintes insights para o campo da poda de dados:

1. Importância Dependente de Contexto: A definição de uma amostra "importante" não é absoluta; ela é fortemente confundida pela redundância do dataset e pela presença de amostras contraditórias (ruído).
2. Falha de Métricas Padrão sob Ruído: Os autores demonstram que os métodos de pontuação populares (Sample Forgetting e EL2N) falham em identificar e remover o ruído de rótulo quando aplicados em sua configuração padrão de poda ascendente.
3. Interdependência de Amostras: O estudo destaca que a contribuição de uma amostra específica para o desempenho do modelo é interdependente do restante do dataset. Remover amostras "redundantes" pode ser prejudicial quando o tamanho do dataset torna-se pequeno.
4. Remediação Simples: Os autores mostram que simplesmente inverter a ordem de ranking desses métodos de pontuação pode melhorar drasticamente o desempenho em ambientes ruidosos e cenários de poda extrema, transformando efetivamente um modo de falha em um sucesso.

Significância e Limitações

Os autores concluem que o sucesso da poda de dados é distintamente afetado pela redundância, amostras problemáticas e interdependência. Eles argumentam que a ordem na qual as amostras devem ser podadas é menos clara na literatura do que frequentemente se assume.

Limitações reconhecidas pelos autores:

• Generalizabilidade: Não se determinou se esses achados se mantêm para datasets maiores como o ImageNet.
• Tipo de Ruído: O uso de ruído de rótulo simétrico artificial pode apresentar uma visão excessivamente otimista em comparação com a corrupção de dados complexa do mundo real.
• Escopo de Domínio: Os experimentos foram limitados à classificação de imagens; a aplicabilidade a outros domínios (ex: regressão de séries temporais) permanece incerta.

O artigo solicita trabalhos futuros para incorporar a interdependência de amostras nos processos de ranking e para desenvolver métodos de pontuação que sejam robustos a vários tipos de amostras problemáticas.