Resumo Técnico: Poda de Conjuntos de Dados Eficiente em Rótulos via Pseudo-Rotulagem Semi-Supervisionada

Declaração do Problema

Modelos de aprendizado profundo dependem cada vez mais de conjuntos de dados massivos, levando a custos de armazenamento e treinamento proibitivos. A poda de conjuntos de dados aborda isso selecionando um subconjunto informativo (um núcleo) de um conjunto de dados maior. No entanto, a maioria dos métodos de poda existentes requer dados totalmente rotulados para estimar a importância dos exemplos, o que é impraticável em cenários do mundo real onde a anotação é custosa e os dados não rotulados são abundantes.

Embora métodos recentes de poda "livres de rótulos" tentem contornar isso usando características de modelos pré-treinados para estimar a dificuldade dos exemplos, eles sofrem de uma limitação crítica: sua confiabilidade depende do alinhamento entre a distribuição de características pré-treinadas e o conjunto de dados alvo. Quando os dados alvo diferem significativamente da distribuição de pré-treinamento (por exemplo, conjuntos de dados específicos de domínio, variantes com corrupção de imagem ou distribuições de cauda longa), as estimativas de dificuldade baseadas em características frequentemente falham em capturar a verdadeira estrutura semântica, levando a uma seleção de núcleo deficiente.

Metodologia: SemiPrune

Os autores propõem o SemiPrune, um framework de poda de conjuntos de dados eficiente em rótulos que utiliza um pequeno subconjunto aleatoriamente rotulado para gerar pseudo-rótulos para todo o conjunto de dados via Aprendizado Semi-Supervisionado (SSL). O método opera em um pipeline de duas etapas:

1. Geração de Pseudo-Rótulos Baseada em SSL:

   • Um pequeno subconjunto de dados (por exemplo, 10%) é selecionado aleatoriamente e rotulado.
   • Um modelo é treinado neste subconjunto rotulado combinado com os dados não rotulados restantes usando um objetivo de SSL (especificamente FixMatch).
   • O modelo treinado atribui pseudo-rótulos aos exemplos não rotulados. Esses pseudo-rótulos são ancorados ao espaço de classes alvo porque o modelo é treinado diretamente na distribuição alvo, ao contrário de métodos que dependem de codificadores pré-treinados fixos.
   • Os exemplos inicialmente rotulados (com rótulos verdadeiros) e os exemplos pseudo-rotulados formam um pool de treinamento unificado.

2. Poda Supervisionada em Dados Pseudo-Rotulados:

   • Um modelo supervisionado é treinado do zero no pool de treinamento pseudo-rotulado.
   • Pontuações de importância por exemplo são computadas com base nas dinâmicas de treinamento deste modelo.
   • Os autores adaptam dois critérios de poda supervisionada existentes para funcionar com pseudo-rótulos:
     • Semi-AUM: Utiliza a pontuação de Área Sob a Margem (AUM) com uma estratégia de poda de duas extremidades para selecionar exemplos do meio da distribuição de dificuldade.
     • Semi-DUAL: Utiliza a pontuação DUAL (combinando dificuldade de previsão e incerteza) com amostragem Beta para ajustar a distribuição de amostragem com base na taxa de poda.

Principais Contribuições e Descobertas

1. Limitações da Pseudo-Rotulagem Baseada em Deep Clustering

O artigo identifica que métodos como ELFS, que dependem de agrupamento profundo de características pré-treinadas fixas (por exemplo, DINO), são frágeis em três cenários específicos:

• Incompatibilidade de Domínio: Características pré-treinadas podem agrupar exemplos por similaridade visual superficial em vez de classe semântica (por exemplo, em Food-101), levando a pseudo-rótulos ruidosos.
• Corrupção de Imagem: Corrupções distorcem o espaço de características, tornando as representações pré-treinadas menos separáveis e degradando os limites de agrupamento.
• Distribuições de Cauda Longa: O desequilíbrio de classes faz com que algoritmos de agrupamento fragmentem classes majoritárias e fundam classes minoritárias, falhando em preservar as proporções reais das classes.

Em contraste, a pseudo-rotulagem baseada em SSL, treinada diretamente nos dados alvo, produz consistentemente pseudo-rótulos de maior qualidade nesses cenários, conforme evidenciado por métricas de precisão, NMI e ARI mais altas em comparação com o agrupamento profundo.

2. Desempenho Experimental

Os autores avaliam o SemiPrune em diversos conjuntos de dados, incluindo específicos de domínio (Food-101, SUN397), corrompidos (CIFAR-100-C, Tiny-ImageNet-C), de cauda longa (Caltech-101, CIFAR-100-LT) e benchmarks padrão (CIFAR-10/100, ImageNet-1K).

• Configurações Desafiadoras: Em configurações específicas de domínio, corrompidas e de cauda longa, o SemiPrune alcança desempenho state-of-the-art entre métodos que usam nenhum rótulo ou apenas uma pequena fração de dados rotulados. Ele supera significativamente as linhas de base livres de rótulos (Prototypicality, ZCore, ELFS) e as linhas de base com poucos rótulos (Extrapolação de Pontuação).
• Benchmarks Padrão: Em benchmarks padrão onde as características pré-treinadas estão bem alinhadas, o SemiPrune permanece competitivo, frequentemente igualando ou superando ligeiramente o desempenho das linhas de base de poda totalmente supervisionada e métodos livres de rótulos.
• Eficiência em Rótulos: O método demonstra que um orçamento de rótulos muito pequeno (por exemplo, 1% a 5%) é suficiente para superar fortes linhas de base livres de rótulos, sugerindo que a anotação mínima do domínio alvo é mais eficaz do que confiar inteiramente em representações pré-treinadas fixas ou codificadores auto-supervisionados treinados do zero.

3. Estudos de Ablação

• Orçamento de Rótulos: O desempenho escala com o orçamento inicial de rótulos, mas mesmo em 1%, o SemiPrune supera o ELFS com um codificador auto-treinado.
• Métricas de Pontuação: A vantagem dos pseudo-rótulos baseados em SSL persiste em diferentes métricas de pontuação (AUM, DUAL, EL2N, Esquecimento), particularmente em configurações com incompatibilidade de domínio.

Significado e Alegações

O artigo afirma que o SemiPrune conecta efetivamente a lacuna entre a poda totalmente supervisionada (que requer anotação completa) e a poda livre de rótulos (que depende de características pré-treinadas potencialmente desalinhadas). Ao aproveitar o aprendizado semi-supervisionado para gerar pseudo-rótulos diretamente do conjunto de dados alvo, o método:

• Captura a distribuição alvo com mais precisão do que características pré-treinadas fixas.
• Fornece sinais mais confiáveis para estimativa de dificuldade e seleção de núcleo, especialmente em condições de dados não ideais (mudança de domínio, corrupção, desequilíbrio).
• Oferece uma alternativa prática e eficiente em custos à anotação completa, exigindo apenas uma pequena fração de dados rotulados para alcançar desempenho comparável ou superior a métodos totalmente supervisionados em regimes desafiadores específicos.

Os autores observam que o framework não está vinculado ao FixMatch e pode incorporar qualquer algoritmo de SSL que forneça pseudo-rótulos confiáveis. Eles também sugerem que trabalhos futuros poderiam explorar a incorporação de aprendizado ativo para selecionar amostras mais informativas para o orçamento inicial de anotação.