A Transfer Learning Evaluation of Deep Neural Networks for Image Classification

Resumo Técnico: Uma Avaliação de Aprendizado por Transferência de Redes Neurais Profundas para Classificação de Imagens

Declaração do Problema
O aprendizado por transferência é uma técnica ubíqua em aprendizado profundo que aproveita pesos pré-treinados de um domínio fonte (tipicamente ImageNet) para acelerar o aprendizado e melhorar o desempenho em um domínio alvo. Embora amplamente adotada em diversas áreas, como imagem médica, sensoriamento remoto e aplicações móveis, a seleção do modelo pré-treinado ótimo para uma tarefa alvo específica permanece um dilema complexo. A literatura existente frequentemente foca primariamente na acurácia, negligenciando restrições críticas como tempo de treinamento, requisitos de memória e tamanho do modelo. Pesquisadores frequentemente enfrentam confusão ao equilibrar essas compensações, particularmente ao lidar com conjuntos de dados limitados ou ambientes com restrições de hardware (por exemplo, sistemas embarcados). O artigo aborda a necessidade de uma avaliação abrangente que considere múltiplas métricas além da simples acurácia para orientar a seleção de modelos.

Metodologia
Os autores conduziram um estudo empírico extenso avaliando onze arquiteturas populares de Redes Neurais Convolucionais (CNN) pré-treinadas contra cinco conjuntos de dados alvo distintos. O estudo utilizou os seguintes componentes:

• Modelos Testados: Onze arquiteturas abrangendo diferentes eras de design e características: AlexNet, VGG-16, GoogLeNet (Inception-V1), ResNet-18, SqueezeNet, ResNext, DenseNet, MobileNet, WideResNet, ShuffleNet-V2 e MnasNet. Estes modelos variam em profundidade, largura, uso de conexões de salto e recursos especializados como convoluções separáveis por profundidade.
• Conjuntos de Dados: Cinco conjuntos de dados foram utilizados para representar variados níveis de complexidade e especificidade de domínio:
  1. CIFAR-10: Um conjunto de dados padrão com 60.000 imagens.
  2. MNIST: Um conjunto de dados padrão com 70.000 imagens.
  3. Himenópteros: Um pequeno conjunto de dados (245 de treinamento, 153 de teste) para classificação de formigas e abelhas.
  4. Conjunto de Dados de Smartphones: Um conjunto de dados personalizado de 654 imagens representando 12 classes de modelos de smartphones (por exemplo, Apple, Samsung, Huawei) para classificação de reciclagem de lixo eletrônico.
  5. Conjunto de Dados de Smartphones Aumentado: O conjunto de dados de smartphones expandido via rotação e injeção de ruído para 8.502 imagens.
• Configuração Experimental: Os experimentos foram realizados em uma GPU Nvidia GTX 1080 Ti usando PyTorch. O estudo empregou uma busca em grade para taxas de aprendizado ($\eta \in \{10^{-2}, 10^{-3}, 10^{-4}\}$) com o otimizador ADAM e um tamanho de lote de 10. A parada antecipada foi aplicada com base na acurácia de validação.
• Estratégias de Ajuste Fino: Dois cenários distintos de aprendizado por transferência foram avaliados:
  1. Apenas Camada Classificadora: Camadas de extração de características foram congeladas; apenas a camada final de classificação foi re-inicializada e treinada.
  2. Ajuste Fino Completo: Todas as camadas da rede foram desbloqueadas e treinadas.
• Episódios de Aprendizado: Dois regimes de treinamento foram testados: "Um Episódio" (amostras apresentadas uma vez) e "Dez Episódios" (amostras apresentadas dez vezes).
• Métricas de Avaliação: O desempenho foi medido usando:
  • Acurácia: Desempenho padrão de classificação.
  • Densidade de Acurácia: Definida como acurácia dividida pelo número de parâmetros ($\text{densidade} = \frac{\text{acurácia}}{\#\text{parâmetros}}$), servindo como uma medida de eficiência de parâmetros.
  • Tamanho do Modelo: Medido em número de parâmetros (MB).
  • Tempo de Treinamento: Medido em segundos.

Principais Resultados
O estudo produziu descobertas específicas sobre o desempenho do modelo sob diferentes restrições:

• Densidade de Acurácia:
  • No Ajuste Fino Completo, o SqueezeNet demonstrou consistentemente a maior densidade de acurácia em todos os conjuntos de dados, validando seu objetivo de design de manter acurácia no nível do AlexNet com significativamente menos parâmetros.
  • No Ajuste Apenas da Camada Classificadora, o ResNet-18 emergiu como o candidato mais eficiente em relação à densidade de acurácia.
• Acurácia:
  • Para aplicações que exigem a maior acurácia absoluta, o DenseNet (no ajuste apenas da camada classificadora) e modelos como GoogLeNet, ResNet-18, ResNext e ShuffleNet-V2 foram identificados como fortes candidatos.
• Tempo de Treinamento:
  • O AlexNet consistentemente exigiu o menor tempo de treinamento.
  • O SqueezeNet também demonstrou tempos de treinamento muito curtos, particularmente no ajuste apenas da camada classificadora.
  • O VGG-16 foi identificado como o modelo mais complexo com os maiores tempos de treinamento e maiores tamanhos de modelo, tornando-o menos adequado para ambientes com restrições de recursos.
• Tamanho do Modelo:
  • SqueezeNet, ShuffleNet, MobileNet, MnasNet e GoogLeNet ofereceram os menores tamanhos de modelo, tornando-os ideais para aplicações embarcadas e móveis.
  • O MnasNet mostrou baixa complexidade e tempos de treinamento curtos, mas exibiu o pior desempenho em termos de métricas de erro em algumas configurações.

Significado e Alegações
O artigo alega fornecer uma "diretriz viável" e um "conhecimento profundo" para pesquisadores e praticantes na seleção de modelos pré-treinados. Em vez de oferecer um único modelo "melhor", os autores argumentam que a escolha ótima depende fortemente de restrições específicas da aplicação:

• Alta Acurácia: GoogLeNet, DenseNet, ShuffleNet-V2, ResNet-18 e ResNext.
• Eficiência de Parâmetros (Densidade de Acurácia): SqueezeNet (ajuste fino completo) e ResNet-18 (ajuste da camada classificadora).
• Velocidade (Tempo de Treinamento): AlexNet e SqueezeNet.
• Implantação Embarcada/Móvel (Pequeno Tamanho): SqueezeNet, ShuffleNet, MobileNet, MnasNet e GoogLeNet.

Os autores afirmam modestamente que seu trabalho não fornece um "veredito final", mas sim apoia a tomada de decisão baseada nas compensações entre tempo de treinamento, tamanho do modelo e acurácia. Eles enfatizam que, embora o aprendizado por transferência seja poderoso, a reutilização de modelos pré-treinados requer uma consideração cuidadosa dos requisitos específicos do domínio alvo (por exemplo, tamanho do conjunto de dados, limitações de hardware) para evitar implementações subótimas. O estudo destaca que o ajuste fino apenas das camadas classificadoras frequentemente alcança alto desempenho com menos parâmetros e tempos de treinamento mais curtos, particularmente quando os rótulos alvo são escassos, enquanto o ajuste fino completo é mais apropriado quando os rótulos são abundantes.

Trabalho Futuro
Os autores indicam planos para testar métricas de avaliação adicionais para facilitar ainda mais a tomada de decisão e investigar sistematicamente o uso de metadados para estimar hiperparâmetros úteis de aprendizado por transferência.