🤖 AI

A Transfer Learning Evaluation of Deep Neural Networks for Image Classification

Ce papier évalue onze réseaux de neurones profonds pré-entraînés sur ImageNet pour la classification d'images en affinant leurs couches de sortie et leurs paramètres sur cinq jeux de données cibles, en évaluant leurs performances selon la précision, le temps d'entraînement et la taille du modèle afin de guider la sélection du modèle optimal.

Auteurs originaux : Nermeen Abou Baker, Nico Zengeler, Uwe Handmann

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nermeen Abou Baker, Nico Zengeler, Uwe Handmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un chien à reconnaître des types spécifiques de voitures. Vous pourriez commencer de zéro, lui apprenant dès le premier jour ce qu'est une « roue » ou un « phare ». Cela prend beaucoup de temps, nécessite une quantité massive de friandises (de données), et le chien risque de se confondre.

L'apprentissage par transfert consiste à prendre un chien qui a déjà passé des années à apprendre à reconnaître toutes sortes d'animaux (chats, chiens, oiseaux, chevaux) et à simplement lui enseigner la différence entre une « Ford » et une « Toyota ». Le chien sait déjà à quoi ressemblent une patte, une oreille et un pelage ; vous devez simplement ajuster son cerveau pour qu'il se concentre sur les caractéristiques spécifiques des voitures.

Ce document est essentiellement un guide d'achat pour des « cerveaux pré-entraînés » (réseaux de neurones profonds) afin de déterminer lequel convient le mieux à différents travaux.

La Grande Question

Les chercheurs se sont demandé : « Si je veux construire un système pour reconnaître des images, quel « cerveau » pré-entraîné dois-je acheter ? »

Il existe de nombreux modèles célèbres (comme AlexNet, VGG, ResNet, etc.), mais ils sont tous différents. Certains sont énormes et lourds, d'autres sont minuscules et rapides, et certains sont incroyablement intelligents mais prennent une éternité à entraîner. L'article soutient que la plupart des gens choisissent simplement celui qui a le meilleur « score » (précision) et ignorent le coût (temps et mémoire). Les auteurs voulaient trouver le meilleur équilibre.

L'Expérience : Une Course avec des Règles Différentes

Les chercheurs ont pris 11 modèles pré-entraînés différents (les « cerveaux ») et les ont soumis à une série de 5 tâches d'images différentes (les « travaux »).

Les travaux allaient de tâches standard et faciles (comme reconnaître des chiffres manuscrits ou des formes simples) à des tâches spécifiques et délicates (comme identifier différents modèles de smartphones par leur dos, ou distinguer les fourmis des abeilles).

Ils ont testé ces modèles dans deux scénarios principaux :

L'Approche « Cerveau Gelé » (Ajustement fin uniquement de la dernière couche) :
- Analogie : Imaginez que le modèle pré-entraîné est un chef cuisinier maître qui sait hacher, frire et cuire au four. Vous l'engagez, mais vous lui dites : « Ne changez pas votre style de cuisine. Apprenez simplement à dresser les plats différemment pour ce restaurant spécifique. »
- Résultat : Le chef conserve toutes ses compétences existantes (poids) gelées et apprend uniquement les nouvelles règles de dressage. C'est rapide et utilise moins de mémoire.
L'Approche « Ré-entraînement Complet » (Ajustement fin de toutes les couches) :
- Analogie : Vous engagez le chef cuisinier maître et vous lui dites : « Oubliez tout ce que vous savez sur la cuisine française. Nous faisons de l'italien maintenant. Ré-apprenez tout, du hachage à l'assaisonnement. »
- Résultat : Cela prend beaucoup plus de temps et nécessite plus de puissance de calcul, mais le chef pourrait mieux s'adapter au nouveau style.

Les Métriques : Comment ils ont jugé la Course

Au lieu de regarder simplement qui a eu le plus de bonnes réponses, ils ont examiné trois autres aspects :

Précision : A-t-il donné la bonne réponse ?
Temps d'entraînement : Combien de temps a-t-il fallu pour apprendre ?
Taille du modèle : Combien d'« espace cérébral » (mémoire) était nécessaire ?
Densité de précision : C'est une nouvelle métrique qu'ils ont utilisée. C'est comme demander : « Quelle quantité de « intelligence » obtiens-je pour chaque once de poids ? » Un petit modèle très précis est un gagnant à haute densité.

Les Gagnants (Selon l'Article)

L'article ne déclare pas un seul « meilleur » modèle car cela dépend de vos besoins. Voici la répartition :

Si vous avez besoin de la précision la plus élevée : Des modèles comme GoogLeNet, DenseNet et ResNet sont les poids lourds. Ils sont intelligents mais peuvent être lourds.
Si vous avez besoin du meilleur rapport qualité-prix (Densité de précision) : ResNet-18 était le champion. Il a offert un excellent retour sur investissement par rapport à la taille du modèle.
Si vous avez besoin du modèle le plus petit (pour téléphones ou petits appareils) : SqueezeNet, ShuffleNet et MobileNet sont les champions légers. Ils sont minuscules mais étonnamment capables.
Si vous avez besoin du temps d'entraînement le plus rapide : AlexNet et SqueezeNet étaient les sprinteurs.
Le Perdant « Lourd » : VGG-16 était le plus lourd et le plus lent. L'article suggère qu'il pourrait être trop encombrant pour les petits appareils, même s'il fonctionne bien.

La Conclusion

L'article conclut qu'il n'existe pas de modèle « parfait ». C'est comme acheter une voiture :

Si vous voulez courir des courses, vous achetez une Ferrari (Haute précision, coût élevé).
Si vous voulez vous déplacer en ville, vous achetez une voiture compacte (Haute efficacité, faible coût).

Les auteurs fournissent une carte pour aider les développeurs à choisir la bonne « voiture » en fonction de leurs contraintes spécifiques (besoins en temps, en mémoire et en précision) plutôt que de choisir aveuglément celle qui affiche la lecture de vitesse la plus élevée. Ils ont testé ces modèles sur des ensembles de données standard et certains personnalisés (comme des photos de smartphones), prouvant que le « meilleur » choix change en fonction du travail que vous effectuez.

Résumé Technique : Une Évaluation par Apprentissage par Transfert des Réseaux de Neurones Profonds pour la Classification d'Images

Énoncé du Problème
L'apprentissage par transfert est une technique omniprésente en apprentissage profond qui exploite des poids pré-entraînés issus d'un domaine source (généralement ImageNet) pour accélérer l'apprentissage et améliorer les performances dans un domaine cible. Bien que largement adoptée dans des domaines divers tels que l'imagerie médicale, la télédétection et les applications mobiles, la sélection du modèle pré-entraîné optimal pour une tâche cible spécifique demeure un dilemme complexe. La littérature existante se concentre souvent principalement sur la précision, négligeant des contraintes critiques telles que le temps d'entraînement, les exigences mémoire et la taille du modèle. Les chercheurs font fréquemment face à la confusion lorsqu'ils doivent équilibrer ces compromis, en particulier lorsqu'ils traitent de jeux de données limités ou d'environnements contraints par le matériel (par exemple, les systèmes embarqués). L'article répond au besoin d'une évaluation complète qui prend en compte plusieurs métriques au-delà de la simple précision pour guider la sélection du modèle.

Méthodologie
Les auteurs ont mené une étude empirique extensive évaluant onze architectures populaires de réseaux de neurones convolutifs (CNN) pré-entraînés contre cinq jeux de données cibles distincts. L'étude a utilisé les composants suivants :

Modèles testés : Onze architectures couvrant différentes époques de conception et caractéristiques : AlexNet, VGG-16, GoogLeNet (Inception-V1), ResNet-18, SqueezeNet, ResNext, DenseNet, MobileNet, WideResNet, ShuffleNet-V2 et MnasNet. Ces modèles varient en profondeur, en largeur, en utilisation de connexions de saut et en fonctionnalités spécialisées telles que les convolutions séparables par profondeur.
Jeux de données : Cinq jeux de données ont été utilisés pour représenter différents niveaux de complexité et de spécificité de domaine :
1. CIFAR-10 : Un jeu de données standard avec 60 000 images.
2. MNIST : Un jeu de données standard avec 70 000 images.
3. Hymenoptera : Un petit jeu de données (245 pour l'entraînement, 153 pour le test) pour la classification des fourmis et des abeilles.
4. Jeu de données Smartphone : Un jeu de données personnalisé de 654 images représentant 12 classes de modèles de smartphones (par exemple, Apple, Samsung, Huawei) pour la classification du recyclage des déchets électroniques.
5. Jeu de données Smartphone augmenté : Le jeu de données Smartphone étendu par rotation et injection de bruit jusqu'à 8 502 images.
Configuration expérimentale : Les expériences ont été réalisées sur un GPU Nvidia GTX 1080 Ti utilisant PyTorch. L'étude a employé une recherche par grille pour les taux d'apprentissage ( $\eta \in \{10^{-2}, 10^{-3}, 10^{-4}\}$ ) avec l'optimiseur ADAM et une taille de lot de 10. Un arrêt anticipé a été appliqué en fonction de la précision de validation.
Stratégies d'affinement : Deux scénarios distincts d'apprentissage par transfert ont été évalués :
1. Couche de classificateur uniquement : Les couches d'extraction de caractéristiques ont été figées ; seule la couche de classification finale a été réinitialisée et entraînée.
2. Affinement complet : Toutes les couches du réseau ont été débloquées et entraînées.
Épisodes d'apprentissage : Deux régimes d'entraînement ont été testés : « Un épisode » (échantillons présentés une fois) et « Dix épisodes » (échantillons présentés dix fois).
Métriques d'évaluation : La performance a été mesurée en utilisant :
- Précision : Performance standard de classification.
- Densité de précision : Définie comme la précision divisée par le nombre de paramètres ( $\text{densité} = \frac{\text{précision}}{\#\text{paramètres}}$ ), servant de mesure de l'efficacité des paramètres.
- Taille du modèle : Mesurée en nombre de paramètres (Mo).
- Temps d'entraînement : Mesuré en secondes.

Résultats Clés
L'étude a produit des résultats spécifiques concernant la performance des modèles sous différentes contraintes :

Densité de précision :
- Dans l'affinement complet, SqueezeNet a démontré de manière constante la densité de précision la plus élevée sur tous les jeux de données, validant ainsi son objectif de conception de maintenir une précision au niveau d'AlexNet avec nettement moins de paramètres.
- Dans l'affinement du classificateur uniquement, ResNet-18 s'est imposé comme le candidat le plus efficace en termes de densité de précision.
Précision :
- Pour les applications nécessitant la précision absolue la plus élevée, DenseNet (dans l'affinement du classificateur uniquement) et des modèles tels que GoogLeNet, ResNet-18, ResNext et ShuffleNet-V2 ont été identifiés comme de solides candidats.
Temps d'entraînement :
- AlexNet a constamment requis le temps d'entraînement le plus court.
- SqueezeNet a également démontré des temps d'entraînement très courts, en particulier dans l'affinement du classificateur uniquement.
- VGG-16 a été identifié comme le modèle le plus complexe avec les temps d'entraînement les plus longs et les plus grandes tailles de modèle, le rendant moins adapté aux environnements contraints par les ressources.
Taille du modèle :
- SqueezeNet, ShuffleNet, MobileNet, MnasNet et GoogLeNet offraient les plus petites tailles de modèle, les rendant idéaux pour les applications embarquées et mobiles.
- MnasNet a montré une faible complexité et des temps d'entraînement courts, mais a présenté les performances les plus faibles en termes de métriques d'erreur dans certaines configurations.

Signification et Revendications
L'article revendique fournir un « guide réalisable » et une « analyse approfondie » pour les chercheurs et les praticiens sélectionnant des modèles pré-entraînés. Plutôt que d'offrir un seul modèle « meilleur », les auteurs soutiennent que le choix optimal dépend fortement des contraintes spécifiques de l'application :

Haute précision : GoogLeNet, DenseNet, ShuffleNet-V2, ResNet-18 et ResNext.
Efficacité des paramètres (Densité de précision) : SqueezeNet (affinement complet) et ResNet-18 (affinement du classificateur).
Vitesse (Temps d'entraînement) : AlexNet et SqueezeNet.
Déploiement embarqué/mobile (Petite taille) : SqueezeNet, ShuffleNet, MobileNet, MnasNet et GoogLeNet.

Les auteurs déclarent modestement que leur travail ne fournit pas un « verdict final » mais soutient plutôt la prise de décision basée sur les compromis entre le temps d'entraînement, la taille du modèle et la précision. Ils soulignent que, bien que l'apprentissage par transfert soit puissant, la réutilisation de modèles pré-entraînés nécessite une considération attentive des exigences spécifiques du domaine cible (par exemple, taille du jeu de données, limitations matérielles) pour éviter des implémentations sous-optimales. L'étude met en évidence que l'affinement des seules couches de classificateur atteint souvent des performances élevées avec moins de paramètres et des temps d'entraînement plus courts, en particulier lorsque les étiquettes cibles sont rares, tandis que l'affinement complet est plus approprié lorsque les étiquettes sont abondantes.

Travaux Futurs
Les auteurs indiquent leurs projets de tester des métriques d'évaluation supplémentaires pour faciliter davantage la prise de décision et d'enquêter systématiquement sur l'utilisation des métadonnées pour estimer les hyperparamètres utiles de l'apprentissage par transfert.