💻 computer science

CNN Regularization and Model Capacity: An Empirical Investigation of L1, L2, and Dropout in Hand Sign Image Classification

Cette étude empirique démontre que dans la classification d'images de signes de la main, l'augmentation de la capacité du CNN ne garantit pas une meilleure performance et que la régularisation par dropout, particulièrement avec des taux dépendant de l'architecture, surpasse de manière significative les pénalités L1 et L2, un modèle de taille moyenne atteignant la précision la plus élevée de 96,66 %.

Auteurs originaux : Chaitanya Patil

Publié 2026-08-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chaitanya Patil

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la vision par ordinateur, les machines apprennent à voir. Elles y parviennent en utilisant des cerveaux numériques appelés réseaux de neurones convolutifs, qui sont conçus pour reconnaître des motifs dans les images, tout comme le font les yeux et les cerveaux humains. Ces systèmes sont incroyablement puissants, capables d'identifier tout, des panneaux de signalisation aux scanners médicaux. Cependant, il y a un piège. Lorsque ces cerveaux numériques deviennent trop grands et complexes, ils peuvent commencer à mémoriser les exemples spécifiques qui leur sont présentés plutôt qu'à apprendre les règles générales de reconnaissance d'un objet. C'est ce qu'on appelle le surapprentissage (overfitting). Imaginez un étudiant qui mémorise les réponses d'un examen blanc spécifique, mais qui échoue à l'examen réel parce qu'il ne peut pas appliquer ce qu'il a appris à de nouvelles questions. Pour éviter cela, les scientifiques utilisent des techniques appelées régularisation. Ce sont des méthodes qui contraignent doucement le processus d'apprentissage, forçant le système à trouver des motifs plus simples et plus robustes qui fonctionnent sur des données qu'il n'a jamais vues auparavant. La question que les chercheurs se posent est de savoir si rendre le cerveau numérique plus grand aide toujours, ou s'il existe un point d'équilibre où la taille du cerveau et la force des contraintes fonctionnent le mieux ensemble.

Un chercheur de l'Institut indien de technologie de Kharagpur s'est donné pour mission de répondre à cette question en construisant une série de cerveaux numériques pour reconnaître des signes de la main. La tâche consistait à apprendre à un ordinateur à distinguer six gestes de la main différents, chacun représentant un chiffre de un à six. Le chercheur a créé trois versions du même système de vision par ordinateur, chacune ayant un niveau de capacité différent. La première était un système petit, la seconde de taille moyenne, et la troisième de grande taille. La seule différence entre eux était le nombre de connexions internes qu'ils possédaient ; le grand système possédait beaucoup plus de voies pour que l'information puisse circuler que le petit. Le but était de voir si le simple fait d'ajouter plus de connexions rendrait le système plus intelligent, ou si cela le rendrait simplement plus enclin à mémoriser les données d'entraînement.

Les expériences ont commencé par une découverte surprenante. Lorsque les systèmes étaient laissés à apprendre sans aucune contrainte, le système de taille moyenne était le plus performant. Il identifiait correctement les signes de la main dans les images de test environ 91,67 % du temps. Le grand système, malgré sa plus grande capacité d'apprentissage, était moins performant, atteignant seulement environ 83,33 % de précision. Cela se produisait parce que le grand système était si puissant qu'il mémorisait les détails spécifiques des images d'entraînement, y compris le bruit aléatoire, plutôt que d'apprendre la véritable forme des signes de la main. C'était comme un étudiant qui avait étudié l'examen blanc si intensément qu'il se souvenait de l'ordre exact des questions, mais échouait à comprendre les concepts sous-jacents. Le système moyen, avec moins de connexions, était forcé de trouver un équilibre, apprenant les caractéristiques essentielles sans être distrait par le bruit.

Pour améliorer ces résultats, le chercheur a appliqué différentes techniques pour empêcher les systèmes de faire du surapprentissage. Une méthode consistait à ajouter une pénalité pour les poids internes élevés, ce qui revient à encourager le système à garder ses paramètres internes simples. Une autre méthode consistait à désactiver aléatoirement certaines parties du système pendant l'entraînement, le forçant à compter sur différentes voies pour résoudre le problème. Cette technique, connue sous le nom de "dropout", s'est avérée être l'outil le plus efficace. Appliquée au système de taille moyenne, elle a poussé la précision à 96,66 %, le score le plus élevé atteint dans toute l'étude.

L'étude a également révélé que la meilleure façon d'utiliser ces outils dépend de la taille du système. Pour le petit système, une désactivation aléatoire légère fonctionnait bien. Pour le système moyen, une quantité modérée était préférable. Mais pour le grand système, qui possédait la plus grande capacité de mémorisation, les chercheurs ont découvert qu'une dose plus forte de désactivation aléatoire était nécessaire pour obtenir de bons résultats. Cela suggère que les systèmes plus grands ont besoin de contraintes plus fortes pour les empêcher de mémoriser les données d'entraînement. Le chercheur a également testé la combinaison de différentes méthodes, mais a constaté que le simple fait de les empiler ensemble ne rendait pas automatiquement le système meilleur. En fait, les meilleurs résultats provenaient de l'utilisation d'une méthode unique et bien ajustée plutôt que d'un mélange complexe.

La fiabilité des résultats a été vérifiée en répétant les expériences plusieurs fois avec des conditions de départ différentes, et les principaux résultats se sont confirmés. L'étude conclut que construire un système de vision par ordinateur plus grand ne garantit pas une meilleure performance. Au contraire, la taille du système doit être assortie du bon niveau de contrainte. Un système de taille moyenne avec le bon équilibre de contraintes peut surpasser un système beaucoup plus grand. Ce travail fournit un guide pratique clair sur la façon de régler ces cerveaux numériques, montrant que dans la quête de l'intelligence artificielle, parfois, moins c'est plus, et la force des règles compte tout autant que la taille du cerveau.

Résumé Technique : Régularisation des CNN et Capacité du Modèle

Énoncé du Problème
Les réseaux de neurones convolutifs (CNN) sont des outils puissants pour la classification d'images, mais ils sont confrontés à des défis importants de généralisation lorsque la capacité du modèle est élevée par rapport à la taille du jeu de données d'entraînement. Les modèles à haute capacité ont tendance à mémoriser les exemples d'entraînement plutôt qu'à apprendre des motifs généralisables, ce qui conduit au surapprentissage (overfitting). Bien que les techniques de régularisation telles que la pénalité L1, la décroissance des poids L2 et le dropout soient des méthodes standards pour atténuer le surapprentissage, l'interaction spécifique entre la capacité du modèle et l'efficacité de ces stratégies reste un domaine de recherche actif. Il n'est pas clair si les modèles plus grands nécessitent des régularisations proportionnellement plus fortes ou si les modèles plus petits bénéficient de contraintes plus faibles pour éviter le sous-apprentissage (underfitting).

Méthodologie
Cette étude présente une investigation empirique systématique utilisant une tâche de classification d'images de signes de la main à six classes. La recherche emploie un cadre expérimental contrôlé comprenant les composants suivants :

Jeu de données : Un jeu de données public de 1 080 images d'entraînement et 120 images de test (64×64×3 RGB) représentant les signes de la main 1 à 6. Les images ont été normalisées en divisant les valeurs de pixels par 255,0, et les étiquettes ont été encodées en format one-hot.
Architecture : Trois architectures de CNN ont été conçues avec une profondeur identique mais une largeur (capacité) variable :
- Small (Petit) : 16 → 32 → 64 filtres/unités.
- Medium (Moyen) : 32 → 64 → 128 filtres/unités.
- Large (Grand) : 64 → 128 → 256 filtres/unités.
  Toutes les architectures utilisent deux couches convolutives (noyaux 3×3, ReLU, max pooling 2×2), une couche entièrement connectée (fully connected) et une couche de sortie avec softmax.
Configuration d'entraînement : Les modèles ont été entraînés avec l'optimiseur Adam (taux d'apprentissage 0,001) pendant 1 000 itérations avec une initialisation He Normal. La fonction de perte principale est l'entropie croisée (cross-entropy).
Stratégies de régularisation : L'étude a évalué :
- Régularisation L1 : Coefficients ( $\lambda_1$ ) de 0,001, 0,01 et 0,05.
- Régularisation L2 : Coefficients ( $\lambda_2$ ) de 0,1, 0,3, 0,6, 1,0 et 2,0.
- Dropout : Taux de 0,1, 0,3 et 0,5 appliqués à la première couche entièrement connectée.
- Combiné L1+L2 : Application simultanée avec $\lambda_1=0,05$ et $\lambda_2=0,6$ .
Évaluation : Les métriques primaires sont la précision de test (test accuracy) et la précision d'entraînement (training accuracy). Les expériences ont été menées principalement avec la graine aléatoire (random seed) 42, des vérifications de reproductibilité ayant été effectuées avec les graines 1137 et 2024.

Résultats Clés
Les expériences ont produit plusieurs conclusions distinctes concernant l'interaction entre la capacité et la régularisation :

Capacité vs Performance : L'augmentation de la capacité du modèle n'a pas automatiquement amélioré la précision de test. Le modèle Medium non régularisé a atteint la meilleure précision de base (91,67 %), surpassant le modèle Large (83,33 %) et le modèle Small (84,16 %). Le modèle Large a atteint 100 % de précision d'entraînement mais n'a pas réussi à généraliser, suggérant qu'il a mémorisé le bruit.
Efficacité du Dropout : Le dropout a produit les meilleures performances dans toutes les configurations. Le taux de dropout optimal s'est déplacé vers une régularisation plus forte à mesure que la capacité du modèle augmentait :
- Modèle Small : Meilleure performance à 0,1 ou 0,3 (90,83 %).
- Modèle Medium : Meilleure performance à 0,3, atteignant la précision maximale de l'étude de 96,66 %.
- Modèle Large : Meilleure performance à 0,5 (95,00 %).
Sensibilité L1 et L2 :
- L2 : Une régularisation modérée ( $\lambda_2=0,1$ ) a amélioré le modèle Medium à 95,00 %, mais la performance s'est dégradée de manière significative à des intensités élevées ( $\lambda_2=2,0$ ), indiquant un sur-régularisation.
- L1 : A montré une sensibilité dépendante de l'architecture. Pour le modèle Small, une L1 plus forte ( $\lambda_1=0,05$ ) a amélioré la précision à 91,66 %, tandis que le modèle Large a obtenu de meilleurs résultats avec la L1 la plus faible ( $\lambda_1=0,001$ ).
Régularisation Combinée : La combinaison de L1 et L2 n'a pas surpassé les régulariseurs individuels les plus forts, produisant une précision de test moyenne de 87,50 % pour le modèle Medium.
Reproductibilité : Les vérifications sélectionnées ont confirmé la stabilité des principales conclusions, bien qu'une certaine variation ait été observée (par exemple, le modèle Medium avec un dropout de 0,3 est passé de 96,66 % à 93,34 % sous la graine 1137).

Signification et Revendications
Le document se positionne comme une étude empirique exploratoire plutôt que comme une source de théorie universelle. Ses principales contributions sont :

Fournir une comparaison contrôlée des stratégies de régularisation à travers trois niveaux de capacité distincts au sein d'une même famille d'architectures.
Démontrer que la capacité du modèle n'est pas un prédicteur de la performance de généralisation ; un modèle de taille moyenne peut surpasser un modèle plus grand si ce dernier est sujet au surapprentissage sans contraintes appropriées.
Établir une tendance empirique où les modèles plus grands bénéficient de taux de dropout plus élevés, ce qui s'aligne sur l'intuition selon laquelle une capacité plus élevée nécessite une régularisation plus agressive pour empêcher la co-adaptation.
Souligner que les méthodes de régularisation ne se composent pas nécessairement de manière linéaire, car l'approche combinée L1+L2 n'a pas réussi à surpasser les méthodes individuelles.

L'auteur déclare explicitement que ces conclusions sont limitées aux architectures, au jeu de données, aux plages d'hyperparamètres et aux conditions spécifiques investiguées. Ils ne prétendent pas fournir une loi d'échelle universelle pour la régularisation, mais proposent des observations empiriques pour éclairer les investigations futures sur les interactions capacité-régularisation.

Articles similaires