Neural Architecture Search on Large Kernel Convolution Search Space for Computer Vision Tasks
Cet article introduit LarKNAS, une nouvelle méthode de recherche d'architecture neuronale présentant un espace de recherche de convolutions à noyau large et une stratégie d'estimation de gradient efficace qui découvre des modèles convolutionnels à grande échelle aux performances comparables aux architectures conçues à la main tout en réduisant considérablement les coûts de recherche.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la vision par ordinateur, les machines apprennent à voir en traitant des images à travers des couches de filtres mathématiques, tout comme l'œil humain fait passer la lumière à travers une lentille pour se concentrer sur une scène. Pendant des années, les conceptions les plus réussies de ces yeux numériques reposaient sur de petits filtres répétitifs qui examinaient de minuscules fragments d'une image à la fois. Bien que ces petits filtres aient bien fonctionné pour des tâches de base, les chercheurs ont commencé à soupçonner qu'ils atteignaient un plafond lorsqu'il s'agissait de construire des modèles assez grands pour comprendre des scènes complexes, comme une rue bondée ou un vaste paysage. La sagesse dominante suggérait que, pour rendre ces systèmes plus intelligents, il suffisait simplement de les rendre plus grands ou plus profonds, en empilant davantage de couches de ces petits filtres. Cependant, cette approche entraînait souvent des rendements décroissants, où l'ajout de puissance de calcul ne produisait que de minuscules améliorations de la précision. La question se posa : peut-être le problème n'était-il pas la taille de la machine, mais la taille des outils qu'elle utilisait pour regarder le monde.
Une équipe de chercheurs de l'Université d'ingénierie de l'information de la PLA s'est donné pour mission de remettre en question cette hypothèse en concevant une nouvelle méthode pour découvrir automatiquement de meilleures façons pour les ordinateurs de voir. Ils se sont concentrés sur un type spécifique de filtre appelé noyau de convolution, qui est l'outil mathématique qui balaie une image pour détecter des caractéristiques telles que les bords ou les textures. Alors que les conceptions modernes s'étaient largement stabilisées sur l'utilisation de noyaux très petits, les chercheurs ont émis l'hypothèse que l'utilisation de noyaux beaucoup plus grands pourrait permettre à la machine de percevoir un contexte plus large en un seul regard, de la même manière qu'un humain pourrait reculer pour voir l'ensemble de l'image plutôt que de se concentrer sur une seule brique. Pour tester cela, ils ont développé un système appelé LarKNAS, qui signifie Neural Architecture Search on Large Kernel Convolution Search Space (Recherche d'architecture neuronale sur un espace de recherche de convolution à grand noyau). Ce système ne repose pas sur l'intuition humaine pour choisir la meilleure conception ; au lieu de cela, il agit comme un architecte automatisé, testant des milliers de combinaisons différentes de ces grands filtres pour trouver la structure la plus efficace et la plus puissante.
Les chercheurs ont été confrontés à un obstacle de taille : la recherche de la meilleure conception parmi un éventail aussi vaste de possibilités est extrêmement coûteuse en termes de temps et de puissance de calcul. Les méthodes traditionnelles nécessitent souvent de tester chaque conception une par une, un processus qui peut prendre des milliers de jours de temps de calcul. Pour résoudre ce problème, l'équipe a créé une nouvelle stratégie de recherche qui estime le potentiel d'une conception sans la former complètement au préalable. Ils ont observé comment les signaux mathématiques au sein du réseau changeaient pendant son apprentissage, utilisant la force moyenne et la cohérence de ces signaux pour prédire quels designs seraient les plus performants. Cela leur a permis de naviguer dans l'espace de recherche beaucoup plus rapidement que les méthodes précédentes, en filtrant efficacement les mauvaises conceptions tôt et en concentrant les ressources sur les candidats les plus prometteurs.
L'espace de recherche qu'ils ont construit ne consistait pas seulement à agrandir les filtres ; il s'agissait de les disposer intelligemment. Ils ont conçu une structure où différentes parties du réseau utilisent différentes tailles de filtres. Les premières couches, qui gèrent les détails simples comme les bords, utilisent de petits filtres, tandis que les couches intermédiaires, responsables de la compréhension des formes et des relations complexes, utilisent des filtres très larges, certains atteignant cinquante et un pixels de large. Ils ont également introduit un moyen de rendre ces grands filtres plus efficaces en les rendant « creux » (sparse), ce qui signifie qu'ils ne traitent qu'une sélection de points de données plutôt que chacun d'entre eux, économisant ainsi de l'énergie tout en conservant la capacité de voir à de longues distances à travers l'image. Cette approche a abouti à une famille de modèles pouvant être dimensionnés vers le haut ou vers le bas selon la tâche, des versions légères pour les appareils mobiles aux versions massives pour les serveurs haut de gamme.
Lorsque les chercheurs ont testé leur meilleur modèle trouvé, nommé LarKNASNet-L, les résultats ont été frappants. Sur le jeu de données ImageNet, une référence standard pour la reconnaissance d'images, le modèle a atteint une précision de 86,6 pour cent. Cette performance est comparable, et dans certains cas meilleure, que les meilleurs modèles conçus à la main par des experts humains, y compris ceux basés sur les dernières architectures de transformeurs qui dominent le domaine récemment. Le modèle a également excellé dans d'autres tâches de vision, telles que la détection d'objets dans les images et leur segmentation en parties distinctes, atteignant des scores de premier plan sur les benchmarks COCO et ADE20K. Plus important encore, l'équipe a obtenu ces résultats avec un coût de recherche de seulement 96 jours de temps de calcul sur des processeurs graphiques spécialisés. C'est une fraction du coût requis par d'autres méthodes de recherche à grande échelle, qui consomment souvent des centaines de jours pour trouver un modèle de taille similaire.
L'étude a explicitement écarté l'idée que le simple ajout de couches de petits filtres soit la meilleure voie à suivre pour les modèles à grande échelle. En comparant leurs résultats avec d'autres méthodes qui reposent sur des techniques de reparamétrage ou des noyaux larges et denses, les chercheurs ont constaté que leur approche consistant à utiliser des noyaux larges et creux au sein d'une architecture phasée était supérieure. Ils ont démontré que l'utilisation de méthodes de reparamétrage, qui combinent plusieurs branches de filtres, entraînait souvent des problèmes de mémoire rendant le processus de recherche impossible sur du matériel standard. Leurs conclusions suggèrent que la clé pour débloquer la prochaine génération de modèles de vision par ordinateur ne réside pas seulement dans l'augmentation du nombre de paramètres, mais dans la repensée de la géométrie fondamentale de la façon dont ces modèles traitent l'information visuelle.
Les implications de ce travail vont au-delà des simples chiffres de précision. Les chercheurs ont montré que leurs modèles développaient une meilleure compréhension des formes des objets, plutôt que de se contenter de s'appuyer sur la texture, un trait qui se rapproche davantage de la vision humaine. Cela suggère qu'en permettant aux machines de regarder de plus grandes portions d'une image à la fois, elles peuvent former une compréhension plus robuste et plus humaine du monde visuel. Le succès de LarKNAS indique que le domaine de la vision par ordinateur pourrait entrer dans une nouvelle ère où la conception de l'espace de recherche lui-même — les règles et les outils utilisés pour trouver le meilleur modèle — est tout aussi importante que le modèle qu'il produit. En prouvant que les grands noyaux peuvent être recherchés de manière efficace et rentable, l'équipe a ouvert une nouvelle porte pour la création de systèmes visuels puissants, efficaces et intelligents, sans les coûts prohibitifs qui ont jusqu'alors limité une telle exploration.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.