YOLO-NAS-Bench: A Surrogate Benchmark with Self-Evolving Predictors for YOLO Architecture Search

Ce papier présente YOLO-NAS-Bench, le premier benchmark de substitution pour la recherche d'architecture neuronale des détecteurs YOLO, qui utilise un mécanisme d'auto-évolution pour affiner un prédicteur capable d'identifier des architectures surpassant les versions officielles de YOLOv8 à YOLO12.

L'essentiel

Imaginez que vous êtes un architecte chargé de concevoir le bâtiment le plus efficace au monde pour stocker des objets (c'est l'objectif de la détection d'objets en intelligence artificielle).

Le problème ? Il existe des millions de combinaisons possibles pour ce bâtiment : la taille des murs, le nombre d'étages, le type de matériaux, etc. Pour savoir quelle combinaison est la meilleure, vous devriez théoriquement construire et tester chaque variante. Mais construire un seul bâtiment prendrait des jours, et en tester des milliers prendrait des années ! C'est là que le papier "YOLO-NAS-Bench" intervient.

Voici l'explication simple, étape par étape, avec des analogies :

1. Le Problème : Trop de temps, pas assez de budget

Dans le monde de l'IA, les chercheurs essaient d'automatiser la conception de ces "bâtiments" (ce qu'on appelle le NAS ou Neural Architecture Search). Mais tester chaque idée sur de vraies données (comme le jeu de données COCO) est extrêmement lent et coûteux en énergie. C'est comme essayer de tester 10 000 recettes de gâteau en les cuisinant toutes une par une dans un four qui ne peut cuire qu'un gâteau à la fois.

2. La Solution : Un "Simulateur de Gâteau" (Le Benchmark)

Les auteurs ont créé YOLO-NAS-Bench. Imaginez que c'est un simulateur de cuisine ultra-rapide.

• Au lieu de cuire de vrais gâteaux pendant des jours, ce simulateur vous dit : "Si vous utilisez 3 œufs et 200g de farine, vous aurez probablement un gâteau avec ce goût."
• Ce simulateur est basé sur une base de données de 1 000 vrais gâteaux (architectures) qu'ils ont déjà cuits et goûtés soigneusement.
• Ils ont utilisé trois méthodes pour choisir ces 1 000 gâteaux : au hasard, en s'assurant d'avoir des tailles variées, et en couvrant tous les angles possibles (comme un filet de pêche très dense).

3. Le Secret : Le "Chef qui s'entraîne sur ses meilleurs élèves" (Le Prédicteur Auto-Évolutif)

C'est la partie la plus brillante du papier.
Au début, le simulateur est bon, mais il n'est pas parfait pour prédire les gâteaux exceptionnels (les architectures les plus performantes). C'est comme un chef qui a goûté des gâteaux moyens et qui a du mal à distinguer un gâteau "moyen" d'un gâteau "génial".

Pour régler ça, ils ont inventé un mécanisme d'auto-évolution :

1. Le chef utilise son simulateur pour deviner quelles nouvelles recettes pourraient être géniales.
2. Il choisit les 50 meilleures prédictions et les cuisinées réellement (ce qui prend du temps, mais seulement pour ces 50-là).
3. Il ajoute ces résultats réels à sa base de données.
4. Il réentraîne son simulateur avec ces nouvelles connaissances.
5. Il répète ce cycle 10 fois.

À la fin, le simulateur a "vu" plus de 1 500 gâteaux, mais surtout, il a passé beaucoup de temps à étudier les meilleurs d'entre eux. Il est devenu un expert pour distinguer le bon du très bon.

4. Le Résultat : Trouver des architectures qui battent les champions

Une fois ce simulateur perfectionné, les chercheurs l'ont utilisé pour chercher de nouvelles architectures sans avoir à tout cuisiner.

• Le résultat ? Ils ont découvert de nouvelles recettes (architectures) qui sont plus rapides et plus précises que les meilleures recettes officielles existantes (YOLOv8 à YOLO12).
• C'est comme si leur simulateur leur avait dit : "Essayez ce mélange bizarre d'ingrédients" et que, une fois cuit, le gâteau était meilleur que ceux des grands chefs mondiaux.

En résumé

Ce papier dit : "Arrêtez de perdre du temps à tout tester à l'aveugle. Nous avons créé un simulateur intelligent qui apprend en se concentrant sur les meilleures performances, et il nous a permis de découvrir de nouvelles architectures de détection d'objets qui surpassent tout ce qui existe actuellement."

C'est un outil qui transforme la recherche d'architectures d'IA d'une course de fond épuisante en une chasse au trésor intelligente et rapide.

Résumé technique

Titre : YOLO-NAS-Bench : Un benchmark de substitution avec des prédicteurs auto-évoluants pour la recherche d'architecture YOLO

1. Problématique

La recherche d'architecture neuronale (NAS) appliquée à la détection d'objets se heurte à un goulot d'étranglement majeur : le coût d'évaluation extrêmement élevé.

• Coût computationnel : Entraîner pleinement une architecture candidate de la famille YOLO sur le jeu de données COCO complet nécessite plusieurs jours de temps GPU. Évaluer des milliers de candidats, comme le font les algorithmes NAS, devient ainsi irréalisable.
• Absence de benchmark unifié : Contrairement au domaine de la classification d'images (où existent des benchmarks comme NAS-Bench-101/201/301), la communauté de la détection d'objets manque d'un benchmark standardisé. Les méthodes existantes (Det-NAS, YOLO-NAS, etc.) définissent leurs propres espaces de recherche et protocoles d'évaluation, rendant les comparaisons équitables entre différentes méthodes impossibles.

2. Méthodologie

Les auteurs proposent YOLO-NAS-Bench, le premier benchmark de substitution (surrogate benchmark) conçu spécifiquement pour les détecteurs de style YOLO. La méthodologie repose sur trois piliers :

A. Conception de l'Espace de Recherche
L'espace de recherche couvre les modules Backbone (épine dorsale) et Neck (cou), tout en gardant la tête de détection fixe. Il est paramétré selon trois dimensions :

• Largeur des canaux : Sélection indépendante pour les quatre étapes du backbone (P2–P5) et le neck.
• Profondeur des blocs : Nombre de répétitions des blocs dans chaque étape.
• Type d'opérateur : Choix parmi les modules clés des versions YOLOv8 à YOLO12 (ex: C2f, C3k2, C2fCIB, C2PSA) et les opérateurs de sous-échantillonnage (Conv, SCDown).
  Cela génère un espace combinatoire de plusieurs millions de configurations uniques.

B. Construction de la Base de Données de Référence

• Échantillonnage : 1 000 architectures sont échantillonnées via trois stratégies complémentaires pour assurer la diversité :
  1. Échantillonnage aléatoire (200 architectures).
  2. Échantillonnage stratifié selon le nombre de paramètres (400 architectures).
  3. Échantillonnage Latin Hypercube (LHS) pour une couverture optimale de l'espace (400 architectures).
• Entraînement : Toutes les architectures sont entraînées de zéro sur COCO-mini (un sous-ensemble stratifié de 10 % de COCO) avec un protocole unifié (120 époques, augmentations Mosaic/MixUp/Copy-Paste).
• Encodage : Chaque architecture est convertie en un vecteur de caractéristiques de 24 dimensions pour l'apprentissage du prédicteur.

C. Prédicteur Auto-Évolutif (Self-Evolving Predictor)
Pour améliorer la précision du prédicteur dans la région critique des hautes performances (où l'ordre de classement est crucial), les auteurs introduisent une boucle d'auto-évolution :

1. Entraînement initial : Un prédicteur LightGBM est entraîné sur les 1 000 architectures initiales.
2. Boucle itérative (10 tours) :
   • L'espace de latence est divisé en 10 buckets.
   • Dans chaque bucket, un algorithme évolutionnaire (EA) utilise le prédicteur actuel comme fonction de fitness pour découvrir 5 architectures prometteuses (contrainte de latence réelle).
   • Ces 50 nouvelles architectures (5 par bucket) sont entraînées sur COCO-mini pour obtenir leur mAP réel (vérité terrain).
   • Elles sont ajoutées au pool d'entraînement, qui passe de 1 000 à 1 500 architectures.
   • Le prédicteur est réentraîné.
3. Ensemble : Le modèle final est un ensemble de 10 modèles LightGBM entraînés sur le pool élargi, réduisant la variance et stabilisant le classement.

3. Résultats Clés

A. Qualité du Prédicteur
L'approche auto-évolutive améliore significativement la capacité du modèle à prédire les performances et à classer les architectures :

• Coefficient de détermination ($R^2$) : Passe de 0,770 à 0,815 (+4,5 %).
• Sparse Kendall Tau (sKT) : Passe de 0,694 à 0,752 (+5,8 %).
• Une valeur sKT de 0,752 indique une forte cohérence dans le classement, essentielle pour le NAS.

B. Découverte d'Architectures Supérieures
En utilisant le prédicteur final comme fonction de fitness pour une recherche évolutionnaire, les auteurs découvrent des architectures qui surpassent toutes les versions officielles de YOLO (v8 à v12) :

• Les architectures découvertes Pareto-dominent les baselines officielles sur tout le spectre de latence (meilleur mAP pour une latence égale ou inférieure).
• Exemple notable : Sur COCO-mini, l'architecture découverte (Arch-D) dépasse YOLO11s de +4,2 % de mAP à une latence comparable. Une autre architecture (Arch-A) bat YOLO12x en mAP tout en étant 1,5 fois plus rapide.

C. Comparaison des Méthodes

• LightGBM s'avère être le meilleur prédicteur parmi les modèles testés (XGBoost, NGBoost, Random Forest, MLP).
• L'ablation study confirme que l'amélioration provient de l'enrichissement ciblé des architectures haute performance par la boucle auto-évolutive, et non simplement de l'augmentation de la taille des données (comparé à un ajout aléatoire de 200 architectures).

4. Contributions Principales

1. YOLO-NAS-Bench : Le premier benchmark de substitution dédié aux détecteurs YOLO, couvrant un espace de recherche large (Backbone + Neck) basé sur les architectures v8 à v12.
2. Base de données unifiée : 1 000 architectures entraînées de manière homogène sur COCO-mini, servant de vérité terrain.
3. Mécanisme Auto-Évolutif : Une méthode innovante pour aligner la distribution d'entraînement du prédicteur avec la frontière des hautes performances, améliorant la précision du classement sans coût d'évaluation excessif.
4. Validation pratique : Démonstration que le prédicteur peut guider la découverte d'architectures supérieures aux modèles YOLO officiels les plus récents.

5. Signification et Impact

Ce travail comble un vide critique dans la recherche sur la détection d'objets en fournissant un environnement d'évaluation standardisé et peu coûteux.

• Accélération de la recherche : Il permet de développer et de comparer des algorithmes NAS sans avoir à entraîner des milliers de modèles sur des jours de GPU.
• Démocratisation : En rendant l'évaluation des architectures accessible via un prédicteur, il ouvre la voie à une conception automatisée de détecteurs temps réel plus performants.
• Limites et Perspectives : Le benchmark actuel repose sur COCO-mini et une seule carte GPU (P40). Les travaux futurs visent à étendre cela au jeu de données COCO complet, à diversifier les plateformes matérielles (mobile, edge) et à inclure d'autres tâches comme la segmentation d'instances.

En résumé, YOLO-NAS-Bench établit un nouveau standard pour la recherche d'architecture en détection d'objets, prouvant qu'une approche de substitution intelligente et auto-améliorante peut surpasser les conceptions manuelles les plus avancées.