YOLO-NAS-Bench: A Surrogate Benchmark with Self-Evolving Predictors for YOLO Architecture Search

Dit paper introduceert YOLO-NAS-Bench, het eerste surrogaat-benchmark voor YOLO-architectuuroptimalisatie, dat een zelfevoluerend voorspellermechanisme gebruikt om de evaluatiekosten drastisch te verlagen en tegelijkertijd superieure detectiearchitecturen te ontdekken die de officiële YOLO-baselines overtreffen.

De kern

Stel je voor dat je een superchef wilt worden die de allerbeste pizza's bakt. Maar er is een probleem: om te weten welke pizza het lekkerst is, moet je er duizenden bakken, elke keer met een heel nieuw recept, en ze allemaal proeven. Dat kost je jaren en een fortuin aan ingrediënten.

In de wereld van kunstmatige intelligentie (AI) is dit precies wat er gebeurt bij het ontwerpen van objectherkenningssoftware (zoals camera's die auto's of mensen zien). De "pizza's" zijn de AI-modellen (de YOLO-architecturen), en het "proeven" is het trainen van deze modellen op enorme datasets. Dit kost dagen aan rekenkracht en geld.

Dit artikel introduceert YOLO-NAS-Bench, een slimme oplossing voor dit probleem. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Proefkeuken" is te duur

Normaal gesproken moeten onderzoekers duizenden verschillende AI-recepten uitproberen om het beste te vinden. Elk recept trainen duurt dagen. Het is alsof je elke dag een nieuwe cake bakt om te zien welke smaak het beste is, terwijl je maar één oven hebt.

2. De Oplossing: Een "Voorspeller" (De Surrogaat)

De auteurs hebben een YOLO-NAS-Bench gebouwd. Denk hierbij aan een slimme proefkeuken of een voorspeller.

• Ze hebben eerst 1.000 verschillende "recepten" (AI-architecturen) gebakken en getest.
• Vervolgens hebben ze een computerprogramma (een LightGBM-model) getraind om te leren: "Als ik dit ingrediënt (bijv. een bepaalde laag in het netwerk) toevoeg, wordt de pizza dan lekkerder of slechter?"
• Dit programma is nu zo goed geworden dat het kan voorspellen hoe goed een nieuw, nog niet gebakken recept zal zijn, zonder dat je het daadwerkelijk hoeft te bakken. Dit bespaart enorm veel tijd.

3. De Slimme Truc: Zelf-ontwikkelende Voorspeller

Maar er was een klein probleem: de voorspeller was goed, maar niet perfect op de allerbeste recepten. Het was alsof de chef goed kon voorspellen of een pizza "goed" was, maar moeite had om het verschil te zien tussen "goed" en "perfect".

Om dit op te lossen, hebben ze een Zelf-ontwikkelend Mechanisme bedacht. Dit werkt als een schatzoeker:

1. De voorspeller zoekt naar recepten die misschien heel goed zijn.
2. De chef (de computer) bakt deze specifieke recepten echt en proeft ze.
3. Deze nieuwe, echte resultaten worden teruggegeven aan de voorspeller om te leren.
4. De voorspeller wordt hierdoor slimmer en leert zich te focussen op de toprecepten.

Dit proces herhaalden ze 10 keer. Uiteindelijk hadden ze 1.500 echte recepten getest, en was de voorspeller zo goed dat hij bijna perfect kon voorspellen welke AI het beste zou presteren.

4. Het Resultaat: Nieuwe Champions

Toen ze deze super-voorspeller gebruikten om op zoek te gaan naar het allerbeste recept, vonden ze nieuwe AI-modellen die beter waren dan alle officiële YOLO-modellen (van versie 8 tot 12) die tot nu toe door de grote bedrijven zijn gemaakt.

• Vergelijking: Stel je voor dat de officiële YOLO-modellen de winnaars van de wereldkampioenschappen zijn. De modellen die deze nieuwe methode vond, waren nog sneller en nog accurater, terwijl ze net zo snel waren om te draaien.

Samenvattend in één zin:

De auteurs hebben een slimme voorspeller gebouwd die leert door zelf de beste AI-recepten te vinden en te testen, waardoor ze nieuwe, superieure camera-software hebben ontworpen zonder duizenden dagen aan dure tests te hoeven doen.

Het is alsof ze een magische kompas hebben gevonden dat je direct naar de beste schat leidt, in plaats van dat je de hele oceaan moet doorzoeken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "YOLO-NAS-Bench: A Surrogate Benchmark with Self-Evolving Predictors for YOLO Architecture Search", geschreven in het Nederlands.

Probleemstelling

Neural Architecture Search (NAS) voor objectdetectie wordt ernstig beperkt door de extreem hoge evaluatiekosten. Het volledig trainen van elke kandidaat-architectuur (zoals YOLO-varianten) op het COCO-dataset vereist dagen aan GPU-tijd. Dit maakt het evalueren van duizenden kandidaten, zoals NAS-algoritmen vereisen, onuitvoerbaar.

Hoewel er bestaande benchmarks zijn voor beeldclassificatie (zoals NAS-Bench-101/201/301), zijn deze niet toepasbaar op objectdetectie vanwege fundamentele verschillen in zoekruimtes, trainingspipelines en evaluatieprotocollen. Detectiemethoden zoals Det-NAS of YOLO-NAS gebruiken vaak eigen, gesloten zoekruimtes, wat eerlijke vergelijkingen tussen verschillende methoden onmogelijk maakt. Er ontbreekt dus een gestandaardiseerd, open benchmark voor NAS in de detectiedomein.

Methodologie

De auteurs introduceren YOLO-NAS-Bench, het eerste surrogate-benchmark specifiek ontworpen voor YOLO-stijl detectoren. De aanpak bestaat uit drie kerncomponenten:

1. Zoekruimte Ontwerp (Search Space)

De zoekruimte omvat zowel de backbone als de neck van YOLO-architecturen (van YOLOv8 tot YOLO12), terwijl de detection head vast blijft staan. De ruimte wordt geparametriseerd langs drie dimensies:

• Kanaalbreedte (Channel Width): Onafhankelijk instelbaar voor de vier backbone-stadia (P2–P5), met kandidaatwaarden die toenemen met de diepte van het stadium.
• Blokdiepte (Block Depth): Het aantal herhaalde blokken per stadium.
• Operator Type: Keuze uit verschillende feature-extraction modules (C2f, C3k2, C2fCIB, C2PSA) en downsampling-operatoren (Conv, SCDown). De complexiteit van de operators neemt toe in de diepere lagen (P4, P5).

2. Data Collectie en Sampling

Om een grond-truth database te bouwen, worden 1.000 architecturen gesampled en volledig getraind op COCO-mini (een gestratificeerde 10%-subset van COCO). Er worden drie complementaire sampling-strategieën gebruikt om diversiteit te garanderen:

• Random Sampling: Voor uniforme dekking.
• Stratified Sampling: Om een evenwichtige vertegenwoordiging van verschillende modelgroottes (parameters) te waarborgen.
• Latin Hypercube Sampling (LHS): Voor optimale dekking van de hoogdimensionale discrete ruimte.

Elke architectuur wordt getraind met een uniek protocol (120 epochs, Mosaic, MixUp, Copy-Paste augmentatie) en de prestaties (mAP50-95) en latentie worden gemeten.

3. Self-Evolving Predictor

Een standaard surrogate predictor, getraind op willekeurig gesamplede data, mist vaak nauwkeurigheid in het hoog-presterende regime (de "frontier"), wat juist het belangrijkst is voor NAS. Om dit op te lossen, introduceren de auteurs een Self-Evolving Mechanism:

• Iteratief Proces: De huidige predictor wordt gebruikt om veelbelovende architecturen te vinden via evolutionaire zoekopdrachten (EA), verdeeld over 10 latentie-buckets.
• Verrijking: De top-5 architecturen uit elke bucket (50 nieuwe architecturen per ronde) worden volledig getraind op COCO-mini en toegevoegd aan de dataset.
• Retraining: De predictor wordt opnieuw getraind op de uitgebreide dataset.
• Resultaat: Na 10 rondes groeit de dataset van 1.000 naar 1.500 architecturen, waarbij de dataset specifiek verrijkt is met hoog-presterende modellen.
• Ensemble: Het uiteindelijke model is een ensemble van 10 LightGBM-modellen die het gemiddelde voorspellen.

Belangrijkste Bijdragen

1. Eerste YOLO-specifiek Benchmark: YOLO-NAS-Bench biedt een gedeelde zoekruimte en een vooraf berekende database, waardoor eerlijke vergelijkingen tussen NAS-algoritmen mogelijk worden.
2. Self-Evolving Predictor: Een innovatieve lus die de verdelingskloof tussen uniform gesamplede trainingsdata en de hoog-presterende frontier overbrugt, wat leidt tot een significant betere rangschikking.
3. Uitgebreide Zoekruimte: Dekking van de kernmodules van YOLOv8 tot en met YOLO12, inclusief kanaal, diepte en operatorkeuzes.

Resultaten

• Voorspellende Kwaliteit: Na het Self-Evolving proces verbetert de voorspellende nauwkeurigheid aanzienlijk:
  • R² stijgt van 0,770 naar 0,815.
  • Sparse Kendall Tau (sKT) stijgt van 0,694 naar 0,752. Dit duidt op een sterke consistentie in het rangschikken van architecturen.
• Ontdekking van Superieure Architecturen: Wanneer de predictor wordt gebruikt als fitness-functie voor een evolutionaire zoekopdracht, worden nieuwe architecturen ontdekt die alle officiële YOLO-baselines (v8 t/m v12) Pareto-domineren.
  • Op vergelijkbare latentie presteren deze nieuwe architecturen beter in mAP.
  • Bijvoorbeeld: Een ontdekte architectuur (Arch-D) presteert +4,2% beter in mAP dan YOLO11s bij vergelijkbare latentie.
  • Grote modellen (Arch-A) overtreffen YOLO12x in mAP en zijn bovendien 1,5x sneller.

Betekenis en Impact

Dit werk lost een kritiek probleem op in de objectdetectie-gemeenschap door een standaardisatie te bieden die eerder alleen voor classificatie bestond. De Self-Evolving Predictor bewijst dat het mogelijk is om surrogate modellen te verfijnen die specifiek goed zijn in het onderscheiden van top-presterende modellen, in plaats van alleen het gemiddelde te voorspellen.

YOLO-NAS-Bench stelt onderzoekers in staat om NAS-algoritmen voor objectdetectie te ontwikkelen en te evalueren zonder de onbetaalbare kosten van duizenden volledige trainingen, terwijl het tegelijkertijd leidt tot de ontdekking van nieuwe, superieure YOLO-architecturen. De benchmark is een belangrijke stap richting geautomatiseerd, efficiënt en schaalbaar ontwerp van real-time objectdetectoren.