Neural Architecture Search on Large Kernel Convolution Search Space for Computer Vision Tasks
Dit artikel introduceert LarKNAS, een nieuwe methode voor Neural Architecture Search die een grote kernel-convolutiezoekruimte en een efficiënte gradiëntschattingsstrategie bevat die grootschalige convolutionele modellen ontdekt met prestaties die vergelijkbaar zijn met handontworpen architecturen, terwijl de zoekkosten aanzienlijk worden verminderd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van computer own, leren machines te zien door afbeeldingen te verwerken via lagen wiskundige filters, vergelijkbaar met hoe een menselijk oog licht door een lens laat vallen om een scène te focussen. Jarenlang vertrouwden de meest succesvolle ontwerpen voor deze digitale ogen op kleine, repetitieve filters die telkens kleine stukjes van een afbeelding onderzochten. Hoewel deze kleine filters goed werkten voor basistaken, begonnen onderzoekers te vermoeden dat ze tegen een plafond aanliepen bij het bouwen van modellen die groot genoeg waren om complexe scènes te begrijpen, zoals een drukke straat of een uitgestrekt landschap. De heersende wijsheid suggereerde dat men deze systemen simpelweg slimmer kon maken door ze groter of dieper te maken, door meer lagen van deze kleine filters op elkaar te stapelen. Deze aanpak leidde echter vaak tot afnemende meeropbrengsten, waarbij het toevoegen van meer rekenkracht slechts minimale verbeteringen in nauwkeurigheid opleverde. De vraag ontstond: misschien was het probleem niet de grootte van de machine, maar de grootte van de gereedschappen die het gebruikte om naar de wereld te kijken.
Een team van onderzoekers aan de PLA Information Engineering University zette zich af tegen deze aanname door een nieuwe methode te ontwerpen om automatisch betere manieren te ontdekken waarop computers kunnen zien. Ze richtten zich op een specifiek type filter dat bekend staat als een convolutionele kernel, wat het wiskundige instrument is dat een afbeelding scant om kenmerken zoals randen of texturen te detecteren. Terwijl moderne ontwerpen grotendeels waren gestabiliseerd op het gebruik van zeer kleine kernels, hypothetiseerden de onderzoekers dat het gebruik van veel grotere kernels de machine in staat zou kunnen stellen om in één oogopslag een breder kader te zien, vergelijkbaar met hoe een mens een stap terug zou doen om het hele plaatje te zien in plaats van zich op één enkele baksteen te concentreren. Om dit te testen, ontwikkelden ze een systeem genaamd LarKNAS, wat staat voor Neural Architecture Search on Large Kernel Convolution Search Space. Dit systeem vertrouwt niet op menselijke intuïtie om het beste ontwerp te kiezen; in plaats daarvan fungeert het als een geautomatiseerde architect die duizenden verschillende combinaties van deze grote filters test om de meest efficiënte en krachtige structuur te vinden.
De onderzoekers stuitten op een aanzienlijke hindernis: het zoeken naar het beste ontwerp binnen zo'n enorme reeks mogelijkheden is extreem kostbaar in termen van tijd en rekenkracht. Traditionele methoden vereisen vaak het een voor een testen van elk ontwerp, een proces dat duizenden dagen aan rekentijd in beslag kan nemen. Om dit op te lossen, creëerde het team een nieuwe zoekstrategie die het potentieel van een ontwerp inschat zonder het eerst volledig te trainen. Ze keken naar hoe de wiskundige signalen binnen het netwerk veranderden terwijl het leerde, waarbij ze de gemiddelde sterkte en consistentie van deze signalen gebruikten om te voorspellen welke ontwerpen het best zouden presteren. Hierdoor konden ze de zoekruimte veel sneller navigeren dan voorheen, door slechte ontwerpen vroegtijdig te filteren en middelen te concentreren op de meest veelbelovende kandidaten.
De zoekruimte die zij bouwden ging niet alleen over het groter maken van filters; het ging over het intelligent rangschikken ervan. Ze ontwierpen een structuur waarbij verschillende delen van het netwerk verschillende groottes filters gebruikten. De vroege lagen, die eenvoudige details zoals randen afhandelen, gebruikten kleine filters, terwijl de middelste lagen, verantwoordelijk voor het begrijpen van complexe vormen en relaties, zeer grote filters gebruikten, sommige wel vijftig en één pixels breed. Ze introduceerden ook een manier om deze grote filters efficiënter te maken door ze "sparse" (ijler) te maken, wat betekent dat ze slechts een selectie van de datapunten verwerken in plaats van elk afzonderlijk punt, wat energie bespaart terwijl het vermogen behouden blijft om over lange afstanden in de afbeelding te kijken. Deze aanpak resulteerde in een familie van modellen die naar beneden of boven geschaald kunnen worden afhankelijk van de taak, van lichtgewicht versies voor mobiele apparaten tot massieve versies voor krachtige servers.
Toen de onderzoekers hun best gevonden model, bekend als LarKNASNet-L, testten, waren de resultaten opmerkelijk. Op de ImageNet-dataset, een standaard benchmark voor beeldherkenning, behaalde het model een nauwkeurigheid van 86,6 procent. Deze prestatie was vergelijkbaar met, en in sommige gevallen beter dan, de beste door mensen ontworpen modellen die gebaseerd zijn op de nieuwste transformer-architecturen die de sector recentelijk hebben gedomineerd. Het model blonk ook uit in andere visuele taken, zoals het detecteren van objecten in afbeeldingen en het segmenteren ervan in afzonderlijke delen, waarbij het top scores behaalde op de COCO- en ADE20K-benchmarks. Misschien wel het belangrijkste is dat het team deze resultaten bereikte met een zoekkosten van slechts 96 dagen aan rekentijd op gespecialiseerde grafische processoren. Dit is een fractie van de kosten die andere grootschalige zoekmethoden vereisen, die vaak honderden dagen verbruiken om een model van vergelijkbare omvang te vinden.
De studie sloot expliciet de gedachte uit dat het simpelweg toevoegen van meer lagen van kleine filters de beste weg vooruit was voor grootschalige modellen. Door hun resultaten te vergelijken met andere methoden die vertrouwden op re-parameterisatietechnieken of dichte grote kernels, vonden de onderzoekers dat hun aanpak van het gebruik van ijlere, grote kernels binnen een gefaseerde architectuur superieur was. Ze toonden aan dat het proberen te gebruiken van re-parameterisatiemethoden, die meerdere takken van filters combineren, vaak leidde tot geheugenproblemen waardoor het zoekproces op standaard hardware onmogelijk werd. Hun bevindingen suggereren dat de sleutel tot het ontsluiten van de volgende generatie computer vision-modellen niet alleen ligt in het opschalen van het aantal parameters, maar in het heroverwegen van de fundamentele geometrie van hoe deze modellen visuele informatie verwerken.
De implicaties van dit werk reiken verder dan alleen hogere nauwkeurigheidscijfers. De onderzoekers toonden aan dat hun modellen een beter begrip ontwikkelden van de vormen van objecten, in plaats van alleen te vertrouwen op textuur, een eigenschap die nauwer aansluit bij het menselijk zicht. Dit suggereert dat door machines toe te staan om tegelijkertijd naar grotere delen van een afbeelding te kijken, ze een robuuster en menselijker begrip van de visuele wereld kunnen vormen. Het succes van LarKNAS geeft aan dat het vakgebied van computer vision mogelijk een nieuw tijdperk ingaat waarin het ontwerp van de zoekruimte zelf — de regels en instrumenten die worden gebruikt om het beste model te vinden — even belangrijk is als het model dat het produceert. Door te bewijzen dat grote kernels efficiënt en effectief gezocht kunnen worden, heeft het team een nieuwe deur geopend voor het creëren van krachtige, efficiënte en intelligente visuele systemen zonder de prohibitieve kosten die dergelijke exploratie voorheen beperkten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.