💻 computer science

Slimmable ConvNeXt: Width-Adaptive Inference for Efficient Multi-Device Deployment

Het artikel introduceert Slimmable ConvNeXt, een breedte-adaptief inferentiekader dat gebruikmaakt van het moderne ontwerp van ConvNeXt om efficiënte implementatie op meerdere apparaten mogelijk te maken met één gedeelde gewichtenset, waarbij superieure nauwkeurigheid wordt bereikt over uiteenlopende rekenbeperkingen heen in vergelijking met bestaande CNN- en Vision Transformer-benaderingen, zonder complexe normalisatiemechanismen te vereisen.

Oorspronkelijke auteurs: Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van chefs hebt (een computer vision-model) dat maaltijden moet bereiden voor een menigte. Soms is de keuken enorm, met een vol personeel en luxe apparatuur (een krachtige cloudserver). Op andere momenten kook je in een kleine camper met slechts één brander en een beperkte voorraad ingrediënten (een mobiele telefoon met een lage batterij).

Traditioneel zou je, als je wilde dat je chefs in beide omgevingen werkten, twee volledig verschillende teams moeten inhuren: een groot team voor de grote keuken en een klein, gespecialiseerd team voor de camper. Je zou ze apart moeten trainen, hun recepten apart moeten opslaan en afhankelijk van je locatie tussen hen moeten schakelen. Dit is duur en rommelig.

Het probleem met oude "flexibele" chefs
Sommige onderzoekers probeerden een "super-chef" te creëren die op de vlucht kon krimpen of groeien. Ze bouwden een enkel team dat kon opereren met 100 chefs, 50 chefs of 10 chefs. Deze oude methoden hadden echter een groot gebrek: ze vereisten een complexe "schakelbord" (zogenaamde schakelbare batchnormalisatie) om statistieken bij te houden voor elke mogelijke teamgrootte. Het was alsof je voor elke enkele ingrediëntgrootte een andere set maatbekers had, wat de keuken chaotisch maakte en het trainen bemoeilijkte.

De nieuwe oplossing: Slimmable ConvNeXt
Dit paper introduceert een nieuw type chef-team genaamd Slimmable ConvNeXt. De auteurs ontdekten dat het moderne ontwerp van de ConvNeXt-architectuur van nature perfect is voor het krimpen en groeien zonder het rommelige schakelbord.

Zo werkt het, met eenvoudige analogieën:

1. De "LayerNorm"-magie (geen schakelbord nodig)

Oude flexibele modellen hadden speciale regels nodig om om te gaan met verschillende teamgroottes. Slimmable ConvNeXt gebruikt een techniek genaamd LayerNorm.

De analogie: Stel je een traditioneel team voor waarbij de manager precies moet weten hoeveel mensen er in de kamer zijn om instructies te geven. Als de kamer grootte verandert, raakt de manager in paniek en heeft hij een nieuw regelboek nodig.
De nieuwe manier: LayerNorm is als een manager die instructies geeft op basis van wat elke persoon op dat moment doet, ongeacht hoeveel mensen er in de kamer zijn. Of je nu 100 chefs of 10 hebt, de manager past zich direct aan. Dit betekent dat je het complexe "schakelbord" niet meer nodig hebt. Het trainingsproces wordt veel eenvoudiger en schoner.

2. De "Inverted Bottleneck" (makkelijk te snijden)

ConvNeXt gebruikt een structuur die een "inverted bottleneck" wordt genoemd.

De analogie: Denk aan een standaard sandwich: Brood (klein), Vlees (groot), Brood (klein). Als je een kleinere sandwich wilt maken, moet je het brood en het vlees snijden, wat lastig is.
De nieuwe manier: Een inverted bottleneck is als een sandwich waarbij de vulling enorm is, maar het brood dun. Het "vlees" (de zware berekening) zit geconcentreerd in het midden. Wanneer je het model wilt verkleinen, snijd je gewoon de buitenste randen van het vlees eraf. Het is heel makkelijk om een schijfje uit het midden te snijden zonder de hele structuur te verstoren. Dit maakt het eenvoudig om kleinere versies van het model te maken door simpelweg de kanalen (de breedte van de data) te "snijden".

3. Hoe het in de praktijk werkt

De onderzoekers trainden één enkel model dat meerdere "genestelde" versies van zichzelf bevat.

De training: Stel je voor dat de chefs elke dag oefenen. Sommige dagen oefenen ze met het volledige team van 100. Andere dagen oefenen ze met slechts 50, en weer andere dagen met slechts 25. Ze delen allemaal dezelfde kennisbasis (gewichten). Omdat ze in al deze verschillende maten oefenen, leren ze goed te zijn in elke grootte.
Het resultaat: Wanneer je het model implementeert, hoef je geen nieuw bestand te laden. Je zegt gewoon tegen het model: "Hé, we hebben vandaag alleen batterij voor 25 chefs", en het schakelt direct over naar zijn 25-chef-modus. Als je morgen een volledige stroombron hebt, schakelt het terug naar 100 chefs.

De resultaten: Betere prestaties, minder wiskunde

Het paper testte dit op een enorm dataset genaamd ImageNet-1k (een bibliotheek van 1,28 miljoen afbeeldingen). Ze vergeleken hun nieuwe "Slimmable ConvNeXt" met de beste bestaande flexibele modellen (die voornamelijk gebaseerd waren op Vision Transformers, een ander type AI-architectuur).

De winnaar: De Slimmable ConvNeXt was sneller en accurater.
- Op een gemiddeld computerniveau scoorde het 80,8% nauwkeurigheid. De volgende beste concurrent scoorde 78,4%.
- Op een zeer laag computerniveau (zoals een zwakke telefoon) scoorde het 77,4%, terwijl de concurrent 73,0% scoorde.
De schaal: Ze testten kleine, middelgrote en grote versies van hun model. De grotere versies waren zelfs beter in het krimpen zonder te veel nauwkeurigheid te verliezen. Bijvoorbeeld, de grootste versie kon draaien op volle kracht met 82,8% nauwkeurigheid, en zelfs wanneer het werd verkleind tot de helft van de grootte, bleef het ongelooflijk sterk.

Waarom dit belangrijk is (volgens het paper)

Het paper beweert dat dit de eerste keer is dat deze specifieke "snij"-techniek is toegepast op ConvNeXt.

Eenvoud: Het verwijdert de noodzaak voor complexe normalisatieschakelaars die door oudere methoden werden vereist.
Efficiëntie: Omdat het geen "self-attention" gebruikt (een zware proces dat door Transformer-modellen wordt gebruikt), vereist het minder wiskundige bewerkingen (GMACs) om hetzelfde resultaat te bereiken.
Veelzijdigheid: Het stelt één enkel model in staat om te draaien op een enorme server, een laptop of een mobiele telefoon zonder dat er meerdere verschillende bestanden hoeven te worden opgeslagen.

Kortom, de auteurs bouwden een "Zwitsers zakmes" van AI-modellen. In plaats van een mes, een schroevendraaier en een kurkentrekker apart mee te nemen, heb je één gereedschap dat zich direct kan transformeren in een van hen, en het doet dit beter en efficiënter dan de vorige generatie multitools.

Technische Samenvatting: Slimmable ConvNeXt

Probleemstelling

Het implementeren van visiemodellen op apparaten met heterogene resourcebeperkingen, of op een enkel apparaat waar de rekenkracht fluctueert door batterijstatus, thermische throttling of latentie-eisen, vereist doorgaans het trainen en onderhouden van aparte modellen voor elk doelplatform. Deze aanpak is kostbaar en onpraktisch voor dynamische omgevingen. Hoewel breedte-adaptieve inferentie een oplossing biedt door één set gedeelde gewichten te trainen die meerdere geneste subnetwerken bevat, lopen eerdere benaderingen vast op specifieke architecturale beperkingen:

Klassieke CNN's: Methoden zoals Slimmable Networks en US-Nets vereisen schakelbare batch-normalisatie om aparte lopende statistieken te behouden voor verschillende kanaalbreedtes, wat complexiteit en parameters toevoegt.
Vision Transformers (ViTs): Recente schaalbare methoden (bijv. HydraViT, MatFormer) vertrouwen op attentiemechanismen die structurele beperkingen opleggen aan hoe subnetwerken kunnen worden geëxtraheerd (bijv. het verwijderen van attentiekoppen in veelvouden van de kopdimensie of het behouden van volledige embedding-dimensies), wat de granulariteit en het scala aan schaalbaarheid beperkt.

Methodologie

Het artikel stelt Slimmable ConvNeXt voor, de eerste toepassing van kanaal-breedte slimming op de ConvNeXt-architectuurfamilie. De methode maakt gebruik van specifieke ontwerpkiezen die inherent zijn aan ConvNeXt om de trainingspijplijn te vereenvoudigen en de efficiëntie te verbeteren.

Architecturaal Ontwerp

Elk ConvNeXt-blok krijgt een slimming-ratio $p \in (0, 1]$ toegewezen, die het fractie van actieve kanalen bepaalt.

Kanaalschijven: Alle gewichtstensors binnen een blok (diepteconvolutie, punt-voor-punt convoluties en LayerNorm-parameters) worden gesneden om alleen de eerste $\lfloor p \cdot C \rfloor$ kanalen te behouden.
Omgekeerde Bottlenecks: De tussenliggende expansielaag (4 $\times$ expansie) wordt eveneens gesneden naar $4 \cdot \lfloor p \cdot C \rfloor$ , waarbij de expansieratio behouden blijft.
Residubehandeling: Wanneer een geslimd blok minder kanalen produceert dan zijn invoer, wordt de uitvoer met nullen opgevuld om de oorspronkelijke dimensie te matchen voordat de residuverbinding wordt toegevoegd. Dit voorkomt het introduceren van extra projectieparameters.
Normalisatie: In tegenstelling tot klassieke slimmable CNN's gebruikt ConvNeXt LayerNorm in plaats van Batch Normalization. LayerNorm berekent statistieken per steekproef en kanaalschijf, waardoor het zich op natuurlijke wijze aanpast aan elk kanaalaantal zonder schakelbare normalisatielagen of aparte lopende statistieken te vereisen.

Trainingsprocedure

Het model wordt getraind met een gezamenlijke trainingsprocedure met afwisselende breedtes:

Stochastische Selectie: Een set van $p$ -lijsten (die de slimming-ratio voor elk blok definiëren) wordt gedefinieerd. Tijdens het trainen wordt per batch willekeurig één $p$ -lijst geselecteerd.
Gedeelde Gewichten: Alle subnetwerken delen dezelfde gewichten. Een subnetwerk met ratio $p < 1$ gebruikt een strikte subset van de parameters die bij $p=1$ worden gebruikt.
Optimalisatie: Het model ondergaat standaard forward-backward passes door het geselecteerde subnetwerk. Deze stochastische afwisseling is analoog aan tail-drop training in HydraViT, maar toegepast op kanaaldimensies.
AutoSlim (Optioneel): Om te optimaliseren voor niet-uniforme per-blok breedtes, onderzoekt het artikel AutoSlim. Deze greedige zoektocht begint met uniforme breedtes en vermindert iteratief de ratio van het minst belangrijke blok (gebaseerd op de daling van de validatie-accuraatheid) totdat een doelgemiddelde ratio wordt bereikt. Dit behoudt doorgaans bredere vroege en late fasen, terwijl tussengelegen fasen agressief worden geslimd.

Belangrijkste Bijdragen

Architectuurgeschiktheid: De auteurs tonen aan dat het ontwerp van ConvNeXt, specifiek het gebruik van LayerNorm en omgekeerde bottlenecks, het een ideaal kandidaat maakt voor breedte-adaptieve slimming. Dit elimineert de overhead van schakelbare batch-normalisatie die door eerdere CNN-benaderingen wordt vereist, en vermijdt de structurele beperkingen van op attentie gebaseerde ViT-methoden.
Vereenvoudigde Pijplijn: De aanpak levert een eenvoudigere trainingspijplijn op dan zowel eerdere CNN- als ViT-slimmable methoden, waarbij geen schakelbare normalisatie, kennisdistillatie of sandwich-trainingsregels nodig zijn.
Prestaties: De methode bereikt state-of-the-art nauwkeurigheid over een breed scala aan rekenbudgetten op ImageNet-1k, en presteert beter dan zowel ViT-gebaseerde als klassieke CNN-baselines.

Experimentele Resultaten

De auteurs hebben Slimmable ConvNeXt geëvalueerd op ImageNet-1k over drie modelgroottes: ConvNeXt-Tiny (T), Small (S) en Base (B). Alle modellen werden vanaf nul getraind voor 600 epochen.

ConvNeXt-Tiny (3 Subnetwerken)

Volledige Capaciteit (4,5 GMACs): 80,8% top-1 nauwkeurigheid.
Halve Capaciteit (1,2 GMACs): 77,4% top-1 nauwkeurigheid.
Vergelijking: Presteert 2,4 procentpunten beter dan het 6-kop subnetwerk van HydraViT (78,4% bij 4,6 GMACs) en 4,4 procentpunten beter dan de 3-kop configuratie (73,0% bij 1,3 GMACs). Het overtreft ook MatFormer-S en SortedNet-S bij vergelijkbare GMACs.

ConvNeXt-Base (4 Subnetwerken)

Volledige Capaciteit (15,4 GMACs): 82,8% top-1 nauwkeurigheid.
Halve Capaciteit (4,0 GMACs): 81,6% top-1 nauwkeurigheid.
Vergelijking: Bij halve capaciteit bereikt het 81,6% met 4,0 GMACs, wat beter is dan HydraViT's 80,2% bij 4,6 GMACs (13% minder bewerkingen). Het bestrijkt een rekenbereik van 1,1 tot 15,4 GMACs vanuit één set gewichten, terwijl MatFormer beperkt is tot ongeveer de helft tot volledige rekenkracht.

Schaling en Robuustheid

Gracieuze Degradatie: Grotere modellen (ConvNeXt-B) vertonen een meer gracieuze degradatie onder slimming in vergelijking met kleinere modellen (ConvNeXt-T), waarbij 98,7% van hun volledige capaciteit nauwkeurigheid wordt behouden bij halve capaciteit.
Aantal Subnetwerken: Het verhogen van het aantal subnetwerken (bijv. van 3 naar 5) leidt doorgaans tot afnemende meeropbrengsten of lichte nauwkeurigheidsdalingen voor kleinere modellen, maar ConvNeXt-B blijft robuust, waarbij 4 subnetwerken de pieknauwkeurigheid zelfs verbeteren.
AutoSlim: AutoSlim biedt bescheiden verbeteringen bij lage capaciteiten (bijv. +1,0% bij kwart capaciteit voor ConvNeXt-T), maar biedt marginale of licht negatieve voordelen bij volledige capaciteit, waarschijnlijk vanwege de strategie van opvullen met nullen in residuverbindingen.

Betekenis en Claims

Het artikel stelt dat Slimmable ConvNeXt een enkel, elastisch model biedt dat in staat is om tijdens de inferentie dynamisch zijn rekenkosten aan te passen aan variërende resourcebudgetten. Dit maakt implementatiescenario's mogelijk waarbij één model een heterogene vloot apparaten kan bedienen of zich kan aanpassen aan runtime-beperkingen (batterij, thermisch, latentie) zonder gewichten opnieuw te laden.

De auteurs benadrukken dat de combinatie van LayerNorm (het elimineren van schakelbare normalisatie) en omgekeerde bottlenecks (het faciliteren van rechttoe rechtaan parameter-schijven) ConvNeXt in staat stelt om bijna op elk operationeel punt een hogere nauwkeurigheid te bereiken dan state-of-the-art baselines, terwijl de eenvoud en hardware-compatibiliteit van convolutie-architecturen behouden blijven. Het werk suggereert dat voor implementatiescenario's die een verminderde capaciteit vereisen, het starten van een groter basismodel en het agressief slimmen betere resultaten kan opleveren dan het trainen van een kleiner model met volledige breedte.