🔬 condensed matter

Architecture-Aware Minimization (A $^2$ M): How to Find Flat Minima in Neural Architecture Search

Dit paper introduceert Architecture-Aware Minimization (A²M), een nieuw algoritme dat de gradiënten in Differentieerbare Neural Architecture Search (NAS) bewust naar platte minima in de architectuurruimte stuurt, wat leidt tot aanzienlijk betere generalisatie en hogere testnauwkeurigheid op standaard benchmarks.

Oorspronkelijke auteurs: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Zoektocht naar de Perfecte Bouwplaat: Waarom "Vlakke" Ontwerpen Beter Werken

Stel je voor dat je een enorme bibliotheek hebt, gevuld met miljoenen verschillende bouwplaten voor een auto. Elke bouwplaat is een uniek ontwerp: sommige hebben een V8-motor, andere een elektrische motor; sommige hebben vier wielen, andere zes. Je doel is om de perfecte auto te vinden die snel rijdt, weinig brandstof verbruikt en nooit kapot gaat.

In de wereld van kunstmatige intelligentie (AI) noemen we dit Neural Architecture Search (NAS). Computers proberen automatisch de beste "bouwplaat" (de architectuur van een neurale netwerk) te vinden voor een specifieke taak, zoals het herkennen van gezichten of het vertalen van talen.

Maar hier zit het probleem: de bibliotheek is zo groot en chaotisch dat de computer vaak vastloopt in een "valkuil". Het vindt een auto die op dat moment heel snel lijkt, maar die in de praktijk snel stukgaat of slecht presteert op nieuwe wegen.

De auteurs van dit paper, Matteo, Fabrizio en Manuel, hebben een nieuwe manier bedacht om dit probleem op te lossen. Ze noemen hun methode A2M (Architecture-Aware Minimization). Laten we kijken hoe ze dit doen, met een paar simpele vergelijkingen.

1. Het landschap van de bouwplaten

Stel je de ruimte van alle mogelijke auto-ontwerpen voor als een berglandschap.

De toppen zijn de beste auto's (hoge prestaties).
De dalen zijn de slechte auto's.

In de oude methoden zocht de computer naar de hoogste piek. Maar vaak was dat een piek die erg smal en scherp was. Als je de auto ook maar een heel klein beetje aanpast (bijvoorbeeld een boutje iets losser draaien), stort de prestatie in. Dit is als een auto die perfect rijdt op een racebaan, maar op een hobbelige weg direct uit elkaar valt.

De auteurs ontdekten iets interessants: de allerbeste auto's zitten niet op die scherpe pieken, maar in brede, vlakke dalen.

Vlakke dalen: Als je hier een auto bouwt en je maakt een kleine fout of verandert een klein onderdeeltje, blijft de auto nog steeds goed rijden. Het landschap is hier "vlak".
Scherpe pieken: Hier is het landschap als een naald. Een kleine verandering en je valt direct naar beneden.

De onderzoekers hebben bewezen dat in de wereld van AI-ontwerpen, de beste ontwerpen zich verzamelen in deze brede, vlakke gebieden. De slechte ontwerpen zitten vaak geïsoleerd op scherpe, onstabiele plekken.

2. De nieuwe strategie: A2M

Hoe zorg je ervoor dat de computer niet naar die scherpe pieken zoekt, maar naar die brede, veilige dalen?

De auteurs hebben een nieuwe "kompasnaald" bedacht, genaamd A2M.
Stel je voor dat je een blindeman bent die een berg beklimt.

De oude methode: Hij kijkt alleen naar de helling direct onder zijn voeten en loopt steil omhoog. Hij kan per ongeluk op een smalle, scherpe piek belanden die instabiel is.
De A2M-methode: Deze man kijkt niet alleen naar de helling, maar voelt ook de breedte van de grond onder zijn voeten. Als hij merkt dat de grond erg smal en scherp is, gaat hij niet verder. Hij zoekt actief naar plekken waar de grond breed en vlak is, zelfs als dat betekent dat hij een klein stukje minder hoog komt.

In technische termen betekent dit dat hun algoritme de zoektocht "bias" (beïnvloedt) zodat het bewust zoekt naar die vlakke gebieden in het ontwerp-landschap. Ze hebben een wiskundige formule bedacht die de computer vertelt: "Ga niet alleen naar de hoogste score, maar zoek naar een ontwerp dat ook stabiel is als je er een klein beetje aan verandert."

3. Wat levert dit op?

Toen ze deze nieuwe methode testten op bekende datasets (zoals CIFAR-10, CIFAR-100 en ImageNet), was het resultaat verbluffend:

De AI vond ontwerpen die betere resultaten leverden dan alle vorige beste methoden.
De verbetering was aanzienlijk: gemiddeld 3 tot 4 procent meer nauwkeurigheid. In de wereld van AI is dat een enorm verschil, alsof je een auto die 100 km/u rijdt plotseling 105 km/u laat rijden zonder extra brandstof.
De gevonden auto's waren stabieler. Ze presteerden beter op nieuwe, onbekende situaties (generalisatie).

Samenvatting in één zin

De auteurs hebben ontdekt dat de beste AI-ontwerpen niet op de scherpste toppen zitten, maar in de brede, veilige dalen, en ze hebben een nieuwe tool (A2M) bedacht die de computer dwingt om die veilige dalen te zoeken in plaats van de gevaarlijke pieken.

Waarom is dit belangrijk?
Voor de toekomst betekent dit dat we sneller en betrouwbaarder slimme systemen kunnen bouwen die minder snel "falen" als de omstandigheden veranderen. Het is alsof we van het bouwen van fragiele glazen auto's zijn overgestapt op het bouwen van robuuste, betrouwbare voertuigen die elke weg aankunnen.

Probleemstelling

Neural Architecture Search (NAS) is een krachtige methode om automatisch optimale neurale netwerkarchitecturen te vinden. Een veelgebruikte aanpak is Differentiable NAS (zoals DARTS), waarbij het discrete zoekruimte-probleem wordt ontspannen naar een continue ruimte om gradienten te gebruiken. Echter, een groot probleem bij deze methoden is dat ze vaak convergeren naar "scherpe" minima (sharp minima) in de zoekruimte. Architecturen die in scherpe minima liggen, zijn vaak gevoelig voor kleine veranderingen en generaliseren slecht op onzichtbare data, wat leidt tot prestatieverlies na het discretiseren van de gevonden architectuur.

Hoewel er veel onderzoek is gedaan naar de geometrie van gewichtsruimtes (waarbij "vlakke" minima correleren met betere generalisatie), is de geometrie van de architectuurruimte zelf nog weinig onderzocht. Het paper stelt dat er een gebrek is aan inzicht in hoe architecturen met hoge prestaties zich verhouden tot hun buren in de zoekruimte en of er een analogie bestaat met de vlakke minima in de gewichtsruimte.

Methodologie

De auteurs onderzoeken de geometrische eigenschappen van twee populaire differentieerbare NAS-zoekruimtes: NAS-Bench-201 en DARTS.

Definitie van Architectuur-Neighborhoods en Afstand:
- De auteurs definiëren een "radius-R" buur als een architectuur die ontstaat door $R$ minimale wijzigingen aan te brengen in de opeenvolging van operaties (bijv. het vervangen van een convolutie door een skip-connection).
- Voor NAS-Bench-201 wordt dit gedaan via een vectorcodering van de DAG (Directed Acyclic Graph).
- Voor DARTS (gebaseerd op binaire matrices) wordt een "Connection Adjustment" gedefinieerd als één atomaire wijziging, zelfs als dit twee elementen in de matrix verandert (een verbinding verwijderen en een nieuwe toevoegen), om de validiteit van de cel te behouden.
Analyse van Vlakheid en Barrières:
- Door de prestaties van buren te analyseren, ontdekken de auteurs dat hoogpresterende architecturen clusteren in vlakke regio's (flat regions) van de architectuurruimte. Kleine wijzigingen leiden hier tot minimale prestatieverlies.
- Daarentegen liggen suboptimale architecturen geïsoleerd in regio's met hoge nauwkeurigheidsbarrières (accuracy barriers). Om van een slechte naar een goede architectuur te gaan, moet men vaak een "heuvel" van slechte prestaties overwinnen.
- De auteurs introduceren "paden" tussen architecturen om deze barrières kwantitatief te meten.
De A2M Algoritme (Architecture-Aware Minimization):
- Gebaseerd op het concept van Sharpness-Aware Minimization (SAM) uit de gewichtsruimte, stellen de auteurs A2M voor.
- SAM modificeert de gradiënt-update zodat deze convergeert naar minima waar de loss-functie vlak is (robust tegen kleine perturbaties).
- A2M past dit principe toe op de architectuurparameters ( $\alpha$ ) in plaats van de netwerkgewichten ( $w$ ).
- De update-regel wordt analytisch afgeleid binnen het bi-level optimalisatiekader van DARTS. De gradiënt wordt bijgesteld door de loss te evalueren op een geperturbeerde architectuur ( $\tilde{\alpha}$ ) en vervolgens een tweede-orde benadering (via eindige differenties) toe te passen om de kromming (curvature) in de architectuurruimte te minimaliseren.
- De formule (Eq. 8) introduceert een extra hyperparameter $\rho_\alpha$ (de straal van de architectuur-neighborhood) en vereist vier backpropagaties ten opzichte van de architectuurparameters in plaats van één, maar slechts één extra backprop ten opzichte van de gewichten.

Belangrijkste Bijdragen

Geometrisch Inzicht: Het paper biedt het eerste gedetailleerde bewijs dat hoogpresterende architecturen in differentieerbare NAS-zoekruimtes clusteren in vlakke regio's, terwijl slechte architecturen geïsoleerd liggen. Dit legt een directe link tussen de geometrie van de architectuurruimte en generalisatie.
A2M Framework: De introductie van A2M, een nieuw algoritme dat de gradiënt-update in DARTS expliciet bias naar vlakke minima in de architectuurruimte. Dit is de eerste keer dat SAM-concepten analytisch worden toegepast op architectuurparameters.
Veelzijdigheid en Integratie: A2M is ontworpen als een "plug-in" die eenvoudig kan worden geïntegreerd in bestaande DARTS-gebaseerde frameworks zonder de fundamentele structuur te veranderen.

Resultaten

De auteurs evalueren A2M op drie benchmarks: CIFAR-10, CIFAR-100 en ImageNet-16-120, binnen zowel de NAS-Bench-201 als de DARTS zoekruimte.

Prestatieverbetering: A2M verbetert consistent de generalisatieprestaties van zeven state-of-the-art DARTS-varianten (zoals DARTS, PC-DARTS, $\beta$ $β$ -DARTS).
- Gemiddelde verbetering in testnauwkeurigheid: +3.60% op CIFAR-10, +4.60% op CIFAR-100 en +3.64% op ImageNet-16-120.
- Opmerkelijk is dat A2M-varianten van DARTS en PC-DARTS enorme sprongen maken (bijv. PC-DARTS op ImageNet-16-120 verdubbelt bijna zijn nauwkeurigheid).
Vlakheid en Robuustheid: Architecturen gevonden door A2M hebben lagere nauwkeurigheidsbarrières in hun omgeving. Hun buren presteren bijna even goed als het oorspronkelijke model, wat aantoont dat ze in een vlakke, stabiele regio van de zoekruimte zitten.
Berekeningskosten: De extra rekentijd is beperkt. Omdat het aantal architectuurparameters ( $d$ ) veel kleiner is dan het aantal gewichten ( $m$ ), leidt de extra backpropagatie voor $\alpha$ slechts tot een toename van de totale rekentijd met een factor 1.1x tot 1.3x.

Betekenis en Conclusie

Dit paper is een belangrijke stap in het begrijpen van waarom bepaalde NAS-algoritmen beter generaliseren dan anderen. Het toont aan dat het optimaliseren van de "vlakheid" in de architectuurruimte net zo cruciaal is als in de gewichtsruimte.

Theoretisch: Het verlegt de focus van puur het vinden van een goed werkend model naar het vinden van een model dat robuust is tegen kleine architecturale variaties.
Praktisch: A2M biedt een eenvoudige, effectieve methode om bestaande NAS-methoden te verbeteren zonder complexe nieuwe zoekstrategieën te vereisen.
Toekomst: De auteurs wijzen op kansen om deze principes uit te breiden naar discrete NAS-methoden (zoals evolutionaire algoritmen) en andere taken zoals NLP of robuustheid tegen adversarial attacks.

Kortom, A2M bewijst dat het expliciet sturen van de zoektocht naar vlakke regio's in de architectuurruimte leidt tot superieure, beter generaliserende neurale netwerken.