Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication

Technische Samenvatting: Onzekerheidsbewuste End-to-End Co-Design van Neurale Netwerkprocessors

Probleemstelling
Het ontwerpen van een Neuraal Netwerk Processor (NNP) is inherent een end-to-end co-design probleem dat bestaat uit vier onderling afhankelijke fasen: netwerkarchitectuur en training, hardware-mapping, wafer-niveau fabricage en toewijzing van rekenbronnen. Beslissingen in vroege stadia (bijv. het trainingsbudget) dicteren de inferentie-workload, terwijl hardware-mapping de chipoppervlakte, latentie en energie bepaalt, wat vervolgens de fabricage-opbrengst en productiekosten beïnvloedt.

Huidige methodologieën lijden aan drie primaire beperkingen:

1. Gebrek aan Modulariteit: Bestaande benaderingen (bijv. Hardware-Aware NAS, gezamenlijke exploratietools zoals NAAS of DANCE) koppelen de globale doelstelling nauw aan specifieke zoekalgoritmen. Het verbeteren van één component (bijv. een trainingssurrogaat) vereist vaak het herwerken van de gehele exploratiepijplijn.
2. Evaluatiekosten: Uitputtende exploratie over netwerk-, mapping- en fabricagekeuzes is onhaalbaar vanwege de hoge kosten van gedetailleerde hardwareverificatie, wat dwingt tot de afhankelijkheid van op zichzelf staande statistische voorspellers in plaats van een composabel framework.
3. Omgaan met Onzekerheid: Stochastische elementen in training (willekeurige initialisatie), mapping (heuristische zoektocht) en fabricage (procesvariatie) worden doorgaans samengevoegd tot puntinschattingen of behandeld als storende variabelen (nuisance variables), in plaats van ze expliciet te beheren als optimaliseerbare middelen.

Methodologie
Het paper stelt een verenigd framework voor dat gestoeld is op de Monotone Co-Design Theorie. De kerninnovatie is de decompositie van het NNP-ontwerpproces in vier interoperabele Monotone Design Problems with Implementation (MDPI's). Elk blok legt alleen een functionaliteit–resource interface bloot aan de rest van het systeem, waardoor de interne algoritmische details verborgen blijven.

De vier MDPI-blokken zijn:

1. Netwerkselectie en Trainingspijplijn: Brengt trainingsbudgetten in kaart naar embedding-configuraties en accuratiewaarborgen.
2. Chip Ontwerppijplijn: Brengt embedding-configuraties en solver-budgetten in kaart naar chip-niveau Area, Energy, en Latency (LEA).
3. Fabricage Voorspelling: Brengt chipoppervlakte en monetaire kosten in kaart naar het aantal opgebrachte functionele chips.
4. Computationele Distributie Planner: Verdeelt computationele budgetten (tijd, vermogen, kosten) tussen de trainings- en de mapping-blokken.

Belangrijkste Bijdragen

1. Formele Compositie via MDPI's:
   Het framework behandelt elk subsysteem als een MDPI, gedefinieerd door een set implementaties en een mapping naar een Design Problem (DP) over functionaliteit- en resource posets. Dit maakt het mogelijk om het systeem te componeren met behulp van serie-, parallel- en feedback-operaties. Cruciaal is dat de interne solver (bijv. een Genetisch Algoritme voor mapping) opaak is; alleen de resulterende set van haalbare functionaliteit-resource paren is zichtbaar. Dit zorgt ervoor dat het verbeteren van de implementatieset van een enkel blok niet vereist dat de structurele wijzigingen in de globale co-design diagram worden doorgevoerd.

2. Onzekerheid als een Eerste-Klasse Middel (Confidence):
   Het paper breidt MDPI's uit om de distributionele onzekerheid te behandelen. In plaats van stochastische uitkomsten samen te voegen tot puntinschattingen, introduceert het framework Confidence ($\pi^{-1}$), de inverse van de succeswaarschijnlijkheid, als een expliciet, optimaliseerbaar middel naast kosten, tijd en vermogen.

• Training: Gemodelleerd als een budgetteerd stochastisch proces waarbij accuratesse een leercurve volgt met homoscedastische Gaussische ruis.
• Mapping: Gemodelleerd met behulp van een surrogaatdistributie (een drie-componenten mengmodel) over LEA-metrieken afgeleid van Genetische Algoritme-runs.
• Fabricage: Gemodelleerd met een negatief binomiale opbrengstmodel om defectclustering te verklaren, waarbij oppervlakte en kosten worden gemapt naar een distributie van opgebrachte chips.
  De globale confidence is het product van de component-confidences (onder aannames van onafhankelijkheid), waardoor ontwerpers betrouwbaarheid kunnen afwegen tegen de besteding van middelen.

3. Surrogaat-gebaseerde Evaluatie:
   Om de evaluatiekosten aan te pakken, vertrouwt het framework op offline geprofileerde surrogaten (bijv. Gaussische leercurves, mengmodellen voor LEA, en negatief binomiale opbrengstmodellen). Deze surrogaten stellen het systeem in staat om in enkele seconden Pareto-optimale oplossingen te berekenen zonder de dure onderliggende solvers opnieuw aan te roepen.

Resultaten
Het framework wordt gevalideerd via drie casestudy's:

• Casestudy I (End-to-End Co-Design): Lost een baseline NNP-ontwerpprobleem op voor een indoor schoonmaakrobot. De solver herstelt Pareto-optimale implementaties die variëren van netwerkarchitectuur, mappingstrategie, fabricagenode tot computerehardware. Het toont aan dat het framework niet-intuïtieve trade-offs kan identificeren (bijv. agressieve hardwarekeuzes die de kosten verlagen ten koste van het vermogen) die sequentiële optimalisatie zou missen.
• Casestudy II (Multi-Scenario & Onzekerheid):
  • Constraint Sensitiviteit: Evalueert vier scenario's met progressief strengere beperkingen (Oppervlakte, Energie, Latentie, Opbrengst, Accuratesse). De resultaten laten een monotone uitwaartse verschuiving van de Pareto-grens zien naarmate de beperkingen strenger worden, wat consistent is met de orde-theoretische structuur van het formalisme.
    • Confidence als een Ontwerpknop: Demonstreert dat Confidence fungeert als een continu bij te sturen middel. Voor een scenario met strikte beperkingen (neurale implantaten) onthult de Time–Confidence Pareto-front een steile trade-off: het bereiken van een hoge betrouwbaarheid vereist een onevenredig grote investering in tijd. Dit kwantificeert de "kosten van betrouwbaarheid", een metriek die verborgen blijft in deterministische formuleringen.
  • Surrogaat Validatie: Valideert dat de surrogaatdistributies voor training, mapping en fabricage de geobserveerde stochastiek getrouw vatten, wat het gebruik van Confidence als een betrouwbaar ontwerpmiddel rechtvaardigt.
• Casestudy III (Algoritme–Framework Ontkoppeling): Valideert modulariteit door de implementatieset van het Chip Design blok te verrijken (het simuleren van een betere solver door de GA-epochs te verhogen). De resultaten tonen aan dat verbeteringen in een enkel blok automatisch doorwerken naar de globale Pareto-front zonder de co-design diagram of andere blokken te wijzigen. Gedomineerde implementaties worden automatisch gepruned, terwijl niet-gedomineerde verbeteringen de globale front verschuiven.

Betekenis
Het paper beweert dat dit formalisme een fundament biedt voor een principiële, end-to-end NNP co-design die tegelijkertijd biedt:

1. Compositionaliteit: Het vermogen om ontwerpen te componeren over abstractieniveaus heen (van training tot fabricage).
2. Eerste-Klasse Onzekerheidskwantificering: Het behandelen van betrouwbaarheid als een bij te sturen ontwerpmiddel in plaats van een post-hoc diagnose.
3. Modulariteit: Het mogelijk maken dat algoritmische verbeteringen in elk enkel blok onafhankelijk kunnen worden bijgedragen en gecomponeerd, wat de economie van iteratieve NNP-ontwikkeling fundamenteel verandert.
4. Evaluatie-efficiëntie: Het mogelijk maken van snelle exploratie via offline surrogaten zonder het vermogen te verliezen om stochastische processen te modelleren.

De auteurs positioneren dit werk als een stap naar een rigoureuze, flexibele en modulaire methodologie die de kloof overbrugt tussen hoogwaardige co-design exploratie en tape-out-klare implementatie, onderscheidend van eerdere joint-search methoden die een gebrek hebben aan formele compositionele garanties.