Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication

Sintesi Tecnica: Co-Design di Processori per Reti Neurali Consapevole dell'Incertezza

Definizione del Problema
La progettazione di un processore per reti neurali (NNP) è intrinsecamente un problema di co-design end-to-end che coinvolge quattro fasi interdipendenti: l'architettura della rete e l'addestramento, la mappatura hardware, la fabbricazione a livello di wafer e l'allocazione delle risorse computazionali. Le decisioni nelle fasi iniziali (ad esempio, il budget di addestramento) dettano il carico di lavoro dell'inferenza, mentre la mappatura hardware determina l'area del chip, la latenza e l'energia, che influenzano successivamente la resa della fabbricazione e il costo di produzione.

Le metodologie attuali soffrono di tre limitazioni primarie:

1. Mancanza di Modularità: Gli approcci esistenti (ad esempio, l'Hardware-Aware NAS, gli strumenti di esplorazione congiunta come NAAS o DANCE) accoppiano strettamente l'obiettivo globale a specifici algoritmi di ricerca. Migliorare un componente (ad esempio, un surrogato di addestramento) richiede spesso la rielaborazione dell'intero pipeline di esplorazione.
2. Costo di Valutazione: L'esplorazione esaustiva tra le scelte di rete, mappatura e fabbricazione è impraticabile a causa dell'alto costo della verifica hardware dettagliata, costringendo a fare affidamento su predittori statistici indipendenti piuttosto che su un framework composibile.
3. Gestione dell'Incertezza: Gli elementi stocastici nell'addestramento (inizializzazione casuale), nella mappatura (ricerca euristica) e nella fabbricazione (variazione del processo) sono tipicamente collassati in stime puntuali o trattati come variabili di disturbo, anziché essere gestiti esplicitamente come risorse ottimizzabili.

Metodologia
Il documento propone un framework unificato basato sulla Teoria del Co-Design Monotono. L'innovazione principale è la decomposizione del processo di co-design di un NNP in quattro Problemi di Progettazione Monotoni con Implementazione (MDPI) interoperabili. Ogni blocco espone solo un'interfaccia funzionalità-risorsa al resto del sistema, nascondendo i propri dettagli algoritmici interni.

I quattro blocchi MDPI sono:

1. Selezione della Rete e Pipeline di Addestramento: Mappa i budget di addestramento in configurazioni di embedding e garanzie di accuratezza.
2. Pipeline di Progettazione del Chip: Mappa le configurazioni di embedding e i budget del solver in Area, Energia e Latenza (LEA) a livello di chip.
3. Predizione della Fabbricazione: Mappa l'area del chip e il costo monetario nel numero di chip funzionali ottenuti.
4. Pianificatore di Distribuzione Computazionale: Alloca i budget computazionali (tempo, potenza, costo) tra i blocchi di addestramento e di mappatura.

Contributi Chiave

1. Composizione Formale tramite MDPI:
   Il framework tratta ogni sottosistema come un MDPI, definito da un insieme di implementazioni e da una mappa verso un Problema di Progettazione (DP) su poset di funzionalità e risorse. Ciò consente di comporre il sistema utilizzando operazioni in serie, in parallelo e di feedback. Fondamentalmente, il solver interno (ad esempio, un Algoritmo Genetico per la mappatura) è opaco; è visibile solo l'insieme risultante di coppie funzionalità-risorsa fattibili. Ciò garantisce che il miglioramento dell'insieme di implementazione di un singolo blocco non richieda cambiamenti strutturali al diagramma di co-design globale.

2. L'Incertezza come Risorsa di Prima Classe (Confidenza):
   Il documento estende gli MDPI per gestire l'incertezza distributiva. Invece di collassare gli esiti stocastici in stime puntuali, il framework introduce la Confidenza ($\pi^{-1}$), l'inverso della probabilità di successo, come una risorsa esplicita e ottimizzabile insieme a costo, tempo e potenza.

• Addestramento: Modellato come un processo stocastico a budget dove l'accuratezza segue una curva di apprendimento con rumore gaussiano omoschedastico.
• Mappatura: Modellata utilizzando un modello surrogato (un modello di miscela a tre componenti) sulle metriche LEA derivate dalle esecuzioni dell'Algoritmo Genetico.
• Fabbricazione: Modellata utilizzando un modello di resa binomiale negativa per tenere conto del clustering dei difetti, mappando l'area e il costo in una distribuzione di chip ottenuti.
  La confidenza globale è il prodotto delle confidenze dei componenti (sotto ipotesi di indipendenza), consentendo ai progettisti di scambiare lamente la affidabilità con la spesa di risorse.

3. Valutazione Basata su Surrogati:
   Per affrontare i costi di valutazione, il framework si affida a surrogati profilati offline (ad esempio, curve di apprendimento gaussiane, distribuzioni di miscela per LEA e modelli di resa binomiale negativa). Questi surrogati permettono al sistema di calcolare soluzioni Pareto-ottimali in pochi secondi senza dover invocare nuovamente gli onerosi solver sottostanti.

Risultati
Il framework è validato attraverso tre casi di studio:

• Caso di Studio I (Co-Design End-to-End): Risolve un problema di base di progettazione NNP per un robot di pulizia indoor. Il solver recupera implementazioni Pareto-ottimali che spaziano dall'architettura della rete, alla strategia di mappatura, al nodo di fabbricazione e all'hardware computazionale. Dimostra che il framework può identificare trade-off non intuitivi (ad esempio, scelte hardware aggressive che riducono il costo a scapito della potenza) che l'ottimizzazione sequenziale perderebbe.
• Caso di Studio II (Multi-Scenario e Incertezza):
  • Sensibilità ai Vincoli: Valuta quattro scenari con vincoli progressivamente più stringenti (Area, Energia, Latenza, Resa, Accuratezza). I risultati mostrano uno spostamento monotono verso l'esterno della frontiera di Pareto man mano che i vincoli si stringono, coerentemente con la struttura dell'ordine-teoria del formalismo.
  • La Confidenza come Manopola di Progettazione: Dimostra che la Confidenza funziona come una risorsa continuamente regolabile. Per uno scenario altamente vincolato (impianto neurale), la frontiera Pareto Tempo–Confidenza rivela un trade-off ripido: ottenere un'alta affidabilità richiede un investimento di tempo sproporzionato. Ciò quantifica il "costo dell'affidabilità", una metrica nascosta nelle formulazioni deterministiche.
  • Validazione dei Surrogati: Valida che le distribuzioni surrogate per addestramento, mappatura e fabbricazione catturano fedelmente la stocasticità osservata, giustificando l'uso della Confidenza come risorsa di progettazione affidabile.
• Caso di Studio III (Decoupling Algoritmo–Framework): Valida la modularità arricchendo l'insieme di implementazione del blocco di Progettazione del Chip (simulando un miglior solver aumentando le epoche della GA). I risultati mostrano che i miglioramenti in un singolo blocco si propagano automaticamente alla frontiera Pareto globale senza modificare il diagramma di co-design o altri blocchi. Le implementazioni dominate vengono rimosse automaticamente, mentre i miglioramenti non dominati spostano la frontiera globale.

Significatività
Il documento sostiene che questo formalismo fornisce una base per un co-design di NNP rigoroso, flessibile e modulare che offre simultaneamente:

1. Componibilità: La capacità di comporre design attraverso diversi livelli di astrazione (dall'addestramento alla fabbricazione).
2. Quantificazione dell'Incertezza di Prima Classe: Trattare l'affidabilità come una manopola di progettazione regolabile invece che come un diagnostico post-hoc.
3. Modularità: Permettere che i miglioramenti algoritmici in qualsiasi singolo blocco possano essere contribuiti e composti indipendentemente, cambiando fondamentalmente l'economia dello sviluppo iterativo di NNP.
4. Efficienza di Valutazione: Consentire una rapida esplorazione tramite surrogati offline senza sacrificare la capacità di modellare la stocasticità.

Gli autori posizionano questo lavoro come un passo verso una metodologia rigorosa, flessibile e modulare che colma il divario tra l'esplorazione del co-design ad alto livello e l'implementazione pronta per il tape-out, distinguendosi dai precedenti metodi di ricerca congiunta che mancano di garanzie di composizione formale.