Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication

Resumen Técnico: Co-diseño de Procesadores de Redes Neuronales Consciente de la Incertidumbre

Declaración del Problema
El diseño de un Procesador de Redes Neuronales (NNP, por sus siglas en inglés) es inherentemente un problema de co-diseño de extremo a extremo que involucra cuatro etapas interdependientes: arquitectura de red y entrenamiento, mapeo de hardware, fabricación a nivel de oblea y asignación de recursos computacionales. Las decisiones en las etapas tempranas (por ejemplo, el presupuesto de entrenamiento) dictan la carga de trabajo de inferencia, mientras que el mapeo de hardware determina el área, la latencia y la energía del chip, lo que posteriormente influye en el rendimiento de la fabricación y el costo de manufactura.

Las metodologías actuales sufren de tres limitaciones principales:

1. Falta de Modularidad: Los enfoques existentes (por ejemplo, NAS consciente del hardware, herramientas de exploración conjunta como NAAS o DANCE) vinculan estrechamente el objetivo global con algoritmos de búsqueda específicos. Mejorar un componente (por ejemplo, un sustituto de entrenamiento) a menudo requiere rehacer todo el pipeline de exploración.
2. Costo de Evaluación: La exploración exhaustiva a través de las elecciones de red, mapeo y fabricación es inviable debido al alto costo de la verificación detallada de hardware, lo que obliga a depender de predictores estadísticos independientes en lugar de un marco composable.
3. Gestión de la Incertidumbre: Los elementos estocásticos en el entrenamiento (inicialización aleatoria), el mapeo (búsqueda heurística) y la fabricación (variación del proceso) suelen colapsarse en estimaciones puntuales o tratarse como variables de molestia, en lugar de gestionarse explícitamente como recursos optimizables.

Metodología
El artículo propone un marco unificado basado en la Teoría de Co-diseño Monótono. La innovación central es la descomposición del proceso de diseño de NNP en cuatro Problemas de Diseño Monótono con Implementación (MDPIs) interoperables. Cada bloque expone únicamente una interfaz de funcionalidad–recurso al resto del sistema, ocultando sus detalles algorítmicos internos.

Los cuatro bloques MDPI son:

1. Selección de Red y Pipeline de Entrenamiento: Mapea los presupuestos de entrenamiento con configuraciones de incrustación (embedding) y garantías de precisión.
2. Pipeline de Diseño de Chip: Mapea las configuraciones de incrustación y los presupuestos del solver con el Área, Energía y Latencia (LEA) a nivel de chip.
3. Predicción de Fabricación: Mapea el área del chip y el costo monetario con el número de chips funcionales obtenidos (yield).
4. Planificador de Distribución de Computación: Asigna los presupuestos computacionales (tiempo, potencia, costo) entre los bloques de entrenamiento y de mapeo.

Contribuciones Clave

1. Composición Formal mediante MDPIs:
   El marco trata cada subsistema como un MDPI, definido por un conjunto de implementaciones y un mapa hacia un Problema de Diseño (DP) sobre órdenes parciales de funcionalidad y recursos. Esto permite que el sistema se componga utilizando operaciones de serie, paralelo y retroalimentación. Crucialmente, el solver interno (por ejemplo, un Algoritmo Genético para el mapeo) es opaco; solo es visible el conjunto resultante de pares funcionalidad-recurso factibles. Esto asegura que mejorar el conjunto de implementaciones de un solo bloque no requiera cambios estructurales en el diagrama de co-diseño global.

2. La Incertidumbre como un Recurso de Primera Clase (Confianza):
   El artículo extiende los MDPIs para manejar la incertidumbre distributiva. En lugar de colapsar los resultados estocásticos en estimaciones puntuales, el marco introduce la Confianza ($\pi^{-1}$), la inversa de la probabilidad de éxito, como un recurso explícito y optimizable junto con el costo, el tiempo y la potencia.

• Entrenamiento: Modelado como un proceso estocástico presupuestado donde la precisión sigue una curva de aprendizaje con ruido gaussiano homocedástico.
• Mapeo: Modelado utilizando un modelo de distribución sustituta (un modelo de mezcla de tres componentes) sobre las métricas LEA derivadas de ejecuciones de Algoritmos Genéticos.
• Fabricación: Modelado utilizando un modelo de rendimiento binomial negativo para dar cuenta de la agrupación de defectos, mapeando el área y el costo a una distribución de chips obtenidos.
  La confianza global es el producto de las confianzas de los componentes (bajo supuestos de independencia), lo que permite a los diseñadores intercambiar confiabilidad por gasto de recursos.

3. Evaluación Basada en Sustitutos (Surrogates):
   Para abordar los costos de evaluación, el marco se apoya en sustitutos perfilados offline (por ejemplo, curvas de aprendizaje gaussianas, distribuciones de mezcla para LEA y modelos de rendimiento binomial negativo). Estos sustitutos permiten al sistema calcular soluciones óptimas de Pareto en segundos sin tener que invocar nuevamente los solvers subyacentes costosos.

Resultados
El marco se valida a través de tres casos de estudio:

• Caso de Estudio I (Co-diseño de Extremo a Extremo): Resuelve un problema de diseño de NNP base para un robot de limpieza de interiores. El solver recupera implementaciones óptimas de Pareto que abarcan la arquitectura de red, la estrategia de mapeo, el nodo de fabricación y el hardware de computación. Demuestra que el marco puede identificar compensaciones no intuitivas (por ejemplo, elecciones de hardware agresivas que reducen el costo a expensas de la potencia) que el diseño secuencial omitiría.
• Caso de Estudio II (Multi-escenario e Incertidumbre):
  • Sensibilidad de Restricciones: Evalúa cuatro escenarios con restricciones progresivamente más estrictas (Área, Energía, Latencia, Rendimiento, Precisión). Los resultados muestran un desplazamiento exterior monotónico de la frontera de Pareto a medida que las restricciones se endurecen, consistente con la estructura de orden teórico del formalismo.
  • La Confianza como Perilla de Diseño: Demuestra que la Confianza funciona como un recurso continuamente ajustable. Para un escenario altamente restringido (implante neural), la frontera de Pareto Tiempo–Confianza revela un intercambio pronunciado: lograr una alta confiabilidad requiere una inversión de tiempo desproporcionada. Esto cuantifica el "costo de la confiabilidad", una métrica oculta en las formulaciones deterministas.
  • Validación de Sustitutos: Valida que las distribuciones sustitutas para el entrenamiento, el mapeo y la fabricación capturan fielmente la estocasticidad observada, justificando el uso de la Confianza como un recurso de diseño confiable.
• Caso de Estudio III (Desacoplamiento Algoritmo–Marco): Valida la modularidad al enriquecer el conjunto de implementación del bloque de Diseño de Chip (simulando un mejor solver al aumentar las épocas del GA). Los resultados muestran que las mejoras en un solo bloque se propagan automáticamente a la frontera de Pareto global sin modificar el diagrama de co-diseño ni otros bloques. Las implementaciones dominadas se eliminan automáticamente, mientras que las mejoras no dominadas desplazan la frontera global.

Significancia
El artículo sostiene que este formalismo proporciona una base para un co-diseño de NNP riguroso, flexible y de extremo a extremo que ofrece simultáneamente:

1. Componibilidad: La capacidad de componer diseños a través de niveles de abstracción (desde el entrenamiento hasta la fabricación).
2. Cuantificación de la Incertidumbre de Primera Clase: Tratar la confiabilidad como una perilla de diseño ajustable en lugar de un diagnóstico post-hoc.
3. Modularidad: Permitir que las mejoras algorítmicas en cualquier bloque individual sean contribuidas y compuestas de forma independiente, cambiando fundamentalmente la economía del desarrollo iterativo de NNP.
4. Eficiencia de Evaluación: Permitir la exploración rápida mediante sustitutos offline sin sacrificar la capacidad de modelar la estocasticidad.

Los autores posicionan este trabajo como un paso hacia una metodología rigurosa, flexible y modular que cierra la brecha entre la exploración de co-diseño de alto nivel y la implementación lista para la producción (tape-out), distinguiéndose de los métodos de búsqueda conjunta previos que carecen de garantías de composición formal.