Multi-DNN Inference of Sparse Models on Edge SoCs

El artículo presenta SparseLoom, un sistema demostrador que utiliza la técnica de "model stitching" para reensamblar subgrafos de modelos dispersos sin reentrenamiento, logrando en SoCs de borde una reducción de hasta el 74% en las violaciones de objetivos de nivel de servicio, un aumento de 2,31 veces en el rendimiento y una disminución del 28% en la sobrecarga de memoria en comparación con los sistemas existentes.

Lo esencial

Imagina que tienes un restaurante de comida rápida muy avanzado (esto es tu dispositivo, como un teléfono o un ordenador portátil) y necesitas preparar varios platos al mismo tiempo para diferentes clientes.

Aquí está el problema:

1. Los platos son complejos: Cada plato es un modelo de Inteligencia Artificial (como reconocer una cara, traducir un texto o identificar un sonido).
2. Los clientes son exigentes: Algunos quieren su plato ya mismo (baja latencia), otros quieren que sea perfecto (alta precisión), y otros están dispuestos a esperar un poco más.
3. La cocina tiene varios chefs: Tienes un chef rápido pero torpe (CPU), un chef muy rápido con herramientas especiales (GPU) y un chef experto en tareas específicas (NPU).

El Problema: "El Menú Rígido"

Hasta ahora, los sistemas de estos restaurantes funcionaban así: Para cada tipo de plato, solo tenían una versión en el menú. Si el cliente quería algo rápido, le daban la versión "rápida" (que a veces estaba fría o mal hecha). Si quería algo perfecto, le daban la versión "premium" (que tardaba mucho en salir).

Si el cliente cambiaba de opinión a mitad de la tarde (por ejemplo, "¡ahora necesito esto en 2 segundos!"), el sistema se rompía o tardaba demasiado en cambiar de receta, haciendo que el cliente se fuera frustrado. Además, a veces el chef equivocado cocinaba el plato equivocado, desperdiciando tiempo.

La Solución: "SparseLoom" (El Tejedor de Recetas)

Los autores de este paper (Jiawei Luo y su equipo) crearon un sistema llamado SparseLoom. Imagina que en lugar de tener recetas fijas, tienen un sistema de "Lego" o "Costura" (Stitching) para las recetas.

1. La Magia de la "Costura" (Model Stitching)

En lugar de tener solo 10 recetas fijas, SparseLoom toma partes de diferentes recetas y las une para crear nuevas versiones al instante, sin tener que volver a cocinar desde cero (sin re-entrenar).

• La analogía: Imagina que tienes una receta de pizza.
  • La base es de un chef rápido (pero la masa es un poco dura).
  • El salsa es de un chef experto (sabor increíble).
  • El queso es de un chef eficiente (se funde perfecto).
  • SparseLoom toma la base del primer chef, la salsa del segundo y el queso del tercero, y crea una "Nueva Pizza Híbrida" que es rápida, deliciosa y eficiente.
  • Esto crea miles de combinaciones posibles en lugar de solo unas pocas.

2. El "Gerente de Cocina" Inteligente (Optimización)

El sistema tiene un gerente que decide:

• ¿Qué receta híbrida usar? Elige la que mejor se adapte a lo que el cliente quiere ahora mismo (¿más rápido? ¿más sabroso?).
• ¿Quién cocina qué parte? Decide qué parte de la pizza la hace el chef rápido, cuál el experto y cuál el eficiente, para que todo salga al mismo tiempo.
• Resultado: El restaurante nunca se atasca y siempre entrega el plato justo a tiempo.

3. El "Almacén Inteligente" (Precarga de Subgrafos)

Antes, para estar seguros de poder cambiar de receta rápido, el restaurante guardaba todas las recetas posibles en la nevera. ¡Esto ocupaba todo el espacio y no cabía nada más!

SparseLoom es más inteligente. Usa un sistema de "Calor" (Hotness):

• Solo guarda en la nevera las partes de las recetas que se usan más a menudo o que son críticas para cumplir con las órdenes urgentes.
• Si llega una orden nueva, el sistema sabe exactamente qué piezas tiene ya listas y cuáles puede buscar rápido, ahorrando mucho espacio en la nevera (memoria).

¿Qué lograron con esto? (Los Resultados)

Gracias a este sistema de "costura" y gestión inteligente:

1. Menos clientes furiosos: Redujeron las quejas (violaciones de objetivos) en un 74%. Casi todos los platos salen a tiempo y bien hechos.
2. Más platos por hora: El restaurante ahora sirve 2.3 veces más platos que antes (mejor rendimiento).
3. Menos espacio en la nevera: Ahorraron un 28% de espacio de memoria, dejando más sitio para otras cosas.

En resumen

SparseLoom es como un chef maestro que no se queda atascado en recetas fijas. En su lugar, mezcla y combina las mejores partes de diferentes recetas al vuelo, asigna a los chefs correctos para cada tarea y solo guarda en la nevera lo que realmente necesita. El resultado es un servicio más rápido, más eficiente y que nunca decepciona al cliente, incluso en las cocinas más pequeñas (dispositivos móviles).

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Multi-DNN Inference of Sparse Models on Edge SoCs" en español:

Título: Inferencia Multi-DNN de Modelos Escasos en SoCs de Borde

Autores: Jiawei Luo, Di Wu, Simon Dobson, Blesson Varghese (Universidad de St Andrews).

---

1. El Problema

Las aplicaciones modernas en el borde (edge), como la realidad aumentada (AR), requieren ejecutar múltiples tareas de inferencia de redes neuronales profundas (DNN) en paralelo (ej. reconocimiento de voz, clasificación de imágenes, reconocimiento de actividad). Estas tareas se ejecutan en Sistemas en Chip (SoC) heterogéneos que integran CPU, GPU y NPU.

Los desafíos principales identificados son:

• Restricciones de Nivel de Servicio (SLO) variables: Diferentes tareas tienen prioridades cambiantes entre latencia y precisión.
• Limitaciones de los sistemas existentes: La mayoría de los sistemas actuales seleccionan un único modelo base o un par de variantes escasas (podadas o cuantizadas) por tarea. Esto limita la capacidad de adaptación a las restricciones SLO, resultando en altas tasas de violación de SLO.
• Ineficiencia en la selección: Seleccionar solo de un "zoológico" de modelos pregenerados no ofrece suficientes opciones para satisfacer requisitos estrictos sin reentrenar modelos.
• Desafíos de implementación: La creación de nuevas variantes mediante "unión" (stitching) de subgrafos genera un número exponencial de combinaciones, lo que incrementa drásticamente el costo de perfilado, degrada el rendimiento si la colocación en procesadores no es óptima y genera una sobrecarga de memoria significativa al precargar todas las variantes.

2. Metodología: SparseLoom

Los autores proponen SparseLoom, un sistema holístico de inferencia Multi-DNN diseñado para SoCs de borde que introduce una técnica llamada "Model Stitching" (Unión de Modelos) y tres módulos optimizados para superar los desafíos mencionados.

A. Model Stitching (Unión de Modelos)

• Concepto: Es una técnica de generación de variantes sin reentrenamiento. En lugar de usar modelos completos pregenerados, el sistema combina subgrafos (bloques consecutivos de capas) de diferentes variantes escasas (densas, podadas, cuantizadas) del mismo modelo base.
• Mecanismo: Si un modelo base se divide en subgrafos $S_1, S_2, S_3$, se pueden crear nuevas variantes combinando, por ejemplo, $S_1$ de un modelo podado, $S_2$ de un modelo cuantizado y $S_3$ de un modelo denso.
• Ventaja: Expande exponencialmente el espacio de variantes disponibles, ofreciendo mejores compromisos entre precisión y latencia que los modelos originales.

B. Módulos Clave de SparseLoom

Para hacer viable el stitching en entornos de borde, se implementan tres módulos:

1. Perfilador de Rendimiento (Performance Profiler):

   • Problema resuelto: El costo exponencial de medir la precisión y latencia de todas las variantes unidas.
   • Solución: Utiliza un estimador de precisión (basado en regresión supervisada con XGBoost) y un estimador de latencia (suma de latencias de subgrafos individuales) para predecir el rendimiento de las nuevas variantes sin ejecutarlas físicamente. Esto reduce drásticamente el número de ejecuciones necesarias.

2. Optimizador Consciente de Escasez (Sparsity-Aware Optimizer):

   • Problema resuelto: La colocación subóptima de subgrafos en procesadores heterogéneos (CPU/GPU/NPU).
   • Solución: Realiza una optimización conjunta de la selección de la variante unida y el orden de colocación de los procesadores. Determina dinámicamente qué subgrafos ejecutar en qué procesador para minimizar la latencia global y maximizar el rendimiento, en lugar de usar un orden fijo (ej. NPU-GPU-CPU).

3. Precargador de Subgrafos Calientes (Hot-Subgraph Preloader):

   • Problema resuelto: La sobrecarga de memoria al precargar todas las variantes para evitar latencia de cambio en tiempo de ejecución.
   • Solución: Utiliza una métrica de "calidez" (hotness) que combina la frecuencia de uso y la unicidad de un subgrafo en diferentes configuraciones SLO. Solo precarga los subgrafos más críticos dentro de un presupuesto de memoria limitado, reduciendo el uso de memoria sin sacrificar significativamente el cumplimiento de SLO.

3. Contribuciones Clave

1. Introducción de Model Stitching en Inferencia Multi-DNN: Una técnica para generar variantes de modelos sin reentrenamiento, combinando subgrafos de modelos escasos existentes.
2. Sistema SparseLoom: La primera implementación completa que integra stitching en sistemas de inferencia de borde, abordando los desafíos de perfilado, colocación y memoria.
3. Algoritmos de Optimización: Desarrollo de estimadores de rendimiento de bajo costo y un optimizador que decide simultáneamente la variante y la asignación de hardware.
4. Estrategia de Precarga Inteligente: Un mecanismo basado en métricas de "calidez" para gestionar la memoria en entornos con recursos limitados.

4. Resultados Experimentales

El sistema se evaluó en tres plataformas (Desktop, Laptop y NVIDIA Jetson Orin) con cuatro tareas (clasificación de imágenes, análisis de sentimiento, reconocimiento de actividad y reconocimiento de voz) y seis sistemas base de comparación.

• Reducción de Violaciones de SLO: SparseLoom reduce las tasas de violación de SLO en hasta un 74% en comparación con los sistemas más avanzados (baselines).
• Mejora del Rendimiento (Throughput): Logra mejoras de rendimiento de hasta 2.31x en comparación con los sistemas existentes.
• Eficiencia de Memoria: Reduce la sobrecarga de memoria en un promedio del 28% mediante la precarga selectiva de subgrafos, manteniendo un rendimiento de SLO comparable al de la precarga completa.
• Reducción de Costo de Perfilado: Los estimadores reducen el tiempo de perfilado en hasta un 99% (ej. de 468 minutos a 5 minutos en un portátil con 10 variantes), haciendo escalable el enfoque.

5. Significado e Impacto

Este trabajo es significativo porque:

• Supera la limitación de variantes fijas: Permite a los sistemas de borde adaptarse dinámicamente a requisitos de SLO estrictos y cambiantes sin el costo computacional del reentrenamiento.
• Aprovecha la heterogeneidad del hardware: Optimiza explícitamente la asignación de tareas a CPU, GPU y NPU considerando la naturaleza dispersa de los modelos unidos, algo que los sistemas anteriores ignoraban.
• Viabilidad en el Borde: Demuestra que técnicas complejas de optimización de modelos pueden implementarse eficientemente en dispositivos con recursos limitados (SoCs de borde), mejorando la experiencia del usuario en aplicaciones críticas como la Realidad Aumentada.

En resumen, SparseLoom representa un avance fundamental en la gestión de inferencias múltiples en el borde, transformando la limitación de recursos en una oportunidad para una mayor flexibilidad y eficiencia mediante la reutilización inteligente de componentes de modelos.