Resumen Técnico: Partición y Descarga Adaptativa de DNN en el Continuo Heterogéneo Borde-Nube

Declaración del Problema

La proliferación de dispositivos del Internet de las Cosas (IoT) ha generado volúmenes masivos de datos que requieren un procesamiento sofisticado mediante Redes Neuronales Profundas (DNN). Si bien la ejecución centralizada en la nube ofrece potencia computacional, introduce latencia prohibitiva, restricciones de ancho de banda y riesgos de privacidad para aplicaciones de IoT en tiempo real. Por el contrario, ejecutar DNNs completamente en dispositivos de borde con recursos limitados a menudo conduce a un alto consumo de energía y tiempos de inferencia lentos.

Las soluciones existentes para distribuir la inferencia a través del continuo borde-nube suelen depender de estrategias de partición estática. Estos enfoques definen puntos de división fijos para las capas de la red neuronal antes del despliegue, fallando en adaptarse a las dinámicas de tiempo de ejecución como el ancho de banda de red fluctuante, la movilidad de los nodos o las cargas computacionales variables. Además, existe una brecha significativa en la literatura: la mayoría de los marcos propuestos se evalúan en entornos simulados asumiendo condiciones ideales de red, con pocos validados en hardware físico. Además, muchos estudios del mundo real se centran principalmente en la latencia o el tiempo de finalización de la tarea, a menudo descuidando el consumo de energía como objetivo principal de optimización.

Metodología

Los autores proponen un marco de partición y descarga adaptativa diseñado para dividir dinámicamente las cargas de trabajo de inferencia de DNN a través de un continuo heterogéneo de tres niveles (Borde, Niebla y Nube) para minimizar el consumo de energía mientras se cumplen estrictas restricciones de latencia.

Arquitectura del Sistema

El marco opera sobre una plataforma de pruebas física compuesta por:

• Borde: Raspberry Pi 4 (recursos limitados).
• Niebla: Portátil (Intel Core i7).
• Nube: PC de escritorio de alto rendimiento (GPU NVIDIA RTX 4070 Ti).

La arquitectura permite esquemas de partición donde $i$ capas se ejecutan en el borde, las capas $i+1$ a $j$ se ejecutan en la niebla, y las capas $j+1$ a $N-1$ se ejecutan en la nube.

Pipeline Algorítmico

El marco sigue un pipeline de cinco etapas:

1. Perfilado Offline: Antes del tiempo de ejecución, el sistema perfila el modelo para generar dos tablas de búsqueda:

   • Tabla de Tamaño de Activación: Registra el tamaño de los tensores intermedios en cada frontera de características para estimar los costos de comunicación.
   • Tabla de Peso Computacional Relativo: Asigna fracciones normalizadas del trabajo total de inferencia a cada capa basándose en una sola ejecución, sirviendo como referencia estable para escalar las mediciones de tiempo de ejecución.

2. Sondeo de Enlace de Dos Puntos: Para estimar las condiciones de la red sin una sobrecarga pesada, el sistema transmite dos cargas útiles de tamaños contrastantes ($s_1, s_2$) a través de los saltos de la red. Al promediar los tiempos de ida y vuelta, modela el enlace como $rtt(s) = \omega + s/\beta$, derivando la sobrecarga fija ($\omega$) y el rendimiento efectivo ($\beta$).

3. Estimación de División Candidata: Para cualquier división candidata $(i, j)$, el sistema predice la latencia y la energía de extremo a extremo. La latencia es la suma de los tiempos de computación (derivados de los pesos perfilados y las velocidades de los nodos) y los tiempos de transferencia (derivados de los modelos de enlace). La energía se estima multiplicando los tiempos de computación específicos del nodo por las tasas de potencia empíricas.

4. Búsqueda del Mejor Candidato: El sistema evalúa todos los pares de división válidos. Los candidatos se filtran para asegurar que cumplan con el plazo de latencia ($L_{max}$) y no funcionen peor que una línea base estática. La división óptima minimiza una puntuación de objetivo ponderada:
   $$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$$
   donde los pesos priorizan el consumo de energía del borde (0.6–0.9) sobre la energía total del sistema y la latencia.

5. Programación Adaptativa de Inferencia Distribuida:

   • Inicialización: El sistema ejecuta una división base y tres divisiones de "sondeo" (pesada en el borde, equilibrada, pesada en la nube) para ajustar las tasas de computación por nodo y los modelos de enlace.
   • Estado Estable: El sistema ejecuta la división actual durante una ventana de inferencias. Periódicamente, reevalúa el entorno re-sondeando los enlaces y re-ajustando las tasas. Si un nuevo candidato mejora la puntuación del objetivo en al menos un 3% (o si se viola el plazo de latencia), el sistema cambia a la nueva partición. Si no existe un candidato mejor durante una violación del plazo, retrocede a la línea base estática.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco Adaptativo: Un marco novedoso para la inferencia de DNN que divide dinámicamente las cargas de trabajo a través de un continuo heterogéneo borde-nube, priorizando la eficiencia energética sin violar las restricciones de latencia.
2. Plataforma de Pruebas Física: La construcción y utilización de una plataforma de pruebas funcional de tres niveles (Raspberry Pi, Portátil, PC de escritorio) para evaluar estrategias de descarga vertical en hardware real, abordando la dependencia de simulaciones en trabajos anteriores.
3. Evaluación Empírica: Experimentos integrales del mundo real utilizando tres CNN ampliamente adoptadas (VGG16, AlexNet, MobileNetV2), recopilando métricas de energía y latencia medidas en hardware a través de configuraciones de dispositivo único, estáticas y adaptativas.

Resultados

El marco se evaluó frente a dos líneas base: la ejecución en un solo dispositivo y la partición estática (distribución de carga de trabajo fija e igual).

• Reducción de Energía: El marco adaptativo logró ahorros significativos de energía en comparación con la línea base estática:
  • VGG16: 35.82% de reducción (de 5.69 J a 3.65 J).
  • AlexNet: 35.70% de reducción (de 0.68 J a 0.43 J).
  • MobileNetV2: 27.09% de reducción (de 0.92 J a 0.67 J).
• Reducción de Latencia: La latencia de extremo a extremo también se redujo:
  • VGG16: 6.34% de reducción.
  • AlexNet: 22.92% de reducción.
  • MobileNetV2: 14.20% de reducción.
• Observaciones: Para MobileNetV2, la partición estática en realidad aumentó la latencia en comparación con la ejecución en un solo dispositivo debido a la sobrecarga de la red; el marco adaptativo mitigó esto con éxito desplazando el punto de división. Los resultados muestran consistentemente que las reducciones de energía superan a las reducciones de latencia, reflejando la ponderación de objetivos del marco.

Significado y Afirmaciones

El artículo afirma que sus hallazgos confirman la superioridad de la partición adaptativa sobre los métodos estáticos en entornos dinámicos y heterogéneos. Al validar el enfoque en hardware real en lugar de simulación, el trabajo aborda una brecha crítica en la literatura sobre el rendimiento práctico de las estrategias de descarga.

Los autores afirman que su marco minimiza con éxito el consumo de energía en dispositivos de borde con recursos limitados sin violar las restricciones de latencia en tiempo real. A diferencia de los enfoques basados en Aprendizaje por Refuerzo (RL) o arquitecturas complejas de inferencia paralela, este marco se basa en una evaluación ligera y periódica de una única función de objetivo ponderada, haciéndolo continuamente adaptable a cambios ambientales como fluctuaciones en el ancho de banda de la red y variaciones en la carga de los nodos. Los resultados se presentan como comparables a los trabajos más avanzados en reducción de latencia, pero con un enfoque distintivo en la eficiencia energética, una métrica a menudo pasada por alto en los estudios existentes de borde-nube heterogéneo.