A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

A continuación se presenta un resumen técnico detallado del artículo "Análisis comparativo del rendimiento de los algoritmos de Límite Superior de Confianza en Redes Neuronales Profundas Adaptativas".

1. Planteamiento del Problema

Los entornos de computación en el borde enfrentan restricciones estrictas en cuanto al consumo de energía, la latencia y los recursos computacionales. Aunque las Redes Neuronales Profundas (DNN) son potentes, sus procesos de inferencia estáticos a menudo desperdician recursos al procesar todas las entradas a través de la profundidad completa de la red, independientemente de la dificultad de la entrada.

Las Redes Neuronales Profundas Adaptativas (ADNN), específicamente las DNN de Salida Temprana (EEDNN), abordan esto permitiendo que el modelo "salga" anticipadamente si se realiza una predicción con alta confianza en una capa superficial. Sin embargo, determinar el umbral de confianza óptimo para la salida es un desafío crítico:

• Los umbrales estáticos son ineficientes porque no se adaptan a las variaciones en la dificultad de las entradas o a las restricciones de recursos.
• Los enfoques dinámicos actuales dependen principalmente del algoritmo UCB1 (Límite Superior de Confianza 1) dentro de un marco de Bandidos de Brazo Múltiple (MAB). Aunque UCB1 es simple, ignora la varianza de la recompensa, la conciencia de costos y la incertidumbre bayesiana, lo que puede llevar a compensaciones subóptimas entre precisión, energía y latencia.

El artículo postula que diferentes variantes de UCB poseen estrategias distintas de exploración-explotación que podrían rendir un rendimiento superior en escenarios específicos del borde, aunque esto no se ha comparado sistemáticamente.

2. Metodología

Los autores proponen un marco comparativo donde el agente MAB selecciona dinámicamente el umbral de confianza óptimo para la salida temprana.

A. El Marco MAB

• Brazos: Cada "brazo" representa un umbral de confianza discreto.
• Función de Recompensa: La recompensa se calcula basándose en una compensación entre la confianza de la predicción, la fiabilidad y el costo computacional:
  $$\text{recompensa} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{costo}$$
  • $C_{\text{EEDNN}}$: Confianza proveniente de la EEDNN.
  • $C_{\text{Gating}}$: Puntuación de fiabilidad de una red de enrutamiento (gating) ligera (menor es mejor).
  • $\text{costo}$: El índice del punto de salida (índice más alto = más capas = mayor costo).
  • $\lambda$: Un factor de equilibrio para el control de riesgos.

B. Variantes de UCB Propuestas

El estudio introduce cuatro variantes de UCB en el contexto de EEDNN, reemplazando al UCB1 estándar:

1. UCB-V: Incorpora la varianza empírica ($\sigma^2$) en el término de exploración. Es "consciente de la varianza", explorando brazos de alta varianza de manera más agresiva mientras se compromete más rápido con brazos estables y de baja varianza.
2. UCB-Tuned: Similar a UCB-V pero utiliza un valor de varianza limitado ($\tilde{V}$) para evitar la sobreconfianza en las etapas iniciales. Adopta una estrategia conservadora si la varianza supera 0.25.
3. UCB-Bayes: Utiliza la incertidumbre bayesiana (priors Normal-Inverse-Gamma) en lugar de estadísticas frecuentistas. Mantiene una distribución posterior sobre la media y la varianza de las recompensas, actualizando las creencias a medida que llegan los datos.
4. UCB-BwK (Bandidos con Alforjas/Costos): Cuenta explícitamente con el costo de accionar un brazo durante el proceso de selección. Optimiza la relación entre la recompensa media y el costo medio ($\mu/c$), en lugar de simplemente maximizar la recompensa.

3. Contribuciones Clave

1. Integración Novel: Primera aplicación de UCB-V, UCB-Tuned, UCB-Bayes y UCB-BwK dentro de las DNN de Salida Temprana para la selección dinámica de umbrales.
2. Estudio Comparativo Exhaustivo: Una evaluación sistemática de estos algoritmos frente al UCB1 estándar, analizando las compensaciones entre precisión, consumo de energía y latencia.
3. Insights Empíricos: Demostración de que el "mejor" algoritmo depende de las restricciones específicas (por ejemplo, los algoritmos conscientes de la varianza sobresalen en energía/latencia, mientras que los métodos bayesianos sobresalen en la velocidad de convergencia).
4. Prueba de Arrepentimiento Sublineal: Validación empírica de que todas las estrategias propuestas logran un arrepentimiento acumulativo sublineal, un requisito teórico para un rendimiento efectivo de MAB.

4. Configuración Experimental y Resultados

• Arquitecturas: ResNet18, ResNet34, ResNet50 y MobileViT (híbrido CNN-Transformer).
• Conjuntos de Datos: CIFAR-10, CIFAR-100 y CIFAR-10.1 (para probar el cambio de distribución).
• Métricas: Precisión (%), Energía (kWh mediante CodeCarbon), Tiempo de Inferencia (Latencia) y Arrepentimiento Acumulativo.

Hallazgos Clave:

• Dominancia de Pareto (Precisión vs. Energía/Latencia):
  • UCB-V y UCB-Tuned dominan consistentemente las fronteras de Pareto. Su capacidad para aprovechar la varianza de la recompensa les permite desperdiciar menos muestras en umbrales subóptimos, lo que conduce a una mejor eficiencia energética y de latencia.
  • UCB-BwK funciona bien en arquitecturas MobileViT donde la varianza de la recompensa es menos pronunciada, ya que optimiza explícitamente la relación recompensa-costo.
• Velocidad de Convergencia (Arrepentimiento):
  • UCB-Bayes converge el más rápido en cuanto al arrepentimiento acumulativo (alcanza umbrales óptimos en menos pasos).
  • Sin embargo, UCB-Bayes incurre en una mayor sobrecarga computacional debido a los cálculos posteriores, lo que lo hace menos atractivo para restricciones estrictas de latencia en comparación con UCB-V/Tuned.
• Impacto de la Arquitectura del Modelo:
  • Los modelos más grandes (ResNet34/50) se benefician significativamente más del umbral dinámico que los enfoques estáticos.
  • MobileViT muestra características de varianza diferentes, desplazando la preferencia del algoritmo óptimo hacia UCB-BwK en algunos casos.
• Comportamiento del Arrepentimiento: Todas las estrategias exhiben un arrepentimiento acumulativo sublineal, confirmando su validez teórica para el aprendizaje en línea en la inferencia. UCB1 y UCB-BwK mostraron generalmente un arrepentimiento promedio más alto y una convergencia más lenta que las variantes conscientes de la varianza y bayesianas.

5. Significado y Conclusión

Este artículo desafía el estado actual de usar solo UCB1 para la inferencia adaptativa en la IA del borde. Demuestra que las estrategias conscientes de la varianza (UCB-V, UCB-Tuned) y bayesianas (UCB-Bayes) ofrecen ventajas distintas:

• Para la Eficiencia del Borde: UCB-V y UCB-Tuned son superiores para minimizar la energía y la latencia manteniendo la precisión.
• Para la Adaptación Rápida: UCB-Bayes es ideal para escenarios que requieren una convergencia rápida a políticas óptimas, siempre que la sobrecarga computacional sea aceptable.

Trabajo Futuro: Los autores planean explorar variantes de bandidos lineales (por ejemplo, LinUCB) que utilizan redes neuronales para el contexto, aunque esto podría introducir mayores costos de inferencia.

Financiación: La investigación fue apoyada por las acciones de investigación e innovación del Horizonte Europa de la Unión Europea (Número de Subvención 101215032).