Resumen Técnico: Hacia el aprovechamiento de AutoML para el Aprendizaje Profundo Sostenible

Declaración del Problema

Los modelos de Aprendizaje Profundo (DL), aunque efectivos para extraer patrones complejos, imponen costos computacionales y ambientales significativos, particularmente en lo que respecta al consumo de energía y las emisiones de carbono. Este desafío es agudo en entornos con recursos limitados como dispositivos IoT y de borde (edge). Las Redes Neuronales de Desplazamiento Profundo (DSNN) ofrecen una solución potencial al reemplazar las costosas operaciones de multiplicación de punto flotante por operaciones de desplazamiento de bits y cambio de signo, reduciendo así la complejidad computacional y la latencia. Sin embargo, la configuración de las DSNN —específicamente la precisión de las operaciones de desplazamiento y la profundidad de las capas de desplazamiento— impacta significativamente tanto en el rendimiento como en la eficiencia. El ajuste manual de estos hiperparámetros es ineficiente, y existe una falta de enfoques sistemáticos para optimizar las DSNN con los objetivos duales de alta precisión y mínimo consumo de energía.

Metodología

Los autores proponen un marco de Green AutoML que integra la optimización de Multi-Fidelidad (MF) y Multi-Objetivo (MO) para automatizar la configuración de las DSNN. El enfoque utiliza el marco SMAC3 para la optimización de hiperparámetros (HPO).

Componentes Principales:

1. Optimización de Multi-Fidelidad (MF):

   • Para abordar el alto costo computacional de entrenar configuraciones completas de DSNN, los autores emplean una estrategia de multi-fidelidad.
   • Definición de Fidelidad: El nivel de fidelidad se define por el número de capas de desplazamiento en el modelo. El entrenamiento comienza con modelos que tienen menos capas de desplazamiento (baja fidelidad, menor costo computacional, mayor incertidumbre intrínseca) y aumenta progresivamente el número de capas.
   • Algoritmo: Se utiliza el algoritmo HyperBand para implementar la MF. Este ejecuta un "Successive Halving" (reducción sucesiva) a través de múltiples brackets, asignando un presupuesto inicial pequeño ($b_I$) a muchas configuraciones ($n_c$) e iterando el entrenamiento de las mejores configuraciones con presupuestos más grandes. Esto permite que la búsqueda descarte configuraciones deficientes tempranamente mientras enfoca los recursos en las más prometedoras.

2. Optimización de Multi-Objetivo (MO):

   • La optimización apunta a dos objetivos contrapuestos simultáneamente:
     • Precisión: Minimizar la función de pérdida ($f_{loss}$) para maximizar el rendimiento predictivo.
     • Sostenibilidad: Minimizar el consumo de energía y las emisiones de carbono ($f_{emission}$) durante el entrenamiento y la inferencia.
   • Algoritmo: Se utiliza el algoritmo ParEGO para manejar la naturaleza multi-objetivo. Este transforma el problema MO en una serie de problemas de un solo objetivo mediante la introducción de parámetros de peso variables para los objetivos en cada iteración. Esto permite al marco aproximar el frente de Pareto, identificando configuraciones que ofrecen los mejores compromisos entre precisión y emisiones.

3. Medición:

   • CodeCarbon se integra en el flujo de trabajo para rastrear el consumo de energía en tiempo real y calcular las emisiones de carbono (en gCO2eq) basándose en las mezclas energéticas regionales.

Configuración Experimental

• Conjunto de Datos: CIFAR-10.
• Arquitectura Base: ResNet20 pre-entrenada adaptada como una DSNN.
• Hardware: GPUs NVIDIA A100.
• Espacio de Búsqueda: Incluye hiperparámetros como tamaño de lote (batch size), optimizador, tasa de aprendizaje, momentum, épocas, bits de peso, bits enteros/fraccionarios de activación, profundidad de desplazamiento, tipo de desplazamiento (Cuantización vs. Potencias de dos/Signo), método de redondeo y decaimiento de peso (weight decay).
• Líneas de Base (Baselines): Comparación contra una DSNN con configuraciones por defecto (según lo definido por Elhoushi et al., 2021) y modelos no optimizados.

Resultados Clave

El estudio evaluó 33 configuraciones utilizando el enfoque MFMO. Los hallazgos clave incluyen:

• Mejora del Rendimiento: El algoritmo MF identificó con éxito una configuración óptima que superó a la configuración por defecto de la DSNN por al menos un 3% en la precisión Top-1 de prueba.
• Soluciones Óptimas de Pareto: Se identificaron dos soluciones distintas de Pareto-óptimas:
  • Solución 1: 83.50% de precisión con 0.1661 gCO2eq de emisiones. Esta configuración utilizó menos capas de desplazamiento (5) y menos bits de representación.
  • Solución 2: 84.67% de precisión con 0.1673 gCO2eq de emisiones. Esta configuración utilizó significativamente más capas de desplazamiento (16) pero menos bits de representación para pesos/activaciones.
• Perspectivas de Compromiso (Trade-off): Los resultados sugieren un compromiso entre el número de capas de desplazamiento y el número de bits de representación. La Solución 1 logró emisiones similares a la Solución 2 a pesar de tener menos capas, probablemente porque la reducción en el ancho de bits compensó la demanda computacional. Por el contrario, la Solución 2 logró una mayor precisión al aumentar la profundidad de desplazamiento, pero requirió más bits de representación.
• Validación de MF: El experimento confirmó que evaluar modelos bajo baja incertidancia intrínseca del modelo (menos capas de desplazamiento) guía eficazmente la búsqueda hacia redes de alto rendimiento cuando se instancian con el total de capas de desplazamiento.

Contribuciones y Significado

El artículo reclama las siguientes contribuciones al campo de la IA sostenible:

1. Espacio de Configuración Específico para DSNN: La definición de un espacio de búsqueda de hiperparámetros adaptado específicamente para las Redes Neuronales de Desplazamiento Profundo.
2. Marco de Green AutoML: Un enfoque novedoso que combina la optimización de Multi-Fidelidad y Multi-Objetivo dentro de SMAC3 para construir modelos impulsados por la eficiencia.
3. Perspectivas de Diseño: Evidencia empírica sobre los compromisos entre la profundidad de desplazamiento, los bits de representación, la precisión y el consumo de energía, ofreciendo orientación para el diseño futuro de las DSNN.
4. Integración Metodológica: Una demostración de cómo se pueden combinar ParEGO y HyperBand para optimizar tanto el rendimiento como el impacto ambiental.

Los autores concluyen que su método acelera el desarrollo de modelos eficientes y permite aplicaciones de IA sostenibles. Reconocen que se necesita trabajo futuro para extender este enfoque a benchmarks y arquitecturas más amplias, y para refinar la integración de ParEGO y HyperBand para reducir aún más la carga computacional de generar frentes de Pareto.