Resumen Técnico: DVFS de GPU con Eficiencia Energética para el Ajuste Fino de SLM en Dispositivos Embebidos con Recursos Limitados

Planteamiento del Problema

La creciente demanda de adaptación de modelos de lenguaje pequeños (SLM) en el dispositivo para dominios sensibles a la privacidad y críticos en latencia (por ejemplo, salud, finanzas, sistemas autónomos) requiere un ajuste fino (fine-tuning) local en lugar de la descarga a la nube. Sin embargo, el ajuste fino es significativamente más intensivo en energía y tiempo que la inferencia de una sola pasada debido a la optimización repetida de propagación hacia adelante y hacia atrás (forward-backward) sobre muchos mini-batches.

Las soluciones existentes de Escalamiento Dinámico de Voltaje y Frecuencia (DVFS) para plataformas embebidas, como el NVIDIA Jetson AGX Orin, dependen de modos de potencia estáticos y de grano grueso (por ejemplo, 15W, 30W, 50W y MAXN). Estos modos no garantizan la eficiencia energética porque el consumo total de energía es una función tanto del consumo de potencia como del tiempo de ejecución. Los modos estáticos a menudo operan alejados del punto de minimización de energía, lo que conduce a un consumo de energía evitable. Además, aunque se ha estudiado el DVFS para la inferencia de modelos de lenguaje grandes (LLM) y el entrenamiento en centros de datos, existe una escasez de investigación que caracterice las cargas de trabajo de ajuste fino en plataformas embebidas con recursos limitados para determinar la configuración de frecuencia óptima.

Metodología

Los autores proponen una metodología de cinco fases para caracterizar el comportamiento del ajuste fino y desarrollar una política de selección de frecuencia de GPU con eficiencia energética:

1. Configuración Experimental y Recolección de Datos:

   • Plataforma: NVIDIA Jetson AGX Orin (64GB) con una GPU de arquitectura Ampere y una CPU ARM Cortex-A78AE de 12 núcleos.
   • Cargas de Trabajo: Variantes de BERT (de Small a xLarge) solo codificador (encoder-only) y variantes de Pythia (31M a 1B de parámetros) solo decodificador (decoder-only).
   • Benchmarks: Tareas GLUE (SST-2, QNLI, MRPC para caracterización; QQP, RTE, CoLA, STS-B, MNLI, WNLI para evaluación).
   • Procedimiento: Se realizaron barridos de frecuencias de GPU a través de 11 niveles discretos (306 MHz a 1300 MHz) mientras el gobernador de la CPU permanecía en el valor predeterminado. Se recolectaron datos sobre tiempo de entrenamiento, consumo de potencia (CPU + GPU) y utilización.

2. Caracterización de la Carga de Trabajo:

   • Latencia: El tiempo de ejecución disminuye de forma casi exponencial a medida que aumenta la frecuencia de la GPU.
   • Potencia: El consumo total de potencia es proporcional a la frecuencia ($P \propto f$), con frecuencias más altas que a menudo exceden el consumo de potencia del modo MAXN predeterminado.
   • Energía: La relación entre la frecuencia y la energía total exhibe una curva en forma de U distintiva. Las frecuencias bajas aumentan la energía debido al tiempo de ejecución prolongado, mientras que las frecuencias altas aumentan la energía debido al elevado consumo de potencia. El "punto ideal" (sweet spot) para la eficiencia energética se encontró en el rango de 510–816 MHz, significativamente inferior al máximo de 1300 MHz.

3. Selección de Modelo de ML:

   • El problema de seleccionar la frecuencia de GPU óptima se formula como una tarea de clasificación multiclase.
   • Características (Features): Tipo de modelo, utilización de la GPU, número de capas, tamaño oculto (hidden size) y longitud de secuencia promedio.
   • Objetivo (Target): Nivel de frecuencia de GPU óptimo (codificado como etiquetas 1–6, correspondientes a 510–1122 MHz).
   • Algoritmo: Se seleccionó un clasificador de Árbol de Decisión (DT) por su interpretabilidad. Los hiperparámetros se optimizaron utilizando Validación Cruzada de Dejar Uno Fuera (LOOCV) debido al tamaño limitado del conjunto de datos (27 configuraciones de modelo-tarea).

4. Diseño de la Política del Gobernador:

   • Se derivó una política basada en DT interpretable (MLG) para mapear características estructurales (profundidad del Transformer y longitud de secuencia) a configuraciones de frecuencia específicas.
   • Lógica:
     • Para modelos poco profundos (Capas $\le$ 7): Secuencias cortas ($\le$ 32.5) mapean a 510 MHz; secuencias más largas mapean a 612 MHz.
     • Para modelos profundos (Capas > 7): Secuencias cortas ($\le$ 53.0) mapean a 714 MHz; secuencias más largas mapean a 816 MHz.
     • Una condición secundaria ajusta la frecuencia basándose en la utilización de la GPU ($\le$ 22.0 $\rightarrow$ 1020 MHz).

5. Evaluación:

   • El gobernador basado en ML propuesto (MLG) y una política de frecuencia fija (FFG) se probaron contra el Modo MAXN (Modo 0) sin restricciones en cargas de trabajo no vistas.

Contribuciones Clave

• Caracterización Exhaustiva: El estudio proporciona la primera caracterización detallada de cómo el escalamiento de la frecuencia de la GPU afecta la latencia, la potencia y la energía total para el ajuste fino de SLM (tanto de solo codificador como de solo decodificador) en plataformas embebidas.
• Identificación de Puntos Ideales de Energía: Los autores demuestran que el punto de mínima energía depende de la carga de trabajo y sigue un patrón en forma de U, ocurriendo a menudo en frecuencias significativamente menores que la capacidad máxima de la plataforma.
• Política Basada en ML Ligera: El artículo propone un gobernador basado en Árboles de Decisión interpretable que selecciona configuraciones de DVFS de GPU óptimas para la energía sin requerir perfiles complejos en tiempo de ejecución.
• Validación Empírica: El enfoque es validado en el NVIDIA Jetson AGX Orin a través de múltiples arquitecturas de SLM y benchmarks de GLUE.

Resultados Experimentales

La evaluación comparó las políticas propuestas contra el Modo MAXN (Modo 0) estándar en seis cargas de trabajo de prueba no vistas:

• Ahorro de Energía General: El gobernador basado en ML (MLG) logró un ahorro de energía promedio del 13.11% en todos los modelos y tareas, con un ahorro máximo de 26.73% (observado en BERT-base para la tarea MNLI).
• Impacto del Tamaño del Modelo:
  • Modelos Grandes (>70M de parámetros): Mostraron mejoras estables y significativas, con ahorros promedio superiores al 22%. Estos modelos exhibieron curvas de energía en forma de U más claras, haciendo que la selección de la frecuencia óptima fuera más predecible.
  • Modelos Pequeños ($\le$70M de parámetros): Mostraron resultados más variables. Aunque la mejora promedio fue positiva, algunas combinaciones específicas de tarea-modelo resultaron en ahorros negativos (mayor consumo de energía) debido a patrones fluctuantes en forma de U o picos en la curva de energía-frecuencia.
• Comparación de Políticas: La política MLG superó al Gobernador de Frecuencia Fija (FFG) por un 0.9% adicional en promedio. El MLG fue particularmente efectivo al manejar cargas de trabajo de secuencias largas (por ejemplo, la tarea RTE), mientras que el FFG tuvo dificultades con la variabilidad de los modelos más pequeños.

Significado y Reivindicaciones

El artículo afirma que los modos de potencia estáticos en dispositivos embebidos son subóptimos para el ajuste fino de SLM, resultando a menudo en hasta un 25% de consumo de energía evitable. Al introducir una política de selección de frecuencia basada en ML y consciente de la carga de trabajo, los autores demuestran que se pueden lograr ahorros de energía significativos sin degradar la precisión del modelo (ya que la precisión de validación se mantuvo idéntica en todas las configuraciones).

Los autores reconocen las limitaciones, señalando que el modelo de ML actual tiene una precisión moderada (0.62 de precisión de validación) y que los resultados para modelos muy pequeños pueden ser inestables. Identifican como trabajo futuro la expansión de su conjunto de datos con SLM y benchmarks más diversos, así como el empleo de modelos de ML más sofisticados para mejorar aún más la estabilidad y los ahorros de energía de la política del gobernador.