🤖 machine learning

Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices

Este artigo propõe uma abordagem de seleção de modelos baseada em ML para otimizar as configurações de Escalonamento Dinâmico de Tensão e Frequência (DVFS) para o ajuste fino energeticamente eficiente de Pequenos Modelos de Linguagem em GPUs embarcadas com recursos limitados, alcançando uma média de 13,11% de economia de energia em dispositivos NVIDIA Jetson AGX Orin em comparação ao modo MAXN padrão.

Autores originais: Jurn-Gyu Park, Sanzhar Zholdybayev, Aidar Amangeldi, Ademi Zhanuzakova

Publicado 2026-07-08

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jurn-Gyu Park, Sanzhar Zholdybayev, Aidar Amangeldi, Ademi Zhanuzakova

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um supercomputador potente e portátil no seu bolso (como um dispositivo NVIDIA Jetson) que você deseja usar para ensinar novos truques a um pequeno assistente de IA inteligente exatamente onde você está, sem enviar dados para a nuvem. Esse processo é chamado de "ajuste fino" (fine-tuning).

O problema é que ensinar essa IA é como correr uma maratona carregando uma mochila pesada. Isso consome muita bateria. Se você correr muito rápido, queimará combustível rapidamente. Se correr muito devagar, ficará exposto ao calor por muito tempo e ainda assim gastará muita energia apenas por estar lá.

Aqui está o que este artigo faz, explicado de forma simples:

O Problema: O Dilema do "Equilíbrio" (Goldilocks)

Os pesquisadores observaram como esses dispositivos se comportam ao treinar pequenos modelos de IA. Eles descobriram que a "velocidade" do dispositivo (frequência da GPU) age como o acelerador de um carro:

Muito Rápido (Alta Velocidade): O motor ruge e devora combustível (alto consumo de energia), mesmo que você termine o trabalho rapidamente.
Muito Devagar (Baixa Velocidade): O motor engasga e leva uma eternidade para terminar. Como leva muito tempo, o combustível total usado se acumula, embora o motor não esteja trabalhando intensamente em nenhum momento específico.

O artigo descobriu que a velocidade mais eficiente em termos de energia não é a configuração de velocidade máxima (que o dispositivo geralmente usa por padrão) nem a mais lenta. É um "ponto ideal" no meio do caminho. No entanto, esse ponto ideal muda dependendo do modelo de IA específico e do tipo de tarefa, de forma muito semelhante a como a velocidade de condução perfeita para um carro esportivo em uma pista é diferente de um caminhão de entregas em uma rodovia.

A Solução: Um Guarda de Trânsito Inteligente

Em vez de deixar o dispositivo em seu modo padrão de "velocidade máxima" (que desperdiça energia), os autores criaram um livro de regras simples e inteligente (um modelo de aprendizado de máquina) para atuar como um guarda de trânsito.

Este "guarda de trânsito" observa duas coisas principais antes de a IA começar seu trabalho:

Quão profundo é o cérebro da IA? (O número de camadas no modelo).
Qual o comprimento das frases que ela está lendo? (O comprimento médio da sequência).

Com base nessas duas pistas, o guarda de trânsito escolhe a velocidade perfeita para o dispositivo.

Analogia: Pense nisso como um termostato inteligente. Em vez de disparar o ar-condicionado com força total o dia todo, ele verifica o tamanho da sala e a temperatura externa para encontrar a configuração exata que mantém a sala fresca usando a menor quantidade de eletricidade.

Os Resultados: Economizando a Bateria

Os pesquisadores testaram isso em um dispositivo chamado NVIDIA Jetson AGX Orin. Eles compararam o método inteligente de escolha de velocidade deles contra o modo padrão de "desempenho máximo" do dispositivo.

O Resultado: Ao usar o método inteligente deles, eles economizaram, em média, 13% de energia.
O Melhor Caso: Em alguns cenários específicos, eles economizaram quase 27% de energia.

Isso significa que o dispositivo poderia funcionar por mais tempo com uma única carga de bateria, ou concluir a mesma tarefa usando significativamente menos energia, sem perder nenhuma precisão no aprendizado da IA.

A Ressalva

O artigo observa que este "guarda de trânsito inteligente" funciona melhor para modelos de IA maiores e mais complexos. Para modelos muito pequenos, a economia de energia foi um pouco imprevisível porque o comportamento deles é um pouco "instável". Os pesquisadores sugerem que, com mais dados e regras mais inteligentes no futuro, eles podem tornar este sistema ainda melhor para todos os tipos de modelos.

Em resumo: O artigo nos ensina que, para pequenos modelos de IA em dispositivos portáteis, "mais devagar nem sempre é melhor, e mais rápido nem sempre é o melhor". Encontrar a velocidade exata com base na tarefa específica pode economizar uma quantidade significativa de bateria.

Resumo Técnico: DVFS de GPU com Eficiência Energética para o Ajuste Fino de SLMs em Dispositivos Embarcados com Recursos Limitados

Declaração do Problema

A crescente demanda pela adaptação local de Modelos de Linguagem Pequenos (SLMs) em domínios sensíveis à privacidade e críticos em termos de latência (ex: saúde, finanças, sistemas autônomos) exige o ajuste fino (fine-tuning) local em vez do offloading para a nuvem. No entanto, o ajuste fino é significativamente mais intensivo em termos de energia e tempo do que a inferência de passagem única, devido à repetição da otimização forward-backward sobre muitos mini-batches.

As soluções existentes de Escalonamento Dinâmico de Tensão e Frequência (DVFS) para plataformas embarcadas, como o NVIDIA Jetson AGX Orin, dependem de modos de potência estáticos e de grão grosso (ex: 15W, 30W, 50W e MAXN). Esses modos não garantem a eficiência energética porque o consumo total de energia é uma função tanto da potência consumida quanto do tempo de execução. Os modos estáticos frequentemente operam longe do ponto de minimização de energia, levando ao consumo de energia evitável. Além disso, embora o DVFS para inferência de Grandes Modelos de Linguagem (LLMs) e treinamento em datacenters tenha sido estudado, há uma escassez de pesquisas caracterizando as cargas de trabalho de ajuste fino em plataformas embarcadas com recursos limitados para determinar as configurações de frequência ideais.

Metodologia

Os autores propõem uma metodologia de cinco fases para caracterizar o comportamento do ajuste fino e desenvolver uma política de seleção de frequência de GPU energeticamente eficiente:

Configuração Experimental e Coleta de Dados:
- Plataforma: NVIDIA Jetson AGX Orin (64GB) com uma GPU de arquitetura Ampere e uma CPU ARM Cortex-A78AE de 12 núcleos.
- Cargas de Trabalho: Variantes de BERT (Small a xLarge) apenas-encoder e variantes de Pythia (31M a 1B parâmetros) apenas-decoder.
- Benchmarks: Tarefas GLUE (SST-2, QNLI, MRPC para caracterização; QQP, RTE, CoLA, STS-B, MNLI, WNLI para avaliação).
- Procedimento: As frequências da GPU foram varridas através de 11 níveis discretos (306 MHz a 1300 MHz) enquanto o governador da CPU permanecia no padrão. Dados sobre tempo de treinamento, consumo de energia (CPU + GPU) e utilização foram coletados.
Caracterização da Carga de Trabalho:
- Latência: O tempo de execução diminui quase exponencialmente conforme a frequência da GPU aumenta.
- Potência: O consumo total de potência é proporcional à frequência ( $P \propto f$ ), com frequências mais altas frequentemente excedendo o consumo de potência do modo MAXN padrão.
- Energia: A relação entre frequência e energia total exibe uma curva em forma de U distinta. Frequências baixas aumentam a energia devido ao tempo de execução prolongado, enquanto frequências altas aumentam a energia devido à elevada potência. O "ponto ideal" (sweet spot) para eficiência energética foi encontrado na faixa de 510–816 MHz, significativamente abaixo do máximo de 1300 MHz.
Seleção de Modelo de ML:
- O problema de selecionar a frequência de GPU ideal é formulado como uma tarefa de classificação multiclasse.
- Características (Features): Tipo de modelo, utilização da GPU, número de camadas, tamanho oculto (hidden size) e comprimento médio da sequência.
- Alvo (Target): Nível de frequência de GPU ideal (codificado como rótulos 1–6, correspondentes a 510–1122 MHz).
- Algoritmo: Um classificador de Árvore de Decisão (DT) foi selecionado por sua interpretabilidade. Os hiperparâmetros foram otimizados usando Validação Cruzada Leave-One-Out (LOOCV) devido ao tamanho limitado do conjunto de dados (27 configurações de modelo-tarefa).
Design da Política do Governador:
- Uma política baseada em DT interpretável (MLG) foi derivada para mapear características estruturais (profundidade do Transformer e comprimento da sequência) para configurações de frequência específicas.
- Lógica:
  - Para modelos rasos (Camadas $\le$ 7): Sequências curtas ( $\le$ 32.5) mapeiam para 510 MHz; sequências longas mapeiam para 612 MHz.
  - Para modelos profundos (Camadas > 7): Sequências curtas ( $\le$ 53.0) mapeiam para 714 MHz; sequências longas mapeiam para 816 MHz.
  - Uma condição secundária ajusta a frequência com base na utilização da GPU ( $\le$ 22.0 $\rightarrow$ 1020 MHz).
Avaliação:
- A política proposta (MLG) e uma política de frequência fixa (FFG) foram testadas contra o Modo MAXN (Modo 0) não restringido em cargas de trabalho não vistas.

Principais Contribuições

Caracterização Abrangente: O estudo fornece a primeira caracterização detalhada de como o escalonamento de frequência da GPU afeta a latência, a potência e a energia total para o ajuste fino de SLMs (apenas-encoder e apenas-decoder) em plataformas embarcadas.
Identificação de Pontos Ideais de Energia: Os autores demonstram que o ponto de energia mínima depende da carga de trabalho e segue um padrão em forma de U, ocorrendo frequentemente em frequências significativamente menores do que a capacidade máxima da plataforma.
Política de ML Leve: O artigo propõe um governador baseado em Árvore de Decisão interpretável que seleciona configurações de DVFS de GPU energeticamente otimizadas sem a necessidade de perfilamento (profiling) complexo em tempo de execução.
Validação Empírica: A abordagem é validada na NVIDIA Jetson AGX Orin através de múltiplas arquiteturas de SLM e benchmarks GLUE.

Resultados Experimentais

A avaliação comparou as políticas propostas contra o Modo MAXN (Modo 0) em seis cargas de trabalho de teste não vistas:

Economia de Energia Geral: O governador baseado em ML (MLG) alcançou uma economia média de energia de 13,11% em todos os modelos e tarefas, com uma economia máxima de 26,73% (observada no BERT-base para a tarefa MNLI).
Impacto do Tamanho do Modelo:
- Modelos Grandes (>70M de parâmetros): Mostraram melhorias estáveis e significativas, com economias médias superiores a 22%. Estes modelos exibiram curvas de energia em forma de U mais claras, tornando a seleção de frequência ideal mais previsível.
- Modelos Pequenos ( $\le$ 70M de parâmetros): Mostraram resultados mais variáveis. Embora a melhoria média tenha sido positiva, algumas combinações específicas de tarefa-modelo resultaram em economias negativas (aumento de energia) devido a padrões flutuantes em forma de U ou picos na curva de energia-frequência.
Comparação de Políticas: O MLG superou o Governador de Frequência Fixa (FFG) em uma adição de 0,9% em média. O MLG foi particularmente eficaz ao lidar com cargas de trabalho de sequências longas (ex: tarefa RTE), enquanto o FFG teve dificuldades com a variabilidade dos modelos menores.

Significância e Alegações

O artigo afirma que os modos de potência estáticos em dispositivos embarcados são subótimos para o ajuste fino de SLM, resultando frequentemente em até 25% de consumo de energia evitável. Ao introduzir um governador de seleção de frequência baseado em ML e consciente da carga de trabalho, os autores demonstram que economias de energia significativas podem ser alcançadas sem degradar a precisão do modelo (visto que a precisão de validação permaneceu idêntica entre as configurações).

Os autores reconhecem limitações, observando que o modelo de ML atual possui uma precisão de validação moderada (0,62) e que os resultados para modelos muito pequenos podem ser instáveis. Eles identificam como trabalho futuro a expansão do conjunto de dados com SLMs e benchmarks mais diversos, além do emprego de modelos de ML mais sofisticados para melhorar ainda mais a estabilidade e as economias de energia do governador.