Resumo Técnico: Métodos de PEFT Eficientes em Energia e Memória para SLMs Personalizados em Dispositivos de Consumo em GPUs de Consumo

Declaração do Problema

Apesar do rápido avanço dos Grandes Modelos de Linguagem (LLMs), a implantação e personalização deles em dispositivos de consumo com recursos limitados (ex: GPUs de consumo únicas, dispositivos móveis, sistemas embarcados) permanece impraticável. A tendência de que "quanto maior, melhor" levou a modelos que exigem centenas de gigabytes de VRAM, criando barreiras para a implantação em dispositivos quanto à latência, privacidade e custos operacionais. Além disso, o processo de ajuste fino (fine-tuning) desses grandes modelos exacerba os problemas de consumo de VRAM, tempo de treinamento e uso de energia. Embora os Pequenos Modelos de Linguagem (SLMs) (1–2 bilhões de parâmetros) e o Ajuste Fino de Parâmetros Eficientes (PEFT) ofereçam soluções teóricas, há uma falta de dados empíricos abrangentes comparando essas estratégias entre diferentes arquiteturas (Transformers vs. Modelos de Espaço de Estado) e tarefas (compreensão geral vs. personalização) ao mesmo tempo em que se contabiliza a eficiência energética. Estudos existentes frequentemente focam em uma única família de arquitetura, negligenciam benchmarks de personalização ou falham em relatar o consumo de energia, deixando os desenvolvedores sem um framework padronizado para determinar a combinação ideal de modelo-arquitetura e estratégia de ajuste fino para IA em dispositivos.

Metodologia

Os autores desenvolveram um framework experimental unificado para avaliar os trade-offs entre desempenho, eficiência e sustentabilidade.

• Modelos: Quatro SLMs de duas famílias arquiteturais foram avaliados:
  • Baseados em Transformer: TinyLlama-1.1B e Qwen3-1.7B.
  • Baseados em Modelo de Espaço de Estado (SSM): Mamba-1.4B e Mamba2-1.3B.
• Métodos de Ajuste Fino (Fine-Tuning): Cinco abordagens foram testadas:
  • Full Fine-Tuning (Full-FT).
  • Métodos PEFT: LoRA, LoRA+ (uma versão aprimorada com taxas de aprendizado diferenciadas), QLoRA (LoRA quantizado em 4 bits) e BitFit (atualizações apenas de bias).
  • Nota: O QLoRA não foi suportado para modelos SSM devido a limitações de biblioteca em relação aos mecanismos de varredura seletiva (selective scan).
• Benchmarks: Seis tarefas foram usadas para avaliar a compreensão de linguagem geral e a personalização do usuário:
  • GLUE (Compreensão Geral): SST-2 (sentimento), QNLI (inferência), STS-B (similaridade).
  • LaMP (Personalização): LaMP-1 (citação), LaMP-2 (etiquetagem de filmes), LaMP-3 (avaliação de produtos).
• Hardware: Todos os experimentos foram conduzidos em uma única NVIDIA RTX 4090 (24 GB de VRAM) para garantir consistência.
• Métricas: Além da precisão padrão da tarefa, o estudo mediu o tempo de treinamento, o uso de pico de VRAM, o consumo médio de energia e o consumo total de energia (Wh).
• Métrica de Avaliação (NetScore): Os autores utilizaram a métrica NetScore e suas variantes para criar uma pontuação composta que equilibra o desempenho contra a eficiência:
  • NetScore (NS): Penaliza o tamanho do modelo (parâmetros e FLOPs).
  • NetScore-E (NS-E): Penaliza energia e tempo (selecionada como a regra primária para seleção de método).
  • NetScore-M (NS-M): Penaliza o pico de memória (VRAM).
  • NetScore# (NS#): Combina todos os termos de eficiência.
  • Regra de Seleção: O método ideal para cada configuração foi determinado por uma regra estrita de "energia primeiro": o método com o maior NS-E foi selecionado, com empates resolvidos pelo maior NS#.

Principais Contribuições

1. Comparação Empírica Abrangente: O estudo fornece uma comparação unificada de métodos PEFT através de ambas as arquiteturas (Transformer e SSM) em ambos os benchmarks de generalização e personalização, uma lacuna não abordada na literatura anterior.
2. Avaliação Consciente de Energia: Introduz um framework de avaliação rigoroso que incorpora o consumo de energia e o tempo de treinamento junto com a precisão e memória, utilizando a família de métricas NetScore.
3. Insights Específicos de Arquitetura: O artigo analisa os comportamentos distintos dos SSMs versus Transformers sob PEFT, particularmente a eficácia do LoRA+ e as limitações das atuais stacks de software para SSM.
4. Reprodutibilidade: Todos os scripts de treinamento e avaliação foram liberados publicamente para garantir a reprodutibilidade dos resultados.

Resultados

Seleção do Método PEFT Ideal

• Dominância do LoRA+: O LoRA+ foi o método selecionado em 18 de 24 configurações de modelo-tarefa. Ele alcançou o maior NS-E em 19 de 24 casos e o maior NS-M em 13 de 24. O LoRA+ oferece ganhos de precisão sobre o LoRA padrão com essencialmente nenhum custo adicional (mesmo número de parâmetros e FLOPs) ao utilizar taxas de aprendizado diferenciadas para as matrizes do adaptador, levando a uma convergência mais rápida e melhor estabilidade, particularmente para SSMs.
• QLoRA para Restrições de Memória: O QLoRA foi selecionado em apenas 1 de 24 configurações (TinyLlama no LaMP-2) sob a regra de energia primeiro. No entanto, ele consistentemente alcançou o maior NS-M (eficiência de memória), reduzindo o pico de VRAM em até 3,9× em comparação ao LoRA em modelos Transformer. É a escolha preferida apenas quando a VRAM, em vez da energia, é a restrição limitante.
• Full Fine-Tuning e BitFit: O Full Fine-Tuning foi selecionado apenas uma vez (Qwen3 no LaMP-2) e geralmente não foi eficiente em termos de custo. O BitFit falhou em gerar resultados competitivos para a maioria das tarefas, particularmente em regressão (STS-B) e tarefas complexas de personalização, resultando frequentemente em NetScores negativos.

Desempenho e Eficiência do Modelo

• TinyLlama-1.1B: Este modelo forneceu a melhor combinação modelo-método geral sob o NetScore base para todos os seis benchmarks. Seu menor número de parâmetros (1.1B) e uma stack de treinamento Transformer madura resultaram em menor consumo de energia e tempos de treinamento mais rápidos em comparação com modelos maiores.
• Desempenho de SSM: Embora os modelos Mamba tenham mostrado melhoria significativa com o LoRA+ (especialmente em tarefas de personalização), eles geralmente ficaram atrás dos Transformers em valores de NetScore devido aos tempos de treinamento mais longos. Isso é atribuído à imaturidade do ecossistema de software de SSM e a kernels menos otimizados para varredura sequencial, apesar de sua complexidade de tempo linear teórica. O Mamba2-1.3B superou o Mamba-1.4B na maioria das métricas, refletindo melhorias arquiteturais.
• Diferenças de Tarefas:
  • Tarefas GLUE: Geralmente mostraram valores de NetScore mais altos devido a comprimentos de sequência mais curtos (128 tokens) e objetivos de classificação.
  • Tarefas LaMP: Estas tarefas generativas (512 tokens) foram significativamente mais intensivas em energia. A "vantagem do LoRA+" foi mais pronunciada aqui, particularmente para SSMs, onde os ganhos de precisão foram substanciais.

Análise de Inferência

Os requisitos de memória de inferência foram significativamente menores do que a memória de treinamento (redução de 23–84%). No entanto, os SSMs não demonstraram a vantagem esperada de tempo linear durante a geração autorregressiva nessas tarefas; por exemplo, o Mamba-1.4B foi mais lento que o TinyLlama no LaMP-2 durante a inferência. O QLoRA incorreu em latência de inferência adicional devido ao overhead de desquantização, apesar de seus benefícios de memória.

Significância e Alegações

O artigo conclui que SLMs compactos combinados com PEFT fornecem um caminho prático e consciente de energia para a implantação personalizada em dispositivos. O estudo desafia a noção de que modelos maiores são necessários para alto desempenho, demonstrando que modelos de 1–2 bilhões de parâmetros podem igualar ou superar os resultados de full fine-tuning por uma fração do custo de recursos.

Os autores afirmam que a estratégia ideal é ditada pela restrição dominante:

• Para Eficiência Energética: O LoRA+ é o método superior, equilibrando precisão com baixo consumo de energia de treinamento.
• Para Restrições de Memória: O QLoRA é o método preferido para modelos Transformer quando a VRAM é o fator limitante.
• Para Eficiência de Parâmetros: O BitFit oferece o maior NetScore base, mas é limitado por quedas de precisão em tarefas complexas.

As descobertas sugerem que a tendência de modelos "cada vez maiores" não é o único caminho a seguir; em vez disso, uma combinação de arquiteturas compactas (especificamente o TinyLlama-1.1B neste estudo) e ajuste fino eficiente (LoRA+) oferece uma solução sustentável para a IA em dispositivos. O artigo reconhece limitações, incluindo a avaliação em uma única GPU, a indisponibilidade de QLoRA para SSMs e a atual falta de penalização direta de VRAM no NetScore base, sugerindo que trabalhos futuros devem abordar essas restrições e expandir para hardware de borda (edge).