Resumo Técnico do PEFT-Bench: Um Benchmark de Métodos de Ajuste Fino Eficientes em Parâmetros

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado desempenho de última geração em diversas tarefas de Compreensão de Linguagem Natural (NLU) e Geração de Linguagem Natural (NLG), sua escala massiva introduz custos computacionais e ambientais proibitivos. O ajuste fino padrão exige recursos substanciais e armazenamento para pesos específicos de tarefas, limitando a acessibilidade para muitos pesquisadores e profissionais. Métodos de Ajuste Fino Eficiente em Parâmetros (PEFT) surgiram para abordar isso, reduzindo os parâmetros treináveis enquanto mantêm o desempenho em tarefas downstream.

No entanto, o cenário atual de avaliação para métodos PEFT sofre de três limitações críticas:

1. Problemas de Reprodutibilidade: Muitos estudos existentes carecem de implementações de código aberto totalmente funcionais ou detalhes experimentais essenciais, impedindo a verificação independente.
2. Escopo Limitado: As avaliações frequentemente focam em modelos não autoregressivos (por exemplo, T5, RoBERTa) ou restringem a análise a tarefas de NLU (GLUE/SuperGLUE), falhando em refletir a era atual de LLMs autoregressivos e tarefas diversas como geração de código ou raciocínio matemático.
3. Métricas Incompletas: As comparações frequentemente dependem exclusivamente de precisão ou contagem de parâmetros, negligenciando fatores críticos de eficiência, como velocidade de inferência e uso de memória durante o treinamento, que são vitais para a implantação no mundo real.

Metodologia

Para preencher essas lacunas, os autores introduzem o PEFT-Bench, um benchmark unificado e ponta a ponta projetado para avaliar diversos métodos PEFT em LLMs autoregressivos. A metodologia é apoiada pelo PEFT-Factory, um framework construído sobre a base do LLaMA-Factory para garantir modularidade e replicabilidade.

1. Conjuntos de Dados e Tarefas

O PEFT-Bench avalia o desempenho em 27 conjuntos de dados representando 12 tarefas únicas, categorizadas em três grupos para garantir diversidade de domínio:

• NLU e Raciocínio: Inclui 8 conjuntos de dados do GLUE e 7 do SuperGLUE, além de 6 conjuntos de dados adicionais (por exemplo, MMLU, HellaSwag, WinoGrande).
• Matemática: Inclui MathQA, GSM8K e SVAMP.
• Geração de Código: Inclui Conala, CodeAlpacaPy e APPS.
• Nota: Para tarefas de classificação, rótulos numéricos são convertidos em rótulos textuais para acomodar a geração autoregressiva.

2. Modelos e Métodos PEFT

O benchmark utiliza o LLaMa-3-8B-Instruct como modelo base. Ele avalia 7 métodos PEFT representativos cobrindo três categorias principais:

• Aditivos: IA3, Prompt Tuning, P-Tuning, Prefix Tuning.
• Reparametrizados: LoRA.
• Seletivos: LNTuning, BitFit.

3. Métricas de Avaliação

Além das métricas específicas de tarefas padrão (F1, Precisão, CodeBLEU), os autores propõem a métrica PEFT Soft Cost Penalties (PSCP). Esta métrica agrega desempenho com custos de eficiência usando uma fórmula inspirada na função de produção Cobb-Douglas:
$$PSCP = P_t \times \left(1 + \frac{M_p}{C_p}\right)^{-\beta_p} \times \left(1 + \frac{M_f}{C_f}\right)^{-\beta_f} \times \left(1 + \frac{M_m}{C_m}\right)^{-\beta_m}$$
Onde:

• $P_t$ é o desempenho médio da tarefa.
• $M_p, M_f, M_m$ representam o número de parâmetros treináveis, FLOPs de inferência e uso de memória durante o treinamento, respectivamente.
• Os valores $C$ são constantes de referência (por exemplo, parâmetros de treinamento do modelo completo, FLOPs do modelo base dobrados, 94GB de memória).
• Os valores $\beta$ permitem que os usuários ponderem a importância de custos específicos.

4. Configuração Experimental

Os experimentos foram conduzidos utilizando 10% dos dados de treinamento para validação, com execuções de treinamento ao longo de 10 épocas usando otimização AdamW. A estabilidade foi avaliada por meio de 5 sementes aleatórias, e a eficiência foi medida em 27 conjuntos de dados para cada método.

Principais Resultados

Desempenho vs. Eficiência

• LoRA geralmente alcançou as pontuações de desempenho bruto mais altas em muitas tarefas.
• BitFit e LNTuning, apesar de treinarem significativamente menos parâmetros e consumirem menos memória de GPU, alcançaram desempenho equivalente ou superior ao LoRA em conjuntos de dados específicos (por exemplo, MNLI, SST-2, RTE, MMLU).
• A métrica PSCP revelou que, quando os custos de eficiência são considerados, BitFit e LNTuning frequentemente superam o LoRA, demonstrando que menor consumo de recursos pode compensar diferenças marginais de desempenho.

Observações Específicas por Tarefa

• NLU e Raciocínio: Os métodos PEFT geralmente melhoraram o desempenho em relação ao modelo base.
• Matemática e Geração de Código: Surgiu um padrão notável onde os métodos PEFT melhoraram o desempenho em problemas de palavras matemáticas (GSM8K, SVAMP), mas degradaram o desempenho em geração de código complexa e tarefas pesadas em raciocínio (Conala, CodeAlpacaPy, APPS). Os autores sugerem que o ajuste fino supervisionado com parâmetros limitados pode ser insuficiente para aprimorar capacidades de raciocínio nesses domínios em comparação com ajuste fino por instrução ou aprendizado por reforço.

Estabilidade e Dinâmica de Treinamento

• Métodos Baseados em Prompt Suave (Prompt Tuning, Prefix Tuning, P-Tuning) exibiram geralmente desempenho mais baixo e maior instabilidade. O P-Tuning, em particular, mostrou alta variância e frequentemente colapsou para prever uma única classe.
• IA3 demonstrou o menor desvio padrão (maior estabilidade) em conjuntos de dados de baixos recursos.
• Picos de Memória: O Prompt Tuning exibiu picos significativos de memória durante os primeiros 1.000 passos de treinamento, provavelmente devido à adição direta de prompts suaves à entrada.

Significado e Alegações

O artigo posiciona o PEFT-Bench como o primeiro benchmark unificado e abrangente especificamente projetado para avaliar métodos PEFT em LLMs autoregressivos em tarefas de NLU e NLG. Seu significado reside em:

1. Padronização: Fornecer um framework totalmente de código aberto e reprodutível (PEFT-Factory) que elimina a natureza de "caixa preta" das avaliações PEFT anteriores.
2. Avaliação Holística: Introduzir a métrica PSCP para ir além de comparações baseadas apenas em precisão, reconhecendo que, em cenários do mundo real, a eficiência (parâmetros, memória, velocidade) é tão crítica quanto o desempenho da tarefa.
3. Insights Empíricos: Oferecer evidências concretas de que, embora o LoRA seja um bom desempenho, métodos mais eficientes como BitFit e LNTuning são alternativas viáveis para ambientes com recursos limitados, e que métodos de prompt suave exigem extenso ajuste de hiperparâmetros para serem eficazes.

Os autores concluem que o PEFT-Bench destina-se a ser uma iniciativa de longo prazo e em evolução para orientar o desenvolvimento e a seleção de métodos PEFT, com os resultados atuais e o código disponíveis em seu repositório GitHub.