Resumo Técnico: PreFT: Ajuste Fino Apenas no Pré-preenchimento para Eficiência na Inferência

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais personalizados para usuários ou tarefas específicos usando métodos de Ajuste Fino Eficiente em Parâmetros (PEFT), como o LoRA. Embora os PEFTs reduzam a pegada de memória no treinamento, atender a milhares de adaptadores específicos de usuários simultaneamente cria um gargalo significativo na taxa de transferência (throughput) da inferência.

O problema central reside na incompatibilidade arquitetural entre as duas fases da inferência de LLMs:

1. Pré-preenchimento (Prefill): Processamento do prompt de entrada em paralelo. Esta fase é limitada por computação.
2. Decodificação (Decode): Geração de tokens de forma autoregressiva, um por um. Esta fase é limitada por memória devido à necessidade de carregar grandes caches de Chave-Valor (KV) e pesos de adaptador para cada solicitação.

Sistemas atuais de atendimento com múltiplos adaptadores (por exemplo, S-LoRA, Punica) tentam otimizar isso usando kernels personalizados e paginação de memória. No entanto, mesmo com essas otimizações, atender a múltiplos adaptadores PEFT durante a fase de decodificação impõe uma sobrecarga de memória substancial. Como a fase de decodificação é limitada por memória, o custo de carregar pesos de adaptador únicos para cada solicitação em um lote corrói os ganhos de taxa de transferência alcançados ao agrupar as solicitações.

Metodologia: PreFT (Ajuste Fino Apenas no Pré-preenchimento)

Os autores propõem o PreFT, uma mudança de paradigma que restringe a aplicação de adaptadores PEFT apenas à fase de pré-preenchimento. Uma vez processado o prompt, o adaptador é descartado, e o modelo gera os tokens subsequentes usando apenas os pesos congelados do modelo base.

O artigo implementa esse conceito modificando dois métodos PEFT existentes:

• LoRAP (LoRA Apenas no Pré-preenchimento): Uma variante da Adaptação de Baixo RANK (LoRA) onde a atualização de baixo rank é aplicada apenas aos tokens do prompt de entrada.
• DiReFTP (DiReFT Apenas no Pré-preenchimento): Uma variante do Ajuste Fino de Representação (ReFT), especificamente a parametrização DiReFT, que intervém nos fluxos residuais apenas nas posições do prompt.

Implementação Técnica:

• Os autores bifurcaram o motor de inferência vLLM para integrar esses adaptadores apenas no pré-preenchimento.
• Eles implementaram um mecanismo de máscara de posição que direciona as intervenções do adaptador estritamente para a fase de pré-preenchimento.
• Crucialmente, para a fase de decodificação, o motor contorna a lógica do adaptador inteiramente, tratando a solicitação como se estivesse usando o modelo base.
• Essa abordagem elimina o custo limitado por memória de carregar e computar com pesos de adaptador durante a geração de tokens, permitindo que o sistema agrupe mais solicitações sem a sobrecarga de adaptador por solicitação.

Contribuições Principais

1. Mudança Conceitual: O artigo argumenta que, para atendimento personalizado, o objetivo de otimização deve mudar de "desempenho por parâmetro" para "desempenho por taxa de transferência". Ele identifica que as operações de adaptador devem ser colocadas na fase de pré-preenchimento limitada por computação, e não na fase de decodificação limitada por memória.
2. Implementação de Sistema: Os autores fornecem uma implementação eficiente do PreFT (LoRAP e DiReFTP) dentro do vLLM, incluindo suporte para atendimento com múltiplos adaptadores, paginação de memória e sincronização de pesos para Aprendizado por Reforço On-policy (RL).
3. Justificativa Teórica: O artigo demonstra que a projeção para baixo do LoRA e do ReFT é limitada por memória mesmo em meia precisão. Ao remover essas operações da fase de decodificação, o PreFT evita o principal gargalo do atendimento com múltiplos adaptadores.

Resultados

Eficiência na Inferência

Os PreFTs demonstram melhorias significativas na taxa de transferência em comparação com os PEFTs tradicionais de todas as posições ao atender múltiplos adaptadores:

• Llama 3.1 70B: Atendendo 512 adaptadores em 4 GPUs H100, o PreFT alcançou 1,9× a taxa de transferência do multi-LoRA padrão para DiReFTP e 1,87× para LoRAP.
• Modelos Menores: Ganhos semelhantes foram observados no Llama 3.1 8B (2,21× / 1,83×) e no Qwen 2.5 0.5B (2,39× / 1,63×).
• Esses ganhos foram alcançados sem kernels personalizados para ReFT, contando, em vez disso, com a remoção arquitetural do custo no tempo de decodificação.

Desempenho (Precisão)

Os autores avaliaram os PreFTs contra PEFTs de todas as posições em Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço com Recompensas Verificáveis (RLVR):

• SFT (Seguimento de Instruções): Os PreFTs exibiram maior perda de avaliação do que os PEFTs de todas as posições nos dados de treinamento. No entanto, em benchmarks downstream (IFEval, MMLU, GSM8K), não houve diferença estatisticamente significativa na precisão entre PreFTs e PEFTs padrão quando os parâmetros foram correspondidos.
• RLVR (Matemática e Código):
  • Em MATH e HumanEval (geração de código), os PreFTs aproximaram-se da paridade com os PEFTs padrão.
  • Em GSM8K, os PreFTs consistentemente ficaram atrás dos PEFTs de todas as posições, embora a lacuna fosse frequentemente pequena.
• Geração de Texto Longo: Em experimentos com LongWriter (gerando até 20k tokens), o LoRAP manteve capacidades de seguimento de comprimento e qualidade comparáveis ao LoRA padrão. Por outro lado, o DiReFTP falhou em manter o comportamento condicional ao longo de gerações longas, revertendo para um viés de escrita de saídas excessivamente longas.

Significado e Alegações

O artigo alega que o PreFT oferece uma compensação precisão–taxa de transferência mais favorável para o atendimento personalizado de LLMs do que os métodos PEFT existentes.

• Eficiência: Ao mover as operações de adaptador para a fase de pré-preenchimento limitada por computação, os PreFTs reduzem significativamente a sobrecarga de memória durante a fase de decodificação, permitindo maior taxa de transferência em cenários multiusuário.
• Praticidade: Os autores afirmam que, para muitos casos de uso (adaptação de estilo, memória por usuário), os PreFTs sacrificam pouco ou nenhum desempenho downstream, enquanto entregam ganhos substanciais de eficiência.
• Limitações: O artigo reconhece modestamente que os PreFTs não são uma substituição universal. Especificamente, o DiReFTP luta com a geração de texto longo, e o desempenho no GSM8K permanece ligeiramente inferior ao dos adaptadores de todas as posições. Os autores sugerem que trabalhos futuros poderiam explorar arquiteturas novas projetadas especificamente para restrições apenas no pré-preenchimento para fechar essas lacunas remanescentes.

Em conclusão, o PreFT representa uma otimização em nível de sistema que aproveita as características computacionais distintas das fases de inferência de LLMs para permitir um atendimento de modelo personalizado e escalável.