ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning

Resumo Técnico: ShadowPEFT

1. O Problema

O Fine-Tuning (ajuste fino) completo de Grandes Modelos de Linguagem (LLMs) é computacionalmente proibitivo devido ao enorme número de parâmetros. Para contornar isso, técnicas de Fine-Tuning Eficiente de Parâmetros (PEFT) foram desenvolvidas, sendo a LoRA (Low-Rank Adaptation) a mais dominante atualmente.

No entanto, a LoRA e suas variantes (como DoRA) apresentam limitações fundamentais:

• Parametrização Local e Fragmentada: Elas inserem perturbações de baixo rank independentes em cada camada linear do modelo. Cada camada aprende uma transformação separada sem compartilhar explicitamente um estado de adaptação com outras camadas.
• Acoplamento ao Backbone: A adaptação está intrinsecamente ligada à estrutura de pesos interna do modelo base, dificultando a desacoplagem, reutilização ou implantação modular.
• Falta de Coordenação Global: A adaptação emerge de um efeito agregado de muitas perturbações independentes, o que pode levar a inconsistências na representação ao longo da profundidade (depth) da rede.

2. Metodologia: ShadowPEFT

Os autores propõem o ShadowPEFT, um framework de PEFT centralizado que substitui as perturbações lineares independentes por um módulo "Shadow" (Sombra) compartilhado e reutilizável em todas as camadas do Transformer.

Arquitetura e Funcionamento:
O ShadowPEFT mantém o modelo base (backbone) congelado e introduz uma rede leve paralela (o "Shadow") que opera em nível de camada do Transformer, não em nível de pesos lineares. O processo ocorre em três etapas por camada $\ell$:

1. Injeção de Sombra (Shadow Injection):

   • Calcula-se a discrepância ($\delta$) entre o estado oculto do modelo base ($h_{out}$) e o estado atual da sombra ($s$).
   • Essa diferença é projetada através de um gargalo de baixo rank (similar à LoRA) para gerar uma correção específica para a tarefa.
   • A correção é adicionada ao estado oculto do modelo base via conexão residual.
   • Diferencial: Em vez de aprender pesos independentes, o modelo aprende a corrigir o estado base com base em uma referência evolutiva compartilhada.

2. Codificação Base (Base Encoding):

   • O modelo base congelado processa o estado refinado para produzir a saída da camada.

3. Atualização da Sombra (Shadow Update):

   • O estado da sombra é atualizado iterativamente ($s^{(\ell-1)} \to s^{(\ell)}$) usando a nova representação do modelo base.
   • Utiliza-se uma atualização residual com gate (estilo GRU), onde um mecanismo controla quanto da nova informação do modelo base deve ser incorporada ao estado acumulado da sombra.
   • Isso permite que a sombra mantenha um "estado paralelo" que evolui junto com o modelo, capturando contexto específico da tarefa ao longo de toda a profundidade da rede.

Modos de Implantação:

• Shadow-Attached (Acoplado): O ShadowPEFT roda junto com o modelo base para inferência completa.
• Detached Shadow-Only (Desacoplado): Apenas o módulo Shadow (que é muito menor que o LLM) é usado para inferência. Isso permite a execução em dispositivos de borda (edge devices) sem precisar carregar o modelo grande, aproveitando o conhecimento adquirido durante o fine-tuning.

Pré-treinamento da Sombra:
O módulo Shadow pode ser inicializado aleatoriamente ou pré-treinado em um modelo menor (ex: um modelo de 0.5B pode servir de sombra para um modelo de 8B). O pré-treinamento melhora significativamente o desempenho, tanto no modo acoplado quanto no desacoplado.

3. Principais Contribuições

1. Mecanismo de Adaptação Centralizado: Propõe uma mudança de paradigma de perturbações lineares descentralizadas para um refinamento de nível de camada centralizado, compartilhando parâmetros e estado através da profundidade do Transformer.
2. Módulo Modular e Portátil: O módulo Shadow é um componente funcional independente que pode ser treinado, armazenado e implantado separadamente do modelo base, facilitando cenários de computação de borda.
3. Adaptação Cross-Scale: Demonstra que um modelo menor pré-treinado pode servir como módulo de adaptação reutilizável para modelos maiores, expandindo o conceito de PEFT além da simples injeção de parâmetros.
4. Desempenho Superior com Menos Parâmetros: O ShadowPEFT alcança desempenho competitivo ou superior à LoRA e DoRA, utilizando ligeiramente menos parâmetros treináveis.

4. Resultados Experimentais

Os experimentos foram realizados em modelos da família Qwen (0.6B, 4B e 8B) em benchmarks de geração (MMLU, GSM8K, SQuAD v2) e compreensão (Amazon, 20News).

• Desempenho Geral: O ShadowPEFT obteve a melhor média em todas as escalas de modelos. Por exemplo, no Qwen 8B, alcançou 76.92 de média, superando a LoRA (76.51) e a DoRA (75.99), apesar de usar menos parâmetros treináveis.
• Generalização (Out-of-Distribution): O ShadowPEFT demonstrou melhor capacidade de generalização em tarefas não vistas durante o treino, superando consistentemente as baselines em cenários de few-shot em dados de teste.
• Escalabilidade de Parâmetros: Ao aumentar o tamanho do módulo Shadow (de 0.1B a 0.5B), o desempenho do ShadowPEFT melhorou ou estabilizou, enquanto a DoRA degradou com o aumento do rank (devido a problemas de generalização comuns em métodos de baixo rank).
• Eficiência e Latência: A sobrecarga de latência em relação à LoRA é mínima (4-6%), tornando-o viável para aplicações em tempo real.
• Cenário de Borda (Edge Computing): Em uma avaliação com um robô (Unitree Go2), o modo "Shadow Only" (desacoplado) conseguiu lidar com instruções rotineiras com baixa latência local, enquanto encaminhava consultas complexas para a nuvem. Isso reduziu o uso de dados e melhorou a responsividade.
• Pré-treinamento: Um Shadow pré-treinado (0.5B) usado em um backbone de 8B superou o modelo base de 0.6B totalmente ajustado com LoRA/DoRA, validando a eficácia da adaptação cross-scale.

5. Significado e Conclusão

O ShadowPEFT representa uma evolução significativa na área de PEFT. Ao mover a adaptação de uma abordagem baseada em perturbações de pesos locais para um refinamento funcional centralizado e com estado, o método oferece:

• Flexibilidade: Possibilidade de implantar apenas o módulo de adaptação em dispositivos com recursos limitados.
• Eficiência: Melhor uso de parâmetros treináveis e melhor generalização.
• Novo Paradigma: Sugere que o PEFT não precisa ser apenas "injeção de parâmetros leves", mas pode ser visto como o aprendizado de uma "camada funcional portátil" que interage dinamicamente com o modelo base.

O trabalho abre caminho para arquiteturas mais modulares, onde modelos grandes podem ser adaptados por componentes menores e reutilizáveis, otimizando tanto o treinamento quanto a inferência em cenários de nuvem e borda.