Resumo Técnico: GD-FPS

Declaração do Problema

O Ajuste Fino Eficiente em Parâmetros (PEFT) é essencial para adaptar modelos pré-treinados em larga escala a tarefas downstream sem os custos proibitivos de memória e computação do ajuste fino completo. No entanto, as abordagens existentes de PEFT enfrentam limitações significativas:

1. Métodos baseados em adição (por exemplo, Adapters, LoRA) introduzem novos parâmetros treináveis, aumentando o armazenamento do modelo, a latência de inferência e a complexidade de engenharia relacionada ao posicionamento ótimo dos módulos.
2. Métodos baseados em seleção (por exemplo, Seleção de Parâmetros Baseada em Gradiente, GPS) evitam adicionar parâmetros, mas dependem do cálculo de gradientes do modelo completo durante uma fase de seleção. Essa abordagem incorre em uso massivo de memória (idêntico ao ajuste fino completo), latência computacional substancial devido às passagens de retropropagação e sofre com ruído estocástico causado pela amostragem de lotes, tornando o processo de seleção não determinístico e sensível a configurações de ambiente.

O desafio central é identificar um subconjunto esparsos de parâmetros para ajuste fino que seja eficiente em memória, rápido, determinístico e robusto, sem depender de cálculos de gradiente computacionalmente caros.

Metodologia: Seleção de Parâmetros Feedforward Orientada ao Crescimento (GD-FPS)

Os autores propõem o GD-FPS, um método estritamente livre de gradiente que identifica os parâmetros ótimos inteiramente por meio de passagens forward. O método opera sob a premissa de que os parâmetros críticos para a adaptação de domínio são aqueles que exibem crescimento significativo de ativação em relação ao comportamento de pré-treinamento do modelo, escalado pela sua magnitude de peso intrínseca.

O framework consiste em duas fases distintas:

1. Fase de Ancoragem Prévia

• Objetivo: Estabelecer uma linha de base comportamental (âncora) que represente o estado de pré-treinamento do modelo.
• Processo: Uma passagem forward é realizada em um subconjunto amostrado aleatoriamente dos dados originais de pré-treinamento ($D_{pre}$).
• Saída: A norma esperada das ativações de entrada para cada peso é calculada: $\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]$.
• Eficiência: Este é um procedimento único compartilhado entre todas as tarefas downstream, exigindo sobrecarga amortizada negligenciável (por exemplo, 27,38 segundos para 12.800 imagens em uma única GPU).

2. Fase de Quantificação do Crescimento

• Objetivo: Medir a adaptação específica da tarefa comparando as ativações downstream com a âncora de pré-treinamento.
• Processo: Uma passagem forward é realizada no conjunto de dados downstream ($D_{down}$) para calcular a expectativa de ativação específica da tarefa: $\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]$.
• Pontuação: A pontuação final de importância ($I_{GD-FPS}$) para um peso $w_{k,j}^{(i)}$ é calculada escalando sua magnitude intrínseca pelo crescimento relativo de sua ativação:
  $$I_{GD-FPS}(w_{k,j}^{(i)}) = |w_{k,j}^{(i)}| \cdot \left( \frac{\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]}{\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]} - 1 \right)$$
• Seleção: Os parâmetros com as $k$ melhores pontuações por neurônio são selecionados para ajuste fino.

Essa formulação garante que parâmetros com alta ativação estática (agósticos à tarefa), mas com baixo crescimento relativo, sejam desprivilegiados, enquanto aqueles que mostram um "surto" significativo de ativação específico ao novo domínio sejam selecionados.

Contribuições Principais

1. Seleção Livre de Gradiente: O GD-FPS elimina a necessidade de passagens de retropropagação durante a fase de seleção de parâmetros, abordando diretamente os gargalos de memória e latência dos métodos de seleção baseados em gradiente, como o GPS.
2. Robustez Determinística: Ao depender de propriedades estatísticas globais (magnitudes esperadas de ativação) em vez de gradientes de lote estocásticos, o GD-FPS garante um processo de seleção determinístico que é invariante a sementes aleatórias, tamanhos de lote e variações na amostragem de dados.
3. Mecanismo Orientado ao Crescimento: A introdução de uma métrica de crescimento relativo contra uma âncora de pré-treinamento permite que o método distinga entre parâmetros que são inerentemente ativos e aqueles que estão verdadeiramente se adaptando à nova tarefa.
4. Avaliação Abrangente: O método é validado em 26 tarefas visuais, incluindo classificação de imagens (FGVC e VTAB-1k) e segmentação semântica, demonstrando sua generalizabilidade em diferentes arquiteturas (ViT, Swin) e tarefas.

Resultados Experimentais

O artigo avalia o GD-FPS contra baselines de última geração, incluindo Ajuste Fino Completo, métodos baseados em adição (Adapter, LoRA, VPT) e o principal competidor baseado em seleção, o GPS.

• Classificação de Imagens (FGVC & VTAB-1k):
  • No benchmark FGVC, o GD-FPS alcançou uma precisão média de 92,07%, superando o GPS (91,78%) e o SSF (90,72%).
  • No diversificado benchmark VTAB-1k, o GD-FPS alcançou 75,04% de precisão média, performando em par com o GPS (75,18%) e superando significativamente outros métodos de PEFT de propósito geral.
• Segmentação Semântica (VOC2012 & Cityscapes):
  • Usando um backbone Swin-L, o GD-FPS alcançou um mIoU médio de 83,62% e um mAcc de 89,78%.
  • Ele superou com sucesso a linha de base de Ajuste Fino Completo em ambas as métricas e superou outros métodos de PEFT gerais, ficando atrás apenas do método ProPETL especializado e altamente engenhado.
• Ganhos de Eficiência (vs. GPS):
  • Memória: Redução do uso de pico de memória da GPU em quase 18× durante a fase de seleção.
  • Latência: Aceleração da execução da seleção de parâmetros em mais de 2,7×.
  • Computação: Redução do custo computacional de 100,9 GFLOPs para 16,8 GFLOPs por imagem.
• Robustez:
  • O GD-FPS manteve uma Taxa de Interseção (IR) de >97% através de sementes aleatórias, tamanhos de lote e proporções de dados variáveis.
  • Em contraste, o GPS mostrou uma queda de 20–30% na IR sob variações similares, destacando sua sensibilidade a fatores estocásticos.

Significado e Alegações

O artigo afirma que o GD-FPS oferece uma solução eficiente em memória, rápida e robusta para o ajuste fino de modelos em larga escala. Ao utilizar estritamente passagens forward, ele resolve o compromisso fundamental entre a eficiência baseada em seleção e os custos computacionais do cálculo de gradientes.

Os autores afirmam que o GD-FPS demonstra que alto desempenho, eficiência e robustez estrutural podem coexistir dentro do PEFT baseado em seleção. Ele fornece uma alternativa escalável para ambientes com recursos limitados, eliminando a complexidade de engenharia dos métodos baseados em adição e os custos proibitivos de memória/latência da seleção baseada em gradiente, tudo isso garantindo um resultado determinístico.