Resumo Técnico: O Benefício de Componentes Não Suaves no Ajuste Fino de Vision Transformers

Definição do Problema

Embora a suavidade das arquiteturas transformer tenha sido extensamente estudada em relação à generalização, estabilidade de treinamento e robustez adversarial, seu papel específico no aprendizado por transferência (ajuste fino ou finetuning) permanece pouco compreendido. As suposições predominantes sugerem que promover a suavidade (por exemplo, via regularização de Lipschitz) é benéfico para o aprendizado. No entanto, no contexto de adaptação de modelos de fundação para tarefas de jusante (downstream), uma suavidade excessiva pode restringir a capacidade de um componente de adaptar seus resultados às mudanças nos dados de entrada, prejudicando o desempenho. O artigo aborda a seguinte questão: Quais componentes de um transformer devem ser priorizados durante o ajuste fino e por quê?

Metodologia

Os autores propõem uma análise sistemática, componente a componente, de Vision Transformers (ViTs) baseada em uma nova métrica chamada plasticidade.

1. Definição de Plasticidade

O artigo define a plasticidade de um componente transformer $f$ como sua taxa média de variação em relação a perturbações de entrada. Formalmente, para um componente $f$ e uma distribuição uniforme $\nu$ sobre pares distintos de sequências de tokens $(x, y)$, a plasticidade $P(f)$ é:
$$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$$

• Alta Plasticidade ($P(f) > 1$): Indica baixa suavidade (não suave), onde o componente amplifica mudanças na entrada em média.
• Baixa Plasticidade ($P(f) < 1$): Indica alta suavidade, onde o componente contrai mudanças na entrada.

2. Análise Teórica

Os autores derivam limites superiores teóricos para a plasticidade de componentes padrão de ViTs:

• LayerNorm: Provado possuir um limite superior estreito dependente do inverso do desvio padrão mínimo dos tokens e da norma do peso.
• Camadas Feedforward (FC): Limitadas pela norma espectral das matrizes de pesos.
• Multi-Head Self-Attention (MHA): Limitada por um termo envolvendo as normas espectrais dos pesos e o comprimento da sequência $n$. A análise mostra que a MHA possui um limite mais frouxo (maior potencial de plasticidade) em comparação com as LayerNorms e camadas lineares, particularmente conforme o comprimento da sequência aumenta.

Isso leva a um ranking teórico de plasticidade: MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. Validação Empírica

• Medição de Plasticidade: Os autores computaram a métrica de plasticidade em ViTs pré-treinados (Base, Large, Huge) em 11 benchmarks de classificação diversos (incluindo CIFAR, DomainNet, Flowers, Pets) e estenderam a análise para modelos auto-supervisionados (DINOv3) e LLMs (GPT-2).
• Experimentos de Ajuste Fino: Para isolar o efeito de componentes específicos, os autores realizaram mais de 1.000 execuções de ajuste fino em um ViT de 86M de parâmetros. Em cada execução, apenas um tipo específico de componente (por exemplo, apenas MHA, apenas FC1, apenas LN1) era atualizado enquanto os outros permaneciam congelados.
• Otimização: Os experimentos foram realizados utilizando tanto o otimizador SGD quanto o Adam através de uma varredura de taxas de aprendizado e sementes aleatórias para garantir robustez.

Principais Resultados

1. Ranking Empírico de Plasticidade

Os dados experimentais confirmaram o ranking teórico. Em todos os benchmarks e escalas de modelo (ViT-Base a ViT-Huge, estendendo-se para DINOv3 e GPT-2):

• MHA exibiu consistentemente a maior plasticidade ($P(f) > 1$).
• Camadas feedforward (FC1, FC2) seguiram com alta plasticidade.
• LayerNorms (LN2, LN1) exibiram a menor plasticidade ($P(f) < 1$), atuando como componentes "rígidos" ou suaves.

2. Desempenho de Ajuste Fino

Os experimentos de ajuste fino componente a componente revelaram uma correlação direta entre plasticidade e desempenho de jusante:

• Acurácia Superior: Adaptar componentes de alta plasticidade (MHA e camadas FC) consistentemente rendeu maior acurácia top-1 do que adaptar componentes de baixa plasticidade (LayerNorms).
• Significância Estatística: Em conjuntos de dados desafiadores (ex: CIFAR-100, Sketch, Clipart), as camadas MHA e FC superaram significativamente as LayerNorms. Por exemplo, ajustar apenas a MHA frequentemente superou os baselines de ajuste fino total em conjuntos de dados pequenos.
• Robustez: Componentes de alta plasticidade demonstraram maior estabilidade através de diferentes taxas de aprendizado e sementes de inicialização, mostrando menor variância de desempenho.
• Dinâmica de Otimização: O artigo observou que componentes de alta plasticidade geram normas de gradiente maiores durante o treinamento, levando a descidas de perda mais íngremes e convergência mais rápida para mínimos locais. Isso contrasta com componentes suaves, que restringem as normas de gradiente e resultam em uma otimização mais lenta.

3. Comparação com Métodos de Eficiência de Parâmetros (PEFT)

O estudo descobriu que o ajuste fino seletivo de componentes de alta plasticidade (ex: MHA) pode ser competitivo ou superior aos métodos populares de PEFT como o LoRA, mesmo com significativamente menos parâmetros treináveis. Por exemplo, o ajuste fino apenas das LayerNorms com Adam superou o LoRA no CIFAR-100 com 15$\times$ menos parâmetros, embora o ajuste da MHA geralmente tenha apresentado os melhores resultados.

Significância e Alegações

O artigo afirma oferecer uma nova perspectiva sobre as propriedades funcionais dos transformers, desafiando o senso comum de que a suavidade é universalmente desejável para o aprendizado.

• Mudança de Paradigma: Os autores argumentam que, embora a suavidade auxilie a generalização e a estabilidade no pré-treinamento, a não-suavidade (alta plasticidade) é o fator crítico que permite uma adaptação eficaz durante o ajuste fino.
• Orientação Prática: O trabalho fornece orientação fundamentada para profissionais: ao projetar estratégias de ajuste fino de eficiência de parâmetros, deve-se dar prioridade aos módulos de atenção e camadas feedforward em vez de camadas de normalização.
• Ponte Teórico-Prática: O artigo consegue unir os limites teóricos das constantes de Lipschitz com a dinâmica de otimização empírica, demonstrando que a "plasticidade" de um módulo dita sua capacidade de carregar informações sobre os dados de jusante e facilitar a otimização baseada em gradiente.

Os autores concluem que compreender e aproveitar a plasticidade dos componentes não suaves é essencial para projetar métodos de adaptação mais eficientes para modelos de fundação.