Resumo Técnico: Aprendizado no Subespaço de Fisher (FILet)

Definição do Problema

O Ajuste Fino Eficiente em Parâmetros (PEFT), particularmente a Adaptação de Baixo Rango (LoRA), reduz os custos de treinamento ao restringir as atualizações de pesos a subespaços de baixo rango. No entanto, a eficácia do LoRA depende criticamente da inicialização desses subespaços. Estratégias de inicialização existentes (por exemplo, PiSSA, MiLoRA, KaSA) baseiam-se principalmente nas propriedades geométricas intrínsecas dos pesos pré-treinados, utilizando tipicamente a Decomposição em Valores Singulares (SVD) para selecionar direções com base nos valores singulares.

O artigo argumenta que esses critérios "apenas de pesos" são insuficientes porque são cegos à distribuição de dados a jusante. Uma direção que é estruturalmente significativa nos pesos pré-treinados pode ser irrelevante ou passiva para uma tarefa específica a jusante. Por outro lado, direções com valores singulares baixos podem ser altamente sensíveis aos dados-alvo. Alocar capacidade limitada de adaptação para direções irrelevantes para a tarefa prejudica o desempenho a jusante. O problema central é identificar direções de adaptação que minimizem o aumento esperado na perda sob a distribuição de dados-alvo, em vez de simplesmente seguir a estrutura espectral dos pesos pré-treinados.

Metodologia: FILet

Os autores propõem o FILet (Inicialização Guiada por Fisher para Ajuste Fino LoRA), um framework consciente de dados que utiliza a Energia de Fisher para guiar a inicialização.

1. Formulação Teórica

Os autores definem a utilidade de uma direção de atualização de parâmetros $Z$ pela mudança na perda a jusante $\Delta L$. Usando uma expansão de Taylor de segunda ordem, eles mostram que, para perturbações simétricas, a mudança na perda é dominada pelo termo de segunda ordem envolvendo o Hessian da perda:
$$\Delta L_{sym}(Z) \approx \frac{\gamma^2}{2} \langle Z, \nabla^2_{W_0} L \rangle$$
Para evitar o cálculo do Hessian completo, eles o aproximam usando a Matriz de Informação de Fisher ($S_W$), definida como a expectativa do produto externo dos gradientes:
$$S_W = E[\text{vec}(\nabla_W L) \text{vec}(\nabla_W L)^\top]$$
A Energia de Fisher de uma direção $Z = uv^\top$ é definida como:
$$E(Z) = \text{vec}(Z)^\top S_W \text{vec}(Z)$$
Esta métrica quantifica a sensibilidade local das previsões do modelo a perturbações na direção $Z$ sob a distribuição de dados-alvo. Os autores hipotetizam que direções com baixa Energia de Fisher correspondem a atualizações de parâmetros que induzem um aumento mínimo na perda, tornando-as candidatas ideais para a inicialização do LoRA.

2. Cálculo Eficiente (Aproximação K-FAC)

O cálculo da matriz de Fisher completa é inviável para Modelos de Linguagem de Grande Escala (LLMs) devido ao seu tamanho massivo ($O((mn)^2)$). O FILet emprega o método de Curvatura Aproximada Fatorada por Kronecker (K-FAC) para fatorizar a informação de Fisher:
$$S_W \approx S_X \otimes S_Y$$
Onde:

• $S_X = E[XX^\top]$ é a covariância empírica das ativações de entrada.
• $S_Y = E[(\nabla_Y L)(\nabla_Y L)^\top]$ é a covariância empírica dos gradientes de saída.

Esses fatores são estimados eficientemente usando um pequeno minibatch de dados a jusante.

3. Procedimento de Inicialização

Para operacionalizar isso sem SVD completa, o FILet constrói bases singulares substitutas a partir dos pesos pré-treinados $W_0$:

1. Calcule a matriz Gram de $W_0$ e normalize as colunas para formar uma base direita substituta $\hat{V}$.
2. Mapeie $\hat{V}$ através de $W_0$ e normalize para formar uma base esquerda substituta $\hat{U}$.
3. Projete os fatores de Fisher estimados ($S_X, S_Y$) nessas bases para calcular a Energia de Fisher para cada direção candidata.
4. Selecione as top-$r$ direções com a Energia de Fisher mínima.
5. Inicialize as matrizes LoRA $A$ e $B$ usando essas direções selecionadas, escaladas pela raiz quadrada de suas Energias de Fisher correspondentes.

Este processo garante que os adaptadores LoRA sejam inicializados em subespaços que são menos sensíveis aos dados-alvo, preservando informações relevantes para a tarefa nos pesos residuais congelados, enquanto permitem adaptação eficiente nas regiões "planas" da paisagem de perda.

Principais Contribuições

1. Critério de Inicialização Consciente de Dados: O artigo muda o paradigma da inicialização centrada em pesos (baseada em SVD) para uma inicialização centrada em dados, argumentando que a sensibilidade dos parâmetros à distribuição a jusante é um critério mais fundamentado para selecionar subespaços de adaptação.
2. Framework Guiado por Fisher (FILet): Um método computacionalmente eficiente para estimar a Energia de Fisher usando K-FAC e bases substitutas, evitando o custo proibitivo do cálculo da matriz de Fisher completa ou da SVD completa em pesos grandes.
3. Validação Empírica: Experimentos abrangentes demonstrando que a seleção de direções com mínima Energia de Fisher, combinada com escalonamento baseado em Fisher, supera consistentemente as bases existentes baseadas em SVD e orientadas a dados.

Resultados Experimentais

Os autores avaliaram o FILet em diversas tarefas e modalidades:

• Raciocínio em Linguagem Natural: Em benchmarks incluindo BoolQ, PIQA, ARC-Challenge e outros, usando Llama2-7B e Llama3-8B. O FILet alcançou consistentemente uma precisão média mais alta do que bases como PiSSA, MiLoRA, KaSA e LoRA-Dash. Por exemplo, no Llama3-8B, o FILet alcançou uma pontuação média de 86,7, superando o próximo melhor (NEAT com 84,5) e métodos baseados em SVD (KaSA com 85,7).
• Classificação de Imagens: Usando ViT-B/32 em sete conjuntos de dados (por exemplo, Cars, DTD, SVHN). O FILet alcançou a maior precisão média (69,3%), mostrando ganhos particulares no SVHN e Cars.
• Geração de Linguagem Natural: Em GSM8k (matemática), MBPP (código), E2E e MT-bench. O FILet mostrou ganhos substanciais, particularmente em GSM8k (63,5 para Gemma-7B) e MBPP (30,8 para Gemma-7B), indicando eficácia em tarefas que exigem generalização precisa.
• Eficiência: Embora o FILet exija tempo adicional para calcular os fatores de Fisher, ele evita a conversão FP32 e a sobrecarga de SVD completa de métodos como KaSA. O tempo de inicialização escala favoravelmente com o tamanho do modelo em comparação com abordagens baseadas em SVD.
• Estudos de Ablação:
  • Tamanho do Minibatch: O desempenho melhora com minibatches maiores, mas estabiliza, sugerindo que tamanhos moderados (por exemplo, 320) oferecem um bom equilíbrio entre precisão e eficiência.
  • Estratégia de Escalonamento: O artigo confirma que o uso de escalonamento baseado em Fisher (energia mínima) é superior ao uso de valores singulares SVD para escalonamento, mesmo que a seleção de direção esteja correta.

Significado e Alegações

O artigo afirma que o FILet fornece um critério fundamentado e dependente da tarefa para a inicialização do LoRA que alinha melhor a adaptação com o objetivo-alvo. Ao aproveitar informações de curvatura induzidas por dados a jusante, o FILet evita alocar capacidade para direções que são passivas sob a distribuição-alvo.

Os autores enfatizam que essa abordagem:

• Melhora consistentemente o desempenho a jusante em tarefas de raciocínio, geração e classificação.
• Mantém a eficiência computacional, incorrendo em sobrecarga mínima de inicialização em comparação com métodos de SVD completa.
• Aumenta a utilidade prática do PEFT, permitindo ajuste fino de alta qualidade sob orçamentos computacionais limitados, garantindo que os parâmetros treináveis limitados sejam colocados nos subespaços mais eficazes.

O trabalho conclui que a inicialização consciente de dados, especificamente via minimização da Energia de Fisher, é um fator crítico para maximizar a eficácia do ajuste fino eficiente em parâmetros, superando as limitações da geometria estática dos pesos.