Resumo Técnico: Ajuste Fino Bayesiano em Subespaços Projetados

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) e outras redes neurais profundas frequentemente sofrem de superconfiança e má calibração quando submetidos a ajuste fino, particularmente em dados limitados. Embora a Adaptação de Baixo Rango (LoRA) ofereça uma solução eficiente em parâmetros para o ajuste fino, decompondo as atualizações de pesos em matrizes de baixo rango, a LoRA padrão carece de mecanismos para quantificação de incerteza.

Variantes bayesianas da LoRA (LoRA Bayesiana) foram propostas para abordar isso, aprendendo distribuições posteriores sobre os parâmetros. No entanto, esses métodos enfrentam um compromisso crítico: modelar a matriz de covariância posterior (necessária para a incerteza epistêmica) tipicamente requer um número de parâmetros que escala quadraticamente com o número de pesos treináveis. Isso aumenta significativamente os custos de armazenamento e computação, negando parcialmente os ganhos de eficiência da LoRA. Além disso, o treinamento desses modelos bayesianos de alta dimensão pode ser instável e difícil de convergir.

Metodologia

Os autores propõem um novo framework que combina ajuste fino eficiente em parâmetros com inferência bayesiana dentro de um subespaço projetado de baixa dimensão. A ideia central é restringir a aprendizagem de posteriores bayesianos a uma variedade comprimida, em vez do espaço de parâmetros completo.

1. Parametrização do Subespaço Projetado

Em vez de aprender atualizações completas de baixo rango $\Delta W = AB$, onde tanto $A$ quanto $B$ são treináveis (como na LoRA padrão), o método proposto congela as matrizes de base $A$ e $B$ e aprende apenas uma pequena matriz "núcleo" quadrada $R$. A atualização de peso é definida como:
$$\Delta W = ARB$$
Aqui, $A \in \mathbb{R}^{n \times r}$ e $B \in \mathbb{R}^{r \times m}$ são matrizes de projeção pré-computadas derivadas dos pesos pré-treinados $W_0$, e $R \in \mathbb{R}^{r \times r}$ é o parâmetro aprendível. Isso reduz o número de parâmetros treináveis de $r(n+m)$ para $r^2$, criando um espaço de parâmetros altamente comprimido.

2. Estratégias de Projeção

O artigo avalia quatro métodos distintos para computar as matrizes de projeção congeladas $A$ e $B$:

• SVD Truncada: Alinha as projeções com as direções principais da matriz de pesos original $W_0$.
• SVD Branqueada Truncada (W-SVD): Leva em conta as estatísticas dos dados de entrada (covariância $\Sigma_{xx}$) para minimizar erros de ativação em vez de erros de reconstrução de pesos.
• Transformada Discreta de Cosseno 2D (DCT): Utiliza uma base fixa e universal de ondas cosseno, precedida por uma permutação determinística dos pesos para induzir correlação espacial.
• Projeções Aleatórias: Utiliza matrizes ortogonais gaussianas distribuídas de Haar, não fazendo nenhuma suposição estrutural sobre os pesos.

3. Inferência Bayesiana no Subespaço

O framework realiza inferência bayesiana nas matrizes núcleo $R$ em vez das atualizações completas de pesos. Dois métodos bayesianos aproximados são empregados:

• SWAG (Média Ponderada Estocástica de Pesos-Gaussiana): Explora a trajetória da Descida de Gradiente Estocástica (SGD) para construir uma posterior gaussiana com uma covariância de baixo rango mais diagonal.
• Aproximação de Laplace: Aproxima a posterior ao redor de uma solução de Máxima A Posteriori (MAP). Os autores implementam aproximações Diagonal (DIAG) e Fatorada por Kronecker (KRON) para a matriz Hessiana/Fisher information para equilibrar expressividade e eficiência de memória.

Crucialmente, a covariância completa das atualizações de pesos $\Delta W$ nunca é materializada. Em vez disso, a covariância é implicitamente definida através da estrutura de Kronecker do subespaço projetado, permitindo amostragem eficiente e estimativa de incerteza.

Principais Contribuições

1. Framework Bayesiano Eficiente em Parâmetros: O artigo introduz um método que alcança quantificação de incerteza efetiva em espaços de parâmetros de muito baixa dimensão ($r^2$ parâmetros por camada) sem sacrificar os benefícios de eficiência da LoRA.
2. Estratégias de Projeção Generalizadas: Diferentemente de trabalhos anteriores que dependiam principalmente de SVD, este trabalho introduz e avalia um framework generalizado incluindo projeções conscientes dos dados (SVD Branqueada) e agnósticas à estrutura (DCT, Aleatórias).
3. Validação Empírica de Covariâncias de Baixo Rango: Os autores demonstram que as covariâncias de pesos nesses subespaços projetados exibem propriedades de baixo rango, significando que até aproximações de covariância de muito baixo rango (por exemplo, rango $k=2$) são frequentemente suficientes para modelar a incerteza efetivamente.
4. Escalabilidade: A abordagem é validada tanto em RoBERTa-large quanto em LLaMA2-7B, mostrando que o método escala para modelos maiores enquanto mantém a viabilidade computacional.

Resultados Experimentais

Os experimentos foram conduzidos em tarefas GLUE (RTE, MRPC, CoLA, SST-2) usando RoBERTa-large e tarefas de raciocínio de senso comum (OBQA, ARC-E, ARC-C) usando LLaMA2-7B.

• Calibração e Incerteza: Os métodos propostos (B-LoRA-XS e L-LoRA-XS) consistentemente superam a LoRA padrão e a LoRA-XS no Erro de Calibração Esperado (ECE) e na Negativa da Verossimilhança Logarítmica (NLL). Eles alcançam calibração comparável ou superior às bases bayesianas completas de LoRA (como LoRA-SWAG) enquanto usam 5 a 15 vezes menos parâmetros.
• Desempenho de Projeção: As projeções SVD Branqueada (W-SVD) e SVD padrão consistentemente produziram o melhor desempenho. Métodos agnósticos aos dados, como Projeções Aleatórias e DCT, performaram significativamente pior, particularmente em rangos mais baixos, destacando a importância de alinhar o subespaço com a estrutura dos pesos.
• Rango de Covariância: Os modelos permaneceram robustos mesmo com aproximações de covariância de muito baixo rango. Por exemplo, o B-LoRA-XS alcançou calibração ótima em rangos de covariância tão baixos quanto $k=2$ ou $k=5$, enquanto métodos padrão de LoRA Bayesiana degradaram-se significativamente à medida que o rango diminuía.
• Detecção OOD: As variantes bayesianas demonstraram capacidade superior de distinguir dados In-Distribution (ID) de dados Out-of-Distribution (OOD) em comparação com bases determinísticas, com os métodos de subespaço propostos mostrando forte separação na entropia preditiva.
• Resultados LLaMA2-7B: No modelo maior, as variantes comprimidas (por exemplo, L-LoRA-XS com $r=64$) alcançaram melhorias significativas de calibração com menos de um terço do orçamento de parâmetros exigido pela base Laplace-LoRA, mantendo precisão competitiva.

Significado e Alegações

O artigo alega que a quantificação efetiva de incerteza não requer espaços de parâmetros de alta dimensão. Ao projetar atualizações de pesos em uma variedade de baixa dimensão cuidadosamente escolhida, os autores demonstram que:

• A incerteza pode ser modelada eficientemente: As correlações entre pesos podem ser capturadas efetivamente em subespaços de baixa dimensão, permitindo o uso de matrizes de covariância de baixo rango que reduzem drasticamente os custos de memória e computação.
• A estabilidade é melhorada: Operar em um espaço de parâmetros reduzido estabiliza a otimização, levando a melhor convergência e calibração sob orçamentos computacionais limitados.
• Compromisso Sinérgico: O método oferece um compromisso sinérgico onde o desempenho preditivo é mantido ou melhorado, e a calibração é significativamente aprimorada, tudo isso usando uma fração dos parâmetros exigidos pelos métodos existentes de LoRA Bayesiana.

Os autores concluem que seu framework representa uma inovação conceitual na aplicação de inferência bayesiana a subespaços comprimidos, fornecendo uma solução prática para o ajuste fino consciente de incerteza de grandes modelos em ambientes com recursos restritos.