Learning Adapter Rank via Symmetry Breaking

Resumo Técnico: Aprendizado da Rango do Adaptador via Quebra de Simetria

1. Declaração do Problema

A adaptação de baixo rango (LoRA) tornou-se um padrão para o ajuste fino eficiente de grandes modelos de linguagem, baseando-se na observação empírica de que as atualizações relevantes para a tarefa residem em um subespaço de baixa dimensão. No entanto, dois desafios críticos permanecem sem resolução:

1. Seleção de Rango: Escolher o rango ótimo não é trivial. Métodos de rango fixo arriscam ser tanto desperdiçadores quanto insuficientes, enquanto estratégias heurísticas de alocação de rango (por exemplo, AdaLoRA) introduzem encargos adicionais de ajuste.
2. Não Identificabilidade e Simetria de Gauge: No LoRA padrão, as direções de rango não são identificáveis. Para qualquer matriz inversível $R \in \mathbb{R}^{r \times r}$, a fatorização $BA = (BR)(R^{-1}A)$ produz a mesma atualização de pesos. Consequentemente, os índices individuais de rango carecem de identidade intrínseca, tornando impossível atribuir pontuações de incerteza ou relevância a direções específicas sem primeiro quebrar essa simetria de gauge rotacional.
3. Calibração: Grandes Modelos de Linguagem (LLMs) ajustados frequentemente sofrem de excesso de confiança. Os métodos existentes de quantificação de incerteza para módulos de Ajuste Fino Eficiente em Parâmetros (PEFT) tipicamente tratam a seleção de rango e a incerteza como problemas separados, operando no espaço de pesos ambiente ou usando aproximações post-hoc, o que aumenta a complexidade arquitetônica e a contagem de parâmetros.

2. Metodologia: Dropout Variacional de Baixo Rango (LRVD)

Os autores propõem o Dropout Variacional de Baixo Rango (LRVD), um framework bayesiano que realiza inferência diretamente no espaço de rango latente em vez do espaço de pesos ambiente. A instanciação central deste framework é o BayesLoRA.

Mecanismos Chave:

• Posterior Acoplada ao Rango: Em vez de colocar posteriores independentes sobre pesos individuais, o LRVD coloca um posterior Gaussiano fatorado sobre os fatores do adaptador ($A$ e $B$), onde todos os parâmetros pertencentes a um rango específico $i$ compartilham uma única razão ruído-sinal $\alpha_i$.
  $$q(A, B) = \prod_{i,j} \mathcal{N}(A_{ij}; \mu_{A,ij}, \alpha_i \mu_{A,ij}^2) \prod_{k,i} \mathcal{N}(B_{ki}; \mu_{B,ki}, \alpha_i \mu_{B,ki}^2)$$
• Quebra de Simetria: A estrutura diagonal deste posterior (onde a variância é acoplada por rango) quebra a simetria de gauge rotacional $GL(r)$ do LoRA. O objetivo variacional seleciona uma base preferida no espaço de rango, permitindo a Determinação Automática de Relevância (ARD) sobre as direções de rango.
• Garantia Teórica (Teorema 1): Os autores provam que, embora a simetria de gauge completa seja quebrada, uma simetria residual permanece. Especificamente, a matriz de transformação $R$ deve ser ortogonal e, se as entradas diagonais da covariância de rango forem distintas, $R$ é restrita a matrizes de permutação com sinais. Isso garante que a ordenação de rango aprendida seja significativa e identificável até o sinal e a permutação.
• Objetivo Variacional: O treinamento maximiza o Limite Inferior da Evidência (ELBO). O termo de divergência KL, derivado do dropout variacional esparsificado, é monotonicamente crescente em $\log \alpha_i$. Isso penaliza direções com altas razões ruído-sinal, suprimindo-as progressivamente para alcançar a seleção automática contínua de rango.
• Inferência: No momento do teste, o modelo marginaliza sobre o subespaço do adaptador usando amostragem de Monte Carlo (tipicamente $T \in [4, 16]$ amostras), enquanto a espinha dorsal pré-treinada permanece determinística.

3. Contribuições Principais

• Formalização do LRVD: Um framework geral para inferência bayesiana no espaço de rango que induz esparsidade estruturada através de razões ruído-sinal aprendidas.
• BayesLoRA: Uma implementação concreta que aprende o rango efetivo do adaptador e a incerteza preditiva simultaneamente com apenas $O(r)$ parâmetros escalares adicionais, não exigindo otimizadores auxiliares, estimativa de curvatura post-hoc ou cronogramas de annealing de KL.
• Resolução da Não Identificabilidade: O artigo demonstra que a não identificabilidade do LoRA pode ser transformada em um viés indutivo útil. Ao quebrar a simetria de gauge via um posterior diagonal, o método produz uma ordenação de rango estável e identificável alinhada com a estrutura intrínseca das atualizações aprendidas.

4. Resultados Experimentais

Os autores avaliaram o BayesLoRA no benchmark GLUE (usando DeBERTa-V3-base) e em benchmarks de raciocínio (usando LLaMA-2-7B).

• Seleção de Rango e Precisão:

  • O BayesLoRA iguala ou supera o desempenho do AdaLoRA em todas as tarefas do GLUE com custos de treinamento comparáveis.
  • Induz estruturas de rango estáveis que se alinham com as direções singulares dominantes das atualizações aprendidas.
  • As taxas de compressão são proporcionais à estrutura intrínseca da tarefa (por exemplo, o CoLA comprime para ~63% independentemente do rango inicial), em vez de serem um artefato do tamanho da base inicial.
  • Em muitos casos, o BayesLoRA colapsa módulos inteiros de adaptador para um rango efetivo zero, agindo mais como esparsidade em nível de módulo do que como alocação suave de orçamento.

• Incerteza e Calibração:

  • vs. Baselines Clássicas: O BayesLoRA melhora substancialmente o Erro de Calibração Esperado (ECE) e a Verossimilhança Logarítmica Negativa (NLL) em comparação com MC Dropout, Deep Ensembles e Bayes by Backprop (BBB), apesar de ter menos parâmetros que o BBB.
  • vs. Métodos Focados em Calibração: Em comparações com orçamento igualado contra o BloB (que usa um posterior variacional completo com um otimizador auxiliar), o BayesLoRA alcança maior precisão em quase todas as tarefas. Embora o BloB mantenha uma ligeira vantagem nas métricas de calibração (ECE/NLL), o BayesLoRA reduz significativamente essa lacuna sem a sobrecarga computacional de um otimizador separado ou estimativa de curvatura complexa.

5. Significado e Alegações

O artigo alega que o BayesLoRA oferece uma alternativa simples, porém poderosa, aos métodos existentes de incerteza em PEFT. Ao operar diretamente no espaço de rango, evita os custos proibitivos da inferência variacional no espaço de pesos, ao mesmo tempo que resolve o problema fundamental da não identificabilidade de rango.

• Eficiência: Alcança seleção automática de rango e quantificação de incerteza com sobrecarga mínima de parâmetros ($O(r)$ escalares).
• Estabilidade: A ordenação de rango aprendida não é meramente uma heurística de poda, mas reflete a estrutura singular intrínseca das atualizações da tarefa.
• Compensações: Os autores reconhecem que, embora o BayesLoRA melhore a calibração sobre baselines padrão, ele ainda fica atrás de métodos com maquinaria variacional mais rica (como o BloB) em tarefas onde a lacuna entre posteriors no espaço de rango e no espaço de pesos é mais pronunciada. Eles atribuem isso ao uso de um substituto de dropout variacional com um prior log-uniforme impróprio.

Em resumo, o trabalho estabelece que a quebra da simetria de gauge do LoRA via um posterior variacional diagonal permite o aprendizado conjunto de rango efetivo e incerteza, fornecendo uma abordagem bayesiana escalável para adaptação de baixo rango.