Resumo Técnico: Alocação de Rank LoRA Baseada em Gradientes sob GRPO

Declaração do Problema

A Adaptação de Baixo Rank (LoRA) tornou-se o padrão para o ajuste fino eficiente em parâmetros (PEFT) de Grandes Modelos de Linguagem (LLMs). Embora pesquisas recentes tenham estabelecido que a alocação adaptativa de ranks—atribuir dinamicamente mais parâmetros a camadas "importantes" e menos a camadas "não importantes"—melhore significativamente a eficiência sob Ajuste Fino Supervisionado (SFT), permanece incerto se essa correlação entre importância do gradiente e requisitos de capacidade se mantém sob Aprendizado por Reforço (RL).

Especificamente, este estudo investiga se estratégias de perfilagem de rank baseadas em gradientes, bem-sucedidas no SFT, podem ser transferidas efetivamente para o Otimização de Política Relativa em Grupo (GRPO), um algoritmo líder de RL para alinhamento. A hipótese central é que o objetivo distinto do RL (gradientes de política ponderados por vantagem com recompensas esparsas e binárias) pode alterar fundamentalmente a paisagem de gradientes, potencialmente tornando heurísticas de alocação da era do SFT ineficazes ou prejudiciais.

Metodologia

Os autores conduziram um estudo empírico utilizando o modelo Qwen 2.5 1.5B-Instruct no conjunto de dados de raciocínio matemático GSM8K.

Configuração Experimental

• Linha de Base: Alocação uniforme de LoRA ($r=32$) em todas as 28 camadas de transformador e 7 módulos de projeção por camada (total de 196 adaptadores).
• Estratégias Adaptativas:
  • Alocação Proporcional: Ranks atribuídos com base em uma "pontuação de sensibilidade à recompensa" pré-calculada ($S(l)$), definida como a norma média do gradiente sobre os passos de treinamento.
  • Alocação Aleatória: Um grupo de controle com ranks não uniformes, mas sem orientação por gradientes.
  • Orçamento Reduzido: Um cenário onde o total de parâmetros foi reduzido em 70%.
• Configuração de Treinamento: GRPO com $K=4$ gerações, coeficiente KL $\beta=0.05$ e 1.000 passos de treinamento.
• Avaliação: Precisão em 200 amostras de teste do GSM8K, com intervalos de confiança de 95% baseados na pontuação de Wilson.

Análise do Mecanismo Chave

O estudo introduziu uma métrica de Perfilagem de Sensibilidade à Recompensa para quantificar a importância da camada. Crucialmente, os autores analisaram a paisagem de gradientes não apenas na inicialização, mas dinamicamente durante o treinamento para observar como a alocação de rank influencia o fluxo de gradientes (o "Efeito de Amplificação de Gradiente").

Principais Descobertas

1. Falha da Alocação Adaptativa em RL

Contrariamente aos resultados do SFT, a alocação adaptativa de rank degradou o desempenho sob GRPO.

• Alocação Uniforme: Alcançou 74,5% de precisão.
• Alocação Proporcional (Consciente de Gradiente): Alcançou 70,0% de precisão (uma queda de 4,5 pontos) apesar de usar o mesmo orçamento de parâmetros (36,9M parâmetros).
• Alocação Aleatória: Desempenhou ainda pior, com 67,5%, confirmando que, embora o sinal de gradiente identifique camadas "importantes", desviar-se da uniformidade é prejudicial.

2. A Paisagem de Gradiente Plana

O estudo identificou uma diferença estrutural fundamental entre SFT e GRPO:

• SFT: A importância do gradiente é altamente concentrada; o topo 30% das camadas carrega >80% do sinal, com razões de importância máxima/mínica frequentemente excedendo 10×.
• GRPO: A paisagem de gradiente é significativamente mais plana. A razão de importância máxima/mínica entre camadas foi de apenas 2,17×. Mesmo as camadas "mais frias" contribuíram com 46% do sinal das camadas "mais quentes". Isso sugere que, sob RL, todas as camadas suportam carga, e nenhuma camada é verdadeiramente ociosa.

3. O Efeito de Amplificação de Gradiente

Uma descoberta novel deste trabalho é que a alocação não uniforme cria um loop de retroalimentação positiva que distorce a paisagem de gradientes:

• Quando os ranks são alocados de forma não uniforme, a dispersão de importância alarga em vez de estabilizar.
• Mecanismo: Camadas atribuídas com ranks mais altos absorvem mais gradiente, parecendo ainda mais "importantes", enquanto camadas de baixo rank são progressivamente silenciadas.
• Evidência: A razão máxima/mínima aumentou de 2,17× (Uniforme) para 3,00× (Proporcional) e 3,57× (Orçamento Reduzido).
• Causalidade: Este efeito é causal, não correlacional. Mesmo no controle de Alocação Aleatória, onde os ranks não tinham relação com a importância inicial do gradiente, uma forte correlação ($r > 0.97$) emergiu entre o rank alocado e a mudança de gradiente resultante. Isso implica que o rank determina a importância do gradiente no GRPO, invalidando o paradigma "perfilar e depois retreinar".

4. Lacuna de Generalização

As curvas de recompensa de treinamento foram quase idênticas em todas as configurações (atingindo ~0,74–0,77 de correção). A degradação de desempenho nos métodos adaptativos apareceu apenas no momento da avaliação. Isso indica que a alocação não uniforme prejudica a generalização para problemas não vistos, mesmo que o modelo aprenda a distribuição de treinamento igualmente bem.

Significado e Alegações

O artigo conclui que a importância do gradiente não prevê requisitos de capacidade sob RL. O significado primário deste trabalho reside em:

1. Desafiar a Transferibilidade de Heurísticas de SFT: Demonstra que estratégias provadas eficazes para SFT (como AdaLoRA ou GoRA) não devem ser aplicadas ingenuamente ao treinamento de alinhamento baseado em RL.
2. Identificar um Novo Modo de Falha: O "Efeito de Amplificação de Gradiente" revela um mecanismo onde a alocação não uniforme prejudica ativamente a dinâmica de treinamento ao silenciar camadas estruturais essenciais (por exemplo, aquelas que lidam com formatação ou precisão numérica) que geram gradientes pequenos, mas críticos.
3. Orientação Prática: Praticantes devem preferir alocação uniforme de rank para treinamento com GRPO para garantir generalização robusta, pois a paisagem de gradiente plana sob RL exige que a capacidade seja distribuída uniformemente entre todas as camadas.

Os autores permanecem modestos quanto à generalização, observando que as descobertas são atualmente limitadas a um único tamanho de modelo, conjunto de dados e algoritmo de RL, e chamam por mais replicação com escalas maiores e domínios diversos.