Resumo Técnico: LoRA Consultável: Roteamento Regularizado por Instruções sobre Átomos de Atualização de Baixo RANK Compartilhados

1. Declaração do Problema

A Adaptação de Baixo RANK (LoRA) padrão alcança eficiência de parâmetros ao restringir as atualizações de camadas a um subespaço de baixa dimensão fixo e local à camada ($\Delta W_\ell = \frac{\alpha}{r} B_\ell A_\ell$). Embora escalável, essa parametrização estática introduz limitações estruturais:

1. Rigidez: O mesmo adaptador é reutilizado para cada entrada, mesmo quando correções ótimas variam entre exemplos ou estágios de computação.
2. Fragmentação: A capacidade treinável é fragmentada entre camadas independentes, forçando o modelo a reaprender padrões de adaptação recorrentes em diferentes profundidades.
3. Compensação Estática vs. Dinâmica: Métodos dinâmicos existentes dependem ou de compartilhamento estático (por exemplo, ShareLoRA), que carece de sensibilidade à entrada, ou geram parâmetros densos diretamente a partir de texto (por exemplo, Text-to-LoRA), o que incorre em escalamento quadrático e instabilidade.

O objetivo é manter a eficiência e escalabilidade da LoRA, permitindo que a atualização efetiva varie dinamicamente com base na entrada atual, no estado de profundidade da rede e em instruções de linguagem opcionais.

2. Metodologia: LoRA Consultável Regularizado por Instruções

O método proposto substitui o gargalo rígido e local à camada da LoRA por um banco de memória globalmente compartilhado e consultável de átomos de atualização de baixo rank.

Arquitetura Central

• Banco de Átomos Compartilhado: Em vez de matrizes fixas, o modelo mantém um banco global de átomos de atualização no espaço de rank $\mathcal{C} = \{C_m\}_{m=1}^M$ emparelhados com chaves $\{k_m\}_{m=1}^M$.
• Roteamento por Blocos: As camadas são partitionadas em blocos contínuos $\{B_b\}$. Para cada bloco, um roteador monta um operador dependente de exemplo $S_b(c)$ dentro do gargalo de baixo rank.
• Consulta Dependente de Estado: O roteador forma uma consulta $q_b$ condicionada a:
  • O estado atual de baixo rank na entrada do bloco ($s^{entry}_{\ell_b}$).
  • Um resumo em execução, baseado em atenção, dos blocos anteriores ($u^{att}_{b-1}$), permitindo que o modelo utilize o histórico de computação de profundidade.
  • Um embebedamento opcional de instrução de linguagem $e(c)$.
• Atualização Dinâmica: A atualização efetiva para uma camada $\ell$ dentro do bloco $b$ é:
  $$\Delta W_\ell(h_\ell; c) = \frac{\alpha}{r} B_\ell \left( I_r + g_\ell S_b(c) \right) A_\ell$$
  onde $g_\ell$ é um portão escalar aprendido, e $S_b(c)$ é uma combinação convexa esparsa de átomos compartilhados selecionada via atenção.

Regularização por Instruções

Diferentemente de métodos que geram pesos diretamente a partir de texto, esta abordagem usa a linguagem como um prior semântico para enviesar o processo de recuperação:

1. Moldagem da Consulta: O embebedamento da instrução influencia a consulta do bloco $q_b$ através de um termo $\lambda_{ctx} Q_{ctx} e(c)$.
2. Regularização de Logits: Os logits de roteamento $\zeta_{b,m}$ (dependentes de estado) são aumentados com um prior induzido por linguagem $\log p_m(c)$:
   $$\tilde{\zeta}_{b,m}(c) = \zeta_{b,m} + \tau_{lang} \log p_m(c)$$
   Isso enviesa a seleção de átomos em direção a direções semanticamente relevantes sem gerar parâmetros não restritos.

3. Contribuições Principais

1. Memória de Atualização Consultável: Um banco de memória globalmente compartilhado de átomos no espaço de rank que substitui modificações de camadas estáticas. O modelo recupera uma mistura esparsa desses átomos com base na representação de baixo rank atual e em um resumo de profundidade, permitindo adaptação dependente de entrada e de profundidade.
2. Regularização por Instruções: Um mecanismo que usa instruções de linguagem como um prior semântico para guiar a recuperação de átomos de atualização. Isso garante que as atualizações sejam semanticamente relevantes, mantendo o controle de norma inerente aos gargalos de baixo rank.
3. Garantias Teóricas:
   • Caracterização Variacional: Os pesos de roteamento são provados como solução de um problema variacional que equilibra a utilidade do estado contra uma penalidade KL em relação ao prior de instrução.
   • Controle de Norma: A atualização efetiva permanece limitada dentro da envoltória convexa dos átomos compartilhados, garantindo estabilidade comparável à LoRA padrão.
   • Fatoração de Gradiente: O método fornece fatoração exata de gradiente por blocos, mostrando que átomos compartilhados recebem supervisão estruturada de todas as camadas em um bloco, facilitando o aprendizado de direções de atualização reutilizáveis.
4. Desempenho Empírico: O método demonstra desempenho de teste aprimorado e estabilidade de treinamento em tarefas de regressão não linear ruidosas e em benchmarks de ajuste fino de LLM, usando um número comparável de parâmetros treináveis à LoRA padrão.

4. Resultados Experimentais

Regressão Não Convexa Sintética

Avaliado em nove funções de benchmark estocásticas não convexas (por exemplo, Ackley, Dropwave, Rastrigin).

• Descobertas: O adaptador consultável supera significativamente a LoRA estática e outras bases de PEFT (DoRA, HyRA, RepLoRA) em funções com heterogeneidade local pronunciada (por exemplo, Dropwave, onde correções estáticas falham).
• Estabilidade: Em arquiteturas profundas e estreitas (32 camadas), o método consultável evita os platôs de otimização e a instabilidade observados em métodos baseados em hiper-redes ou estáticos, alcançando menor MSE de teste.

Ajuste Fino de LLM

Avaliado em tarefas gerais (GPQA-Diamond, MBPP, ARC, Super-GLUE) e raciocínio matemático (GSM8K, MATH, Numina-Math) usando modelos como Qwen0.5B e Mistral7B.

• Generalização: A LoRA Consultável Regularizada por Instruções supera consistentemente a LoRA padrão e outras bases em conjuntos de teste retidos, alcançando os melhores resultados em 6 de 7 tarefas gerais.
• Raciocínio: Ganhos significativos foram observados em benchmarks de matemática de múltiplos passos, sugerindo que átomos roteados compartilhados são particularmente eficazes para tarefas que exigem adaptação reutilizável de profundidade.
• Dinâmica de Otimização: A análise de gradiente revela que o roteamento regularizado por instrução mantém sinais de gradiente mais fortes através das camadas intermediárias e tardias em comparação com a LoRA estática, prevenindo o colapso de gradiente por camada.
• Eficiência: Embora ligeiramente mais lenta que a LoRA estática devido à sobrecarga de roteamento, o método é substancialmente mais rápido que bases dinâmicas expressivas como RepLoRA e HyRA, com sobrecarga aritmética negligenciável.

Aprendizado Contínuo

Em um cenário sequencial de aprendizado contínuo (MBPP $\to$ GSM8K $\to$ GPQA-Diamond), o método demonstrou:

• Retenção: Rotas de alta massa estáveis para tarefas anteriores (MBPP) foram preservadas.
• Adaptabilidade: Novas tarefas induziram deriva de rota localizada em vez de esquecimento catastrófico ou espalhamento uniforme de massa.
• Estrutura: O roteador manteve um padrão de acesso à memória esparsa e não uniforme, equilibrando a retenção de conhecimento com flexibilidade.

5. Significado e Alegações

O artigo posiciona a LoRA Consultável como um meio-termo principiado entre atualizações no estilo LoRA estático e atualizações de parâmetros totalmente geradas.

• Eficiência vs. Flexibilidade: Mantém a eficiência de parâmetros e escalabilidade da LoRA, permitindo que a correção efetiva varie com a entrada e o estado de profundidade.
• Estabilidade: Ao recuperar de um banco de memória limitado em vez de gerar pesos, evita a instabilidade e o escalamento quadrático dos métodos de geração de texto para peso.
• Interpretabilidade: O uso de linguagem como prior semântico fornece um mecanismo interpretável para guiar a adaptação sem sobrepor os sinais de estado interno do modelo.
• Limitações: Os autores reconhecem que a vantagem não é uniforme em todos os benchmarks e que o mecanismo de roteamento por blocos aumenta a complexidade da passagem frontal, embora permaneça competitivo com outros métodos dinâmicos. Eles também notam potenciais preocupações de segurança relacionadas à facilidade de adaptação prejudicial do modelo via roteamento dependente de contexto.

Em resumo, o trabalho demonstra que uma memória compartilhada e consultável de átomos de baixo rank, guiada por estado e instruções opcionais, pode melhorar a estabilidade de otimização e a generalização no ajuste fino eficiente de parâmetros, sem sacrificar os benefícios centrais de eficiência da LoRA.