Resumo Técnico: Roteamento de Otimizador Guiado por Gradiente para Adaptação de LLMs (MoLF)

1. Declaração do Problema

O ajuste fino de Grandes Modelos de Linguagem (LLMs) enfrenta um compromisso estrutural fundamental entre o Ajuste Fino Completo (FFT) e a Adaptação de Baixo Rango (LoRA).

• O FFT oferece alta plasticidade representacional, essencial para injetar conhecimento de alta entropia (por exemplo, atualizações factuais), mas arrisca o esquecimento catastrófico de capacidades de raciocínio pré-treinadas devido a uma otimização agressiva.
• O LoRA atua como um regularizador implícito, preservando a lógica pré-treinada e prevenindo o sobreajuste, mas sofre de um gargalo de capacidade quando as tarefas exigem atualizações de alto rango (por exemplo, memorizar associações factuais complexas).

Evidências empíricas sugerem que nenhuma arquitetura estática é universalmente ótima; a melhor escolha depende da dimensionalidade intrínseca da tarefa e do modelo específico. Soluções existentes, como LoRA de rango adaptativo ou Mixture-of-Experts (MoE) que roteiam tokens, falham em resolver essa tensão porque ou restringem o espaço de busca a subespaços de baixo rango ou fragmentam estatísticas de gradiente ao rotear entradas, levando a dinâmicas de treinamento instáveis e problemas de inicialização fria quando os rangos mudam.

2. Metodologia: MoLF e MoLF-Efficient

Os autores propõem o Ajuste Fino Mixture of LoRA and Full (MoLF), um framework que unifica FFT e LoRA dentro de um único regime de treinamento sem alterar a estrutura da passagem direta.

Arquitetura Central

O MoLF trata os pesos do modelo base ($W_{base}$) como um "especialista FFT" e injeta múltiplos adaptadores LoRA independentes como "especialistas LoRA". Diferentemente do MoE tradicional, todos os especialistas participam de cada passagem direta e reversa. A passagem direta é uma superposição incondicional:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
onde $\alpha_i$ é um fator de escala RS-LoRA (Rank-Stabilized LoRA).

Roteamento de Otimizador Guiado por Gradiente

A novidade do MoLF reside em esparzir a etapa de atualização de parâmetros em vez da passagem direta. O framework emprega um otimizador Sparse AdamW personalizado com um mecanismo de roteamento de três fases:

1. Rastreamento Universal de Momento: Todos os especialistas (FFT e LoRA) recebem gradientes de lote completo e atualizam suas estimativas de primeiro ($m_t$) e segundo ($v_t$) momentos do Adam. Isso garante que cada especialista mantenha um estado de momento maduro e desviado, evitando o modo de falha de "inicialização fria" visto em métodos de rango adaptativo.
2. Classificação de Especialistas (Descida Pré-condicionada Esperada - EPD): Em vez de rotear com base em normas de gradiente brutas, o MoLF calcula uma pontuação EPD ($S_t^{(i)}$) para cada especialista. Essa pontuação estima a redução esperada da perda por parâmetro se aquele especialista fosse atualizado, normalizada pelo número de parâmetros ($N_{params}^{(i)}$):
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   Essa métrica leva em conta tanto o tamanho do passo pretendido pelo otimizador quanto a topologia local da perda, permitindo uma comparação justa entre o enorme esqueleto FFT e os adaptadores LoRA leves.
3. Atualização Esparsa Top-K: Apenas os $K$ especialistas superiores (tipicamente $K=1$) com as maiores pontuações EPD recebem atualizações físicas de pesos via o passo padrão AdamW. Os especialistas perdedores retêm seus pesos anteriores, mas continuam acumulando estatísticas de gradiente.

MoLF-Efficient (MoLF-E)

Para ambientes com restrição de memória, o MoLF-E remove completamente o especialista FFT. Ele roteia atualizações entre um par de especialistas LoRA com rangos variados (por exemplo, $r$ e $128$). Essa variante congela os pesos base e os parâmetros não lineares, reduzindo a sobrecarga de memória enquanto retém o benefício da busca dinâmica em subespaço.

Inferência

Após o treinamento, o MoLF permite inferência sem sobrecarga. Todos os especialistas LoRA treinados são projetados matematicamente diretamente nos pesos base ($W_{final} = W_{base} + \sum \Delta W_i$), colapsando o gráfico multi-especialista em um modelo denso padrão idêntico à arquitetura base do LLM.

3. Principais Contribuições

1. Caracterização Empírica de Regimes de Ajuste Fino: Os autores avaliam sistematicamente FFT e LoRA em três conjuntos de dados (CounterFact, MedMCQA, Text-to-SQL) e três modelos (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B). Eles identificam três regimes distintos:
   • Fact (Gargalo de Capacidade): O FFT domina; o LoRA falha em capturar espectros de valores singulares de cauda pesada e alta entropia.
   • Med (Regularização Espectral): LoRA de alto rango supera o FFT; a restrição de baixo rango atua como regularizador prevenindo o esquecimento catastrófico do raciocínio.
   • SQL (Baixa Dimensionalidade Intrínseca): Ambos performam de forma similar; o LoRA captura o espectro singular concentrado eficientemente.
2. Framework MoLF: Um método unificado que navega dinamicamente entre FFT e LoRA no nível do otimizador, garantindo dinâmicas de treinamento estáveis mantendo todos os especialistas ativos na acumulação de gradientes.
3. MoLF-E: Uma variante eficiente em memória que supera métodos de PEFT adaptativos existentes (AdaLoRA, AdaMix) mantendo especialistas LoRA paralelos de diferentes rangos sem um caminho FFT.

4. Resultados Experimentais

• MoLF vs. Baselines Estáticas: Em 9 configurações (3 modelos $\times$ 3 tarefas), o MoLF consistentemente iguala ou excede a melhor baseline estática (FFT ou LoRA de rango ótimo). Ele permanece dentro de 1,5% da melhor baseline em todos os casos e alcança a pontuação estritamente melhor em 3 configurações. Notavelmente, recupera a capacidade ao nível do FFT em tarefas Fact, enquanto supera o FFT em até 3,25% em tarefas Med.
• MoLF-E vs. PEFT Adaptativo: O MoLF-E supera o AdaLoRA e o AdaMix em 8 de 9 configurações. A melhoria é mais significativa em tarefas Fact, onde o MoLF-E alcança até 20% de precisão maior que a baseline de menor desempenho (AdaMix) ao alocar efetivamente atualizações para subespaços de maior rango quando a capacidade é o gargalo.
• Estudos de Ablação:
  • Atualizações Esparsas: Atualizar todos os especialistas simultaneamente (atualização densa) causa degradação severa de desempenho em tarefas Med devido a oscilações de otimização entre capacidades representacionais concorrentes.
  • Heurística de Roteamento: A pontuação EPD supera a Norma Frobenius Pré-condicionada (PFN) em tarefas Med, demonstrando que incorporar a taxa de aprendizado e o tamanho do passo é crucial para equilibrar especialistas de diferentes escalas.
  • Estabilidade do Roteador: O roteador converge rapidamente (dentro de ~500 passos) para uma atribuição estrutural estável, onde módulos específicos se comprometem definitivamente com caminhos FFT ou LoRA em vez de oscilar.

5. Significado e Alegações

O artigo alega que confiar em uma única arquitetura estática é estruturalmente limitado para adaptação de LLMs. O MoLF resolve a tensão entre plasticidade representacional e regularização implícita ao desacoplar a passagem direta do mecanismo de atualização.

Os autores afirmam que o MoLF fornece uma "navegação contínua" entre regimes de treinamento, permitindo que o modelo aproveite a alta capacidade do FFT para injeção de conhecimento e a regularização do LoRA para preservação do raciocínio, sem ajuste manual de hiperparâmetros ou buscas exaustivas de rango. Além disso, a capacidade de colapsar o modelo pós-treinamento garante que esses ganhos não incorram em penalidades de latência de inferência, tornando a abordagem prática para implantação. O trabalho sugere que manter uma arquitetura treinável expressiva enquanto se esparza apenas atualizações no nível do especialista é uma estratégia eficaz para capturar os benefícios de diversos tipos de especialistas.