Resumo Técnico: FRAME (Fractional-Fourier Mixture of Experts)

1. Declaração do Problema

Os métodos de Ajuste Fino de Parâmetros Eficientes (PEFT), particularmente o Low-Rank Adaptation (LoRA), tipicamente reparametrizam as atualizações de peso dentro de uma base fixa. A abordagem dominante opera no domínio espacial (coordenadas canônicas), enquanto uma linha crescente de métodos espectrais opera em um domínio de Fourier fixo. O artigo argumenta que essa dicotomia representa uma escolha de design não examinada: nenhum domínio único é ideal para todas as tarefas, camadas ou tokens.

Os métodos existentes comprometem-se com ou o domínio espacial ($a=0$) ou o domínio de Fourier ($a=1$), potencialmente desperdiçando capacidade se a representação da atualização ideal residir em um domínio intermediário. Além disso, adaptadores de domínio fixo frequentemente sofrem interferência ao fundir ou realizar aprendizado multitarefa porque as atualizações podem ocupar subespaços sobrepostos. O problema central é que o próprio domínio de adaptação deve ser um grau de liberdade aprendível, em vez de uma convenção fixa.

2. Metodologia: FRAME

Os autores propõem o FRAME (Fractional-Fourier Mixture of Experts), um adaptador PEFT que trata o domínio de adaptação como uma quantidade aprendível por especialista.

Mecanismo Central

O FRAME utiliza a Transformada de Fourier Fracionária (FrFT), uma família de transformadas unitárias de um parâmetro que interpola continuamente entre o domínio espacial e o domínio de Fourier.

• O Parâmetro: A transformada é definida por uma ordem $a \in [0, 1]$.
  • $a=0$: Transformada de identidade (Domínio Espacial, equivalente ao LoRA padrão).
  • $a=1$: Transformada de Fourier padrão (Domínio Espectral).
  • $0 < a < 1$: Domínios intermediários que representam uma rotação no plano tempo-frequência.
• Arquitetura: O FRAME é um Mixture-of-Experts (MoE) adapter. Cada especialista $i$ possui:
  1. Fatores de baixo rank padrão $A_i \in \mathbb{R}^{r \times d}$ e $B_i \in \mathbb{R}^{d_{out} \times r}$.
  2. Uma ordem escalar aprendível $a_i \in [0, 1]$.
• Passagem de Forward: Para um token $x$, a atualização é computada como:
  $$\Delta W_i x = B_i A_i \text{Re}\{\Phi_{a_i} x\}$$
  onde $\Phi_{a_i}$ é a FrFT discreta de ordem $a_i$. O token é primeiro rotacionado para o domínio fracionário específico do especialista, a parte real é extraída, e a projeção de baixo rank é aplicada.
• Roteamento: Um roteador seleciona os top-$k$ especialistas para cada token, permitindo que diferentes tokens sejam adaptados em diferentes domínios simultaneamente.

Eficiência e Otimização

• Custo Computacional: Materializar a matriz FrFT explicitamente custaria $O(d^2)$. O FRAME emprega um substituto de chirp–FFT (Ozaktas et al., 1996) que computa a transformada em tempo $O(d \log d)$ via multiplicação pré-chirp, uma FFT e multiplicação pós-chirp. Isso adiciona um overhead negligível comparado ao MoE-LoRA padrão.
• Estratégia de Otimização:
  • Otimizadores Separados: As ordens escalares $\{a_i\}$ e os fatores de matriz $\{A_i, B_i\}$ são treinados com otimizadores separados. A taxa de aprendizado para as ordens ($\eta_a$) é significativamente menor que para as matrizes ($\eta$) porque pequenas mudanças em $a$ rotacionam todo o domínio, enquanto as atualizações de matriz são densas.
  • Balanceamento de Carga Agrupado: Para evitar que os especialistas colapsem para um único domínio, os autores particionam os especialistas em $G$ "bandas de ordem" (inicializadas em uma grade uniforme). Uma perda de balanceamento é aplicada dentro de cada banda para garantir o uso diversificado dos domínios sem forçar a uniformidade global.

3. Principais Contribuições

1. Reenquadramento do Domínio: O artigo reenquadra a dicotomia espacial-vs-espectral como um eixo contínuo único (a ordem fracionária) e demonstra que o domínio de adaptação ideal varia por tarefa, camada e token.
2. Arquitetura FRAME: Introdução de um adaptador MoE com ordens por especialista aprendíveis, um substituto de transformada de $O(d \log d)$ e um regime de otimização específico para os parâmetros de domínio.
3. Garantias Teóricas:
   • Generalização Estrita: O FRAME generaliza estritamente tanto o LoRA espacial quanto os adaptadores de domínio de Fourier.
   • Descorrelação: Prova teórica de que especialistas com ordens bem separadas são mutuamente incoerentes (descorrelacionados), reduzindo a interferência entre tarefas e especialistas.
   • Estabilidade: Provas de que os gradientes de ordem são limitados, garantindo um treinamento estável.
4. Desempenho Empírico: O FRAME supera as bases espaciais e espectrais fortes (incluindo FlyLoRA, Fourier-MoE e HMoRA) em benchmarks de senso comum, matemática, código e conhecimento no LLaMA-3.1-8B e QWEN2.5-7B, mantendo um orçamento de parâmetros ativos baixo.

4. Resultados Experimentais

• Desempenho: No LLaMA-3.1-8B, o FRAME alcançou uma acurácia média de senso comum de 87,1%, superando a base mais forte (MoA, 86,3%) por +0,8% e o vanilla LoRA por +2,6%. Ganhos semelhantes foram observados no QWEN2.5-7B.
• Eficiência: O FRAME ativa apenas 0,31% dos parâmetros (comparável ou inferior a muitos baselines de MoE) enquanto atinge a melhor acurácia.
• Estudos de Ablação:
  • Fixar a ordem em $a=0$ (espacial) ou $a=1$ (espectral) resultou em quedas significativas de desempenho (−1,4% e −1,1%, respectivamente), confirmando que um domínio único e fixo é insuficiente.
  • Usar uma grade de ordens diversa fixa (não aprendida) recuperou apenas parte da diferença de desempenho, destacando a necessidade de aprender a ordem específica por especialista.
  • O substituto de chirp–FFT incorreu em menos de 7% de overhead no tempo de treinamento comparado ao MoE-LoRA espacial, enquanto uma implementação de transformada densa era 3× mais lenta.
• Análise de Mecanismo:
  • Especialização: As ordens aprendidas especializaram-se por tarefa e profundidade de camada (mudando de próximo ao espacial em camadas iniciais para mais espectral em camadas posteriores).
  • Descorrelação: A coerência inter-especialista diminuiu monotonicamente conforme a diferença em suas ordens aumentava, validando a propriedade de descorrelação teórica.
  • Roteamento de Tokens: Diferentes tipos de tokens (ex: numerais vs. palavras funcionais) foram roteados para ordens sistematicamente diferentes.

5. Significância e Alegações

O artigo alega que o domínio de adaptação é uma escolha de design aprendível, não uma convenção fixa. Ao introduzir um espectro contínuo de domínios via a ordem de Fourier fracionária, o FRAME permite que o modelo coloque as atualizações de baixo rank no domínio onde elas são mais compactas e menos interferentes.

Os autores enfatizam três vantagens específicas:

1. Expressividade: Uma mistura abrangendo múltiplos números representa atualizações que nenhum adaptador de domínio único da mesma rank pode capturar.
2. Descorrelação: Diferentes ordens induzem subespaços mutuamente incoerentes, reduzindo naturalmente a interferência entre especialistas e tarefas sem exigir restrições de ortogonalidade rígidas.
3. Eficiência: O domínio aprendível adiciona um custo computacional negligível devido ao substituto eficiente de chirp–FFT.

O artigo conclui que o FRAME fornece um "eixo amplamente útil" para a adaptação, sugerindo que a lente fracionária poderia ser aplicada ao ajuste fino total, mecanismos de atenção ou aprendizado contínuo, embora isso seja deixado como trabalho futuro. Os autores observam limitações relativas ao overhead não nulo da transformada e à sensibilidade ao colapso de roteamento, que eles mitigam, mas não eliminam totalmente.