Resumo Técnico: A Memória do Otimizador Torna a Ordem de Embaralhamento uma Fonte de Primeira Ordem de Ruído no Ajuste Fino

1. Enunciado do Problema

No ajuste fino (fine-tuning) de grandes modelos de linguagem, a ordem em que os domínios de dados (ou lotes/batches) são apresentados pode impactar significativamente os parâmetros finais do modelo. Análises teóricas anteriores, frequentemente assumindo passos de gradiente sem memória, previam que reordenar um multiconjunto igual de dados afetaria apenas o estado final em um nível de segunda ordem ($O(\eta^2)$) em relação à taxa de aprendizado $\eta$. Isso ocorre porque o termo de primeira ordem em uma expansão sem memória é uma soma plana sobre o multiconjunto, que permanece invariante sob permutação.

No entanto, otimizadores práticos como o AdamW não são sem memória; eles mantêm buffers de estado (momento, estimativas de variância e contadores de correção de viés) que avançam com base no índice de passo discreto $k$, não na variável de tempo contínuo de treinamento $\tau = \eta k$. O artigo postula que esse avanço de estado de "relógio fixo" faz com que o mesmo gradiente receba pesos diferentes dependendo de sua posição na sequência. Consequentemente, o contraste entre duas ordenações diferentes do mesmo dado (por exemplo, sequência $AB$ vs. $BA$) pode se tornar um efeito de primeira ordem ($O(\eta)$), em vez de um efeito de segunda ordem, tornando a ordem de embaralhamento uma fonte dominante de ruído em comparações de ajuste fino.

2. Metodologia

Estrutura Teórica: Teorema do Relógio de Estado Elevado (Lifted-State Clock Theorem)

Os autores introduzem uma estrutura de "estado elevado" onde o estado do otimizador $z = (\theta, \xi)$ inclui tanto os parâmetros $\theta$ quanto os buffers internos $\xi$. Eles analisam o comportamento local do otimizador sobre uma janela finita de $K$ passos com um estado de medição fixo.

• Otimizadores Regulares: Definidos como aqueles onde o mapa de estado local $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ possui um peso de impulso independente da posição. Para estes, os contrastes de multiconjuntos iguais são $O(\eta^2)$.
• Otimizadores de Relógio Fixo: Em otimizadores como o AdamW, a atualização de estado para os buffers (ex: $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$) avança com o índice de passo $t$. Os autores derivam um Teorema do Relógio de Estado Elevado, mostrando que, para otimizadores de relógio fixo, a diferença de parâmetro final entre duas permutações $w$ e $w'$ do mesmo multiconjunto é:
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  onde $\Lambda_{w,w'}(u)$ é a diferença nos "replays de estado do otimizador de parâmetros congelados". Se este coeficiente de replay for não nulo, o contraste de ordem escala como $O(\eta)$.

Especialização Analítica: AdamW com Precondicionador Congelado

Para derivar resultados em forma fechada, o artigo especializa-se no AdamW com um precondicionador congelado ($P_0$) no estado de medição, mantendo ativos o buffer do primeiro momento e os relógios de correção de viés.

• Pesos de Impulso: Os autores derivam um núcleo de peso de impulso dependente da posição $W^{(s,\beta)}_{r,K}$ para um gradiente na posição $r$. Diferente de otimizadores regulares, esses pesos não são planos (ex: decaindo de 0,815 para 0,100 ao longo de uma janela de 16 passos para hiperparâmetros típicos).
• Piso de Variância: Eles derivam um limite inferior assintótico para a variância dos resultados sobre permutações aleatórias. O termo principal é:
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  onde $\sigma^2_\phi$ é a variância dos gradientes projetados e $V_K$ é uma métrica do contraste de memória do otimizador (variância dos pesos de impulso). Para otimizadores regulares, $V_K=0$, resultando em variância $O(\eta^4)$; para otimizadores de relógio fixo, $V_K > 0$, resultando em $O(\eta^2)$.

Protocolo Experimental

Os autores validam essas afirmações usando células de ajuste fino LoRA locais em modelos como Pythia-1B e Llama-3.2-1B.

• Divisão de Expoente: Eles medem o escalonamento da diferença mediana de parâmetros ($\|\theta_{AB} - \theta_{BA}\|$) contra a taxa de aprendizado $\eta$.
• Controles: Eles comparam o AdamW contra:
  • SGD: Sem memória.
  • Momento de Relógio Compatível (Matched-Clock Momentum): Onde o decaimento $\beta$ e a normalização são escalonados com $\eta$ (ex: $\beta = e^{-a\eta}$) para restaurar o comportamento regular $O(\eta^2)$.
  • Momento de $\beta$ Fixo: Um controle não adaptativo para isolar o efeito do buffering da adaptatividade de coordenadas.
• Replay Determinístico por Bits: Para isolar o mecanismo, eles criam um estado de otimizador aquecido (warmed) e realizam o replay com diferentes ordenações usando passos determinísticos por bits, eliminando o ruído estocástico do gradiente.
• Diagnósticos: Eles introduzem métricas como $\rho$ (razão de região de confiança para validade local), $\chi$ (lacuna de conservatividade entre o $P$ escalar congelado e o replay total) e $\rho_{curl}$ (ordenabilidade escalar de preferências de ordem pareadas).

3. Principais Resultados

1. Mudança de Expoente de Segunda para Primeira Ordem

Medições empíricas confirmam a mudança teórica nos expoentes de escalonamento:

• SGD e Momento de Relógio Compatível: O contraste de ordem escala próximo a $\eta^2$ (expoentes $\approx 2,0$).
• AdamW de Relógio Fixo e Lion: O contraste de ordem escala próximo a $\eta^1$ (expoentes $\approx 0,91 - 1,09$).
• Momento de $\beta$ Fixo: Um controle não adaptativo com buffering de relógio fixo também exibe um expoente próximo a $1,0$ (inclinação 0,998), confirmando que o buffering sozinho (sem adaptatividade de coordenadas) é suficiente para criar o canal de primeira ordem.

2. Piso de Variância e Ruído de Ordem

• Escalonamento de Variância: A variância da órbita de ordem para o AdamW de relógio fixo escala com $\eta^{1,20}$ (bruto) ou $\eta^{1,83}$ (quando a heterogeneidade da entrada é controlada), significativamente maior do que o escalonamento de $\eta^{3,83}$–$\eta^{4,00}$ observado para SGD e controles de relógio compatível.
• Replay Determinístico: O replay determinístico por bits produz inclinações de variância de 1,83 (AdamW), 2,00 (momento de $\beta$ fixo) e 4,00 (SGD), isolando o mecanismo do ruído estocástico do gradiente.

3. Validade Local e Ordenabilidade

• Região de Confiança ($\rho$): A aproximação de primeira ordem de $P$ congelado prevê resultados vivos com alta correlação (Pearson 0,80) quando $\rho < 1$.
• Ordenabilidade Escalar ($\rho_{curl}$): No regime perturbativo, as preferências de ordem pareadas são amplamente ordenáveis por um potencial escalar (zero ciclos direcionados de 3 ordens observados quando $\rho_{curl} < 1$). Quando $\rho_{curl}$ se aproxima de 1, termos de colchete não conservativos podem criar ciclos direcionados (preferências intransitivas).

4. Orçamento de Sementes de Embaralhamento (Shuffle-Seed Budget)

O artigo fornece uma fórmula para calcular o número de sementes de embaralhamento necessárias para resolver um diferencial $\Delta$ dado o desvio padrão do ruído de ordem $\sigma_{ord}$.

• Implicação: Quando o diferencial entre configurações é comparável ao piso de ruído de ordem ($|\Delta|/\sigma_{ord} < 1$), uma comparação de única semente é subdimensionada e pode facilmente inverter o sinal do resultado. Por exemplo, em uma calibração de NLL de conjunto mantido (held-out), as taxas de mudança de sinal atingiram 33–44% quando o diferencial era pequeno em relação ao ruído.

4. Significância e Alegações

O artigo alega isolar e quantificar um mecanismo específico — memória de otimizador de relógio fixo — que eleva a ordenação de dados de um efeito negligenciável de segunda ordem para uma fonte dominante de ruído de primeira ordem no ajuste fino.

• Identificação do Mecanismo: Demonstra que a suposição de "ausência de memória" em trabalhos teóricos anteriores falha para otimizadores padrão porque seus relógios internos (contadores de passos) não escalam com a taxa de aprendizado. Isso cria pesos dependentes da posição para os gradientes.
• Impacto Prático: O "canal de ordem" resultante é grande o suficiente para que uma única semente aleatória possa inverter o resultado de um teste A/B próximo durante o ajuste fino. Isso desafia a confiabilidade de comparações de semente única em ajustes de hiperparâmetros e seleção de modelos.
• Ferramentas de Diagnóstico: Os autores fornecem uma maneira "livre de ajuste" (fit-free) de dimensionar este ruído usando o piso de variância e os pesos de impulso derivados, oferecendo um critério para determinar o orçamento necessário de sementes de embaralhamento para comparações reproduzíveis.
• Limitações de Escopo: Os autores declaram explicitamente que seus resultados em forma fechada são locais para uma janela de medição finita e dependem de uma aproximação de precondicionador congelado. Eles não pretendem resolver problemas globais de convergência ou fornecer uma política de ordenação universal, mas sim explicar a variância observada em células de ajuste fino locais.

Em resumo, o artigo argumenta que a memória do otimizador torna a ordem de embaralhamento uma fonte de primeira ordem de ruído no ajuste fino, exigindo orçamentos de sementes maiores e interpretação cuidadosa das comparações de ajuste fino ao usar otimizadores de relógio fixo como o AdamW.