Resumo Técnico: GAC – Mistura Adaptativa Consciente de Ruído para Pós-Treinamento Híbrido SFT-RL

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são tipicamente pós-treinados usando um paradigma híbrido que combina Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL). O SFT estabiliza o formato de saída do modelo usando demonstrações de especialistas, enquanto o RL melhora o comportamento de busca por recompensas por meio de simulações (rollouts) on-policy. No entanto, esses objetivos não podem ser totalmente desacoplados sem degradação mútua (Niu et al., 2026).

Os métodos híbridos atuais frequentemente dependem de cronogramas de mistura fixos ou regras heurísticas para equilibrar os gradientes de SFT e RL. Essas abordagens estáticas falham em adaptar-se quando o ruído relativo dos dois sinais evolui durante o treinamento. Especificamente, elas não conseguem levar em conta:

• Deriva de política em evolução: Mudanças na distribuição do modelo ao longo do tempo.
• Ruído de recompensa: Variabilidade nas estimativas de vantagem do RL.
• Desacordo de gradientes: Conflitos entre os objetivos de SFT e RL.

Essa falta de adaptabilidade pode induzir colapso de entropia, sobre-imitação em estágios tardios ou exploração de recompensas (reward hacking). Embora trabalhos recentes (por exemplo, CHORD, SRFT, HPT) tenham introduzido ponderação dinâmica ou acoplamento consciente de conflitos, nenhum modelou explicitamente tanto a variância do ruído do gradiente quanto o desacordo SFT–RL simultaneamente para derivar um peso de mistura ótimo.

2. Metodologia: GAC (Controlador Adaptativo Guiado)

O método proposto, GAC, reformula o problema de mistura como uma tarefa de controle consciente de ruído. Consiste em um estimador de forma fechada teórico e um controlador guiado prático.

2.1 Fundamentação Teórica: $\mu^*$ de Forma Fechada

A contribuição central é a derivação de um peso de mistura ótimo $\mu^*$ minimizando o Erro Quadrático Médio (MSE) entre o gradiente estocástico misturado e um gradiente alvo.

• Pressupostos: Seja $\hat{g}_s$ e $\hat{g}_r$ os estimadores de gradiente para SFT e RL, compostos por gradientes livres de ruído ($g^*_s, g^*_r$) e ruído de média zero ($\varepsilon_s, \varepsilon_r$) com variâncias $\sigma^2_s$ e $\sigma^2_r$.
• Objetivo: Minimizar $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$, onde $g^*$ é um gradiente alvo definido por uma razão de compromisso desejada $\alpha_{tgt}$.
• Resultado: Sob pressupostos de independência, o minimizador único é:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  onde $\Delta g^2 = \|g^*_s - g^*_r\|^2$ representa o desacordo de gradientes.
• Interpretação: Esta fórmula incorpora um compromisso viés–variância. Quando o desacordo ($\Delta g^2$) é baixo, o peso aproxima-se da ponderação por variância inversa. Quando o desacordo é alto, o peso retorna à preferência especificada pelo usuário $\alpha_{tgt}$.

2.2 Implementação Prática: Sinais Proxy e Estimação Online

Como as estatísticas reais de gradiente são caras de calcular a cada passo, o GAC emprega sinais proxy computacionalmente tratáveis estimados online a partir de tensores de treinamento existentes:

1. Incerteza do RL ($\sigma^2_r$): Estimada via dispersão de vantagem ao nível de sequência.
2. Incerteza do SFT ($\sigma^2_s$): Estimada via variância da Negativa Log-Verossimilhança (NLL) normalizada por comprimento e aparada.
3. Proxy de Desacordo ($\Delta \tilde{g}^2$): Estimado via variância das diferenças de coeficientes normalizados por z entre os gradientes de RL e SFT.

Esses proxies foram validados como tendo altas correlações de Pearson ($r \approx 0,76\text{--}0,84$) com as estatísticas reais de gradiente.

2.3 Diretrizes de Design Motivadas por Estabilidade

Para evitar mudanças abruptas e garantir a estabilidade do treinamento, o estimador bruto $\mu^*$ é processado através de um Controlador Adaptativo Guiado com três etapas protegidas:

1. Suavização EMA: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ para amortecer ruído de alta frequência.
2. Fusão de Prioridade de Cronograma: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$, onde $\mu_{prior}$ é um cronograma de aquecimento/cosseno, garantindo que o controlador não se desvie excessivamente de uma linha de base razoável.
3. Atualizações Limitadas: A mudança de passo $\delta_t$ é limitada a um pequeno limite $\bar{c}$ (por exemplo, 0,01) para evitar saltos desestabilizadores.

Além disso, a razão alvo $\alpha_{tgt}$ é ajustada dinamicamente para $\alpha_{ctrl}$ usando uma regra de histerese controlada por KL para prevenir deriva de política.

3. Contribuições Principais

1. Controlador de Mistura Consciente de Ruído (C1): Uma solução de forma fechada para o peso de mistura ótimo derivada da minimização de MSE, equilibrando variância de ruído de gradiente e desacordo de objetivos. É instanciada por proxies normalizados por z e encapsulada em um controlador com garantia de estabilidade com sobrecarga computacional <1%.
2. Integração de Reponderação por Token (C2): O sistema adota a função de reponderação por token $\phi(p) = p(1-p)$ do CHORD (Zhang et al., 2025). Os autores demonstram que este componente é ortogonal ao controlador global, fornecendo um ganho adicional de +0,4–1,4pp.
3. Avaliação Sistemática (C3): Avaliação abrangente em benchmarks de matemática, código, ciência e lógica nas escalas de 1,5B, 7B e 14B de parâmetros.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo Qwen2.5-7B-Instruct (e escalado para 1,5B/14B) usando OpenR1-Math-220k e outros benchmarks (MBPP, HumanEval, GPQA, SciBench, BBH).

• Ganhos de Desempenho:
  • Matemática (AMC): GAC + Token-φ alcança 67,2%, superando a melhor linha de base híbrida (HPT, 63,4%) em +3,8pp e o controlador consciente de ruído sozinho (GAC sem φ) em +3,0pp sobre controladores baseados em regras.
  • Código: GAC alcança 78,8% no MBPP (+3,4pp sobre CHORD) e 83,5% no HumanEval.
  • Ciência/Lógica: GAC melhora o GPQA em +3,9pp e os subconjuntos lógicos do BBH em +3,1pp sobre o HPT.
• Melhorias de Estabilidade:
  • Deriva KL: Redução da área de deriva KL em 28% comparado à mistura constante.
  • Grandes Mudanças: Redução de eventos grandes de $|\Delta \mu|$ em >70%.
  • Dinâmicas de Treinamento: O GAC mantém maior precisão de simulação (rollout), comprimentos de resposta moderados (evitando picos de exploração de recompensa) e estabilização de entropia mais rápida comparado a cronogramas fixos.
• Escalabilidade: Os ganhos escalam com o tamanho do modelo, mostrando +2,2pp em 1,5B, +3,8pp em 7B e +3,3pp em 14B.
• Eficiência: O método adiciona apenas 3 escalares EMA e incorre em <1% de sobrecarga de tempo de parede sem aumento mensurável de memória.

5. Significado e Alegações

O artigo afirma que o GAC reformula com sucesso a mistura SFT–RL como um problema de controle consciente de ruído em vez de uma tarefa de agendamento heurístico.

• Motor Primário: A análise de atribuição causal confirma que o estimador consciente de ruído (o sinal derivado de MSE) é o contribuinte dominante para os ganhos de desempenho (+3,7pp), enquanto a suavização EMA e as prioridades de cronograma fornecem estabilidade necessária, mas ganhos incrementais menores.
• Robustez: O controlador é robusto a cronogramas de prioridade fracos ou mal especificados; mesmo com prioridades constantes "ruins", o GAC corrige efetivamente o peso de mistura.
• Limitações: Os autores observam que a análise de estabilidade depende de pressupostos idealizados (perdas L-suaves, atualizações limitadas por KL) e fornece diretrizes de design em vez de garantias estritas de convergência. O método é atualmente validado em tarefas com recompensas verificáveis; a extensão para alinhamento aberto com modelos de recompensa aprendidos permanece como trabalho futuro.

Em resumo, o GAC fornece um mecanismo teoricamente fundamentado e de baixa sobrecarga para equilibrar dinamicamente SFT e RL com base em estimativas de incerteza em tempo real, superando significativamente cronogramas fixos e controladores heurísticos em diversas tarefas de raciocínio.