IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

1. Problema e Motivação

O alinhamento de Grandes Modelos de Linguagem (LLMs) com preferências humanas geralmente depende de métodos como Reinforcement Learning from Human Feedback (RLHF) ou Direct Preference Optimization (DPO), que exigem conjuntos de dados caros e difíceis de escalar. O Fine-Tuning de Autojogo (Self-Play Fine-Tuning - SPIN) surgiu como uma alternativa promissora, permitindo que o modelo melhore além do Supervised Fine-Tuning (SFT) sem anotações humanas adicionais, contrastando respostas anotadas com respostas geradas pelo próprio modelo em iterações anteriores.

No entanto, os métodos existentes de autojogo apresentam limitações fundamentais:

• Regimes de Divergência Fixos: Métodos como SPIN, SPACE e SPIF baseiam-se em divergências específicas (KL, Jensen-Shannon ou $\chi^2$) que são fixas durante todo o treinamento.
• Dinâmica de Aprendizado Subótima: Nenhuma divergência única é ideal para todas as etapas do treinamento.
  • A Divergência KL oferece gradientes suaves quando o modelo está longe do alvo, mas perde sensibilidade à medida que as distribuições convergem (causando o desaparecimento do gradiente).
  • A Divergência $\chi^2$ oferece discriminação fina e recompensas limitadas perto da convergência, mas penaliza excessivamente outliers no início.
  • A Divergência Jensen-Shannon garante estabilidade, mas é menos sensível a diferenças em estágios avançados.
• Instabilidade: A fixação em um único regime de divergência leva a instabilidades ou estagnação de desempenho em iterações posteriores.

2. Metodologia: IRIS

Os autores propõem o IRIS (Interpolative Rényi Iterative Self-play), um quadro unificado baseado na Divergência de Rényi, que permite ajustar continuamente o objetivo de aprendizado conforme a lacuna distribucional entre o modelo e o alvo.

2.1. Objetivo Baseado em Risco Inclinado (Tilted Risk)

O IRIS decompõe o objetivo de perda em dois termos independentes sobre dados anotados (reais) e dados sintéticos (gerados), utilizando a representação variacional da Divergência de Rényi $D_\alpha(p \| q)$. A função de perda é definida como:

$$\mathcal{L}_{IRIS}(\theta; \alpha) = -\frac{1}{\alpha-1} \log \mathbb{E}_{y \sim p_{data}} \left[ e^{(\alpha-1)r(x,y)} \right] + \frac{1}{\alpha} \log \mathbb{E}_{y' \sim p_{\theta_t}} \left[ e^{\alpha r(x,y')} \right]$$

Onde:

• $r(x, \hat{y}) = \log p_\theta(\hat{y}|x) - \log p_{\theta_t}(\hat{y}|x)$ é a recompensa log-ratio.
• $\alpha$ é o parâmetro de ordem da Divergência de Rényi.
• O primeiro termo é um risco inclinado negativo sobre dados reais (encorajando alta recompensa).
• O segundo termo é um risco inclinado positivo sobre dados sintéticos (penalizando alta recompensa).

2.2. Mecanismo de Pesos de Importância

O gradiente do IRIS atua como uma atualização de verossimilhança ponderada por importância exponencial:
$$\tilde{w} \propto \exp((\alpha-1) \cdot r)$$

• Para $\alpha > 1$, o modelo foca mais em amostras informativas (onde a recompensa é alta para dados reais e onde o modelo erroneamente favorece dados sintéticos).
• Isso cria um mecanismo de "atenção diferenciável" que pode ser ajustado continuamente.

2.3. Unificação Teórica

O IRIS unifica métodos existentes como casos limites ou regimes representativos de $\alpha$:

• $\alpha \to 1$ (KL): Recupera o regime do SPIN original (gradientes uniformes).
• $\alpha = 2$ ($\chi^2$): Recupera métodos como SPIF e SPPO (recompensas limitadas, foco em outliers).
• $\alpha = 1/2$ (Hellinger): Um novo regime que enfatiza respostas reais com baixo desempenho (comportamento de "cobertura de modo").

2.4. Agendamento Adaptativo de Ordem (Adaptive Order Schedule)

A principal inovação prática é a adaptação dinâmica de $\alpha_t$ a cada iteração $t$ baseada na lacuna distribucional atual:
$$\alpha_t = 1 + c \cdot \hat{D}_t$$
Onde $\hat{D}_t$ é o gap de recompensa esperado entre dados reais e sintéticos.

• Início do Treinamento (Gap Grande): $\alpha_t$ é alto, promovendo exploração e foco em amostras informativas (comportamento tipo $\chi^2$).
• Fim do Treinamento (Gap Pequeno): $\alpha_t$ diminui em direção a 1, suavizando os gradientes para refinamento estável (comportamento tipo KL).

3. Contribuições Chave

1. Perspectiva Unificada: Demonstra que diversos objetivos de autojogo (SPIN, SPACE, SPIF) são casos especiais de um único quadro baseado na Divergência de Rényi.
2. Framework IRIS: Propõe um método de fine-tuning com um objetivo continuamente ajustável e um agendamento adaptativo de ordem que responde à dinâmica do treinamento.
3. Análise Teórica: Estabelece a propriedade de ponto fixo do IRIS (garantindo convergência para a distribuição alvo) e analisa como $\alpha$ controla a concentração do gradiente.
4. Eficiência de Dados: Demonstra que o IRIS supera o SFT padrão mesmo utilizando uma fração significativa dos dados anotados.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos Zephyr-7B e Qwen2.5-3B em 10 benchmarks (incluindo GSM8K, MATH, MMLU, IFEval, etc.).

• Desempenho Geral: O IRIS alcançou a pontuação média mais alta entre todos os métodos de autojogo testados.
  • No Zephyr-7B, alcançou 44,57% na iteração 4, superando T-SPIN (43,56%), SPACE (42,40%) e SPIN (40,19%).
  • No Qwen2.5-3B, alcançou 56,18%, superando consistentemente as outras bases.
• Estabilidade: Enquanto métodos como SPIN e SPIF mostraram degradação ou estagnação em iterações posteriores (devido ao desaparecimento do gradiente ou instabilidade), o IRIS manteve melhorias monotônicas ou estáveis ao longo de todas as iterações.
• Eficiência de Dados:
  • O IRIS treinado com apenas 26k amostras anotadas superou o SFT padrão treinado com 200k amostras (ganho de 0,54 pontos).
  • Com 50k amostras, o IRIS superou o SFT de 200k em 1,13 pontos.
• Dinâmica de Treinamento: A análise mostrou que o IRIS aumenta a recompensa absoluta nos dados reais (diferente do SPIN, que apenas maximiza a diferença relativa), evitando o colapso de recompensas em dados de alta qualidade.

5. Significância e Conclusão

O IRIS resolve o dilema da seleção de divergência no fine-tuning de autojogo ao introduzir uma geometria de divergência adaptativa. Em vez de escolher uma divergência fixa que pode ser ótima apenas em uma fase específica, o IRIS "navega" suavemente entre regimes de exploração (foco em amostras difíceis) e refinamento (gradientes suaves) à medida que o modelo aprende.

Impacto:

• Permite que modelos de linguagem melhorem iterativamente sem a necessidade de novos dados humanos caros.
• Oferece uma solução teórica e prática para a instabilidade comum em métodos de autojogo de iterações múltiplas.
• Demonstra que a adaptação do hiperparâmetro de divergência baseada no estado atual do modelo é superior a agendamentos fixos ou estáticos.

O trabalho sugere futuras direções para extensões em cenários não estacionários, diálogos multi-turno e escalabilidade para arquiteturas maiores, consolidando a Divergência de Rényi como uma ferramenta central para o alinhamento de LLMs.