RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

1. Problema e Motivação

O alinhamento de Grandes Modelos de Linguagem (LLMs) após o treinamento (post-training) depende atualmente de duas abordagens principais:

• Ajuste Fino Supervisionado (SFT): Requer dados de demonstração de alta qualidade, curados por especialistas, o que é caro e limitado. Além disso, pode levar a "esquecimento catastrófico" ou perda de capacidades gerais devido à incompatibilidade de distribuição.
• Ajuste Fino por Amostragem de Rejeição (RFT): Uma alternativa mais leve que gera múltiplas respostas, seleciona apenas as que superam um limiar de qualidade (amostras positivas) e descarta as demais.

O Problema Central: O paradigma RFT padrão possui uma ineficiência crítica: ele descarta completamente as amostras negativas (respostas abaixo do limiar). Isso desperdiça recursos computacionais e, mais importante, impede que o modelo aprenda com seus próprios erros, limitando sua capacidade de distinguir entre saídas corretas e incorretas.

Além disso, tentar integrar recompensas diretamente no SFT de forma ingênua (multiplicando a probabilidade logarítmica pela recompensa) leva a instabilidade numérica e colapso do treinamento, pois o gradiente explode quando a probabilidade de uma amostra negativa tende a zero.

---

2. Metodologia: RIFT (Reward-Informed Fine-Tuning)

O RIFT propõe um framework simples, mas eficaz, que utiliza todas as amostras geradas pelo modelo (positivas e negativas), reutilizando as rejeitadas pelo RFT.

2.1. Objetivo Geralizado Ponderado por Sinal

O RIFT estende a Estimativa de Máxima Verossimilhança (MLE) padrão. Em vez de tratar todas as amostras igualmente ou descartar as ruins, ele atribui um peso escalar (recompensa $r$) a cada amostra:

• Amostras Positivas ($r > 0$): Encorajam o aumento da probabilidade da resposta.
• Amostras Negativas ($r < 0$): Suprimem a probabilidade da resposta indesejada.

2.2. O Desafio da Instabilidade

O artigo demonstra teoricamente que uma função de perda ingênua, definida como $L = -r \cdot \log(\pi_\theta(y|x))$, torna-se ilimitada para amostras negativas.

• Se $r < 0$ e o modelo tenta suprimir a amostra (fazendo $\pi_\theta \to 0$), o termo $\log(\pi_\theta)$ tende a $-\infty$.
• Como $r$ é negativo, o produto $-r \cdot \log(\pi_\theta)$ tende a $+\infty$ no gradiente, causando explosão numérica e colapso do treinamento.

2.3. Solução: Aproximação Linear para Amostras Negativas

Para resolver a instabilidade, o RIFT introduz uma formulação de perda híbrida e estabilizada:

1. Para Amostras Positivas ($D^+$): Mantém o objetivo padrão de SFT (Log-Verossimilhança negativa ponderada), preservando o sinal de aprendizado forte.
2. Para Amostras Negativas ($D^-$): Substitui o termo logarítmico por uma aproximação linear baseada na expansão de Taylor de primeira ordem ($\log u \approx u - 1$).
   • A perda para negativas torna-se proporcional a $-r \cdot \pi_\theta(y|x)$.
   • Isso garante que o gradiente seja limitado (bounded) e constante quando a probabilidade tende a zero, evitando a explosão numérica enquanto ainda suprime efetivamente as respostas erradas.

Fórmula da Perda RIFT:
$$L_{RIFT}(\theta) = -\mathbb{E}_{D^+}[r \cdot \log \pi_\theta(y|x)] - \mathbb{E}_{D^-}[r \cdot \pi_\theta(y|x)]$$
(Onde $r < 0$ para o segundo termo, tornando o termo de perda positivo e minimizável).

---

3. Contribuições Chave

1. Reaproveitamento de Dados Negativos: O RIFT é a primeira abordagem a utilizar sistematicamente amostras rejeitadas (de baixa qualidade) no ajuste fino, transformando erros em sinais de aprendizado, o que aumenta drasticamente a eficiência dos dados.
2. Formulação de Perda Estabilizada: Resolve o problema fundamental de otimização ao integrar recompensas negativas, propondo uma função de perda híbrida (Log para positivos, Linear para negativos) que garante estabilidade numérica e evita o colapso do treinamento.
3. Eficiência Computacional: Ao contrário de métodos baseados em RL (como PPO) ou DPO (que exigem um modelo de referência), o RIFT não requer um modelo de referência, reduzindo o uso de memória de pico (VRAM) em cerca de 50% comparado ao DPO.
4. Simplicidade: Mantém a simplicidade do SFT padrão, sem a complexidade de engenharia de frameworks de RL completos.

---

4. Resultados Experimentais

Os autores avaliaram o RIFT em benchmarks matemáticos rigorosos (MATH, GSM8K, Olympiad, etc.) usando diversos modelos base (Qwen2.5-Math, Qwen3, DeepSeek-R1-Distill).

• Desempenho Superior: O RIFT superou consistentemente os baselines (SFT, DFT, RFT e DPO) em precisão média (Mean@8) e taxa de passagem (Pass@8).
  • No modelo Qwen2.5-Math-1.5B treinado no MATH, o RIFT superou o RFT em +11.4 pontos na precisão média.
  • Em modelos maiores (7B), o ganho foi menor, mas ainda superior, indicando que o RIFT é particularmente eficaz quando a geração do modelo é mista (contendo tanto acertos quanto erros).
• Generalização (OOD): O RIFT demonstrou melhor generalização para tarefas fora da distribuição (ex: Olimpíadas de Matemática) em comparação ao SFT e DFT, que tendem a sofrer com overfitting em dados de treino específicos.
• Estabilidade em Modelos de Raciocínio: Ao ser aplicado ao DeepSeek-R1-Distill-Qwen-1.5B (um modelo com raciocínio intrínseco), o RIFT evitou a degradação de desempenho observada no SFT padrão, melhorando tanto a precisão média quanto a taxa de passagem.
• Eficiência de Memória: O RIFT consome significativamente menos memória de GPU (aprox. 20-22 GB) comparado ao DPO (que exige >41 GB devido ao modelo de referência), mantendo desempenho superior.
• Robustez: O método mostrou-se robusto a diferentes magnitudes de recompensa negativa e a diferentes estratégias de normalização.

---

5. Significado e Conclusão

O RIFT representa um avanço significativo na eficiência de dados para o alinhamento de LLMs. Ao demonstrar que amostras negativas contêm informação valiosa sobre os modos de falha do modelo, o trabalho desafia a prática comum de descartar dados gerados que não passam em um limiar rígido.

A principal lição técnica é que a integração de recompensas negativas exige uma mudança na função de perda (de logarítmica para linear) para garantir estabilidade. O RIFT oferece uma alternativa robusta, escalável e economicamente viável ao RL complexo e ao SFT dependente de dados caros, permitindo que modelos aprendam com sua própria distribuição de saída, incluindo seus erros, para refinar seu raciocínio e comportamento.

Limitações Notadas: O método ainda depende da qualidade do sinal de recompensa (o "teto" de desempenho é limitado pela capacidade do avaliador de recompensas) e foi testado principalmente em tarefas com recompensas verificáveis (matemática), sendo um desafio aberto para domínios subjetivos ou de geração aberta.