Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models

Resumo Técnico: Supervised Fine-Tuning (SFT) vs. Reinforcement Learning (RL) em LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) pré-treinados exibem capacidades gerais impressionantes, mas frequentemente falham em atingir alta precisão, raciocínio confiável ou adaptação a domínios específicos sem um processo de pós-treinamento.
Atualmente, existem dois paradigmas principais para essa adaptação:

• Ajuste Fino Supervisionado (SFT): Treina o modelo para imitar demonstrações de especialistas (pares prompt-resposta).
• Aprendizado por Reforço (RL): Otimiza o modelo com base em um sinal de recompensa derivado de feedback humano ou automatizado.

Apesar de serem frequentemente tratados como metodologias distintas e aplicadas sequencialmente (primeiro SFT, depois RL, como no RLHF), a relação teórica e prática entre eles permanece subexplorada. A comunidade carece de uma visão unificada que explique como essas técnicas se complementam, como podem ser combinadas de forma eficiente e quando cada uma é mais adequada.

2. Metodologia e Abordagem

O artigo apresenta uma revisão sistemática e unificada das técnicas de pós-treinamento, analisando a literatura de 2023 a 2025. A metodologia do estudo envolve:

• Análise Teórica Unificada: Os autores demonstram matematicamente que o SFT pode ser visto como um caso especial do RL. Eles reformulam a função de perda do SFT como uma função de recompensa proxy (usando uma função indicadora para respostas corretas), mostrando que ambos os métodos compartilham uma estrutura de otimização comum: maximizar uma recompensa com regularização KL (Kullback-Leibler) para evitar desvios excessivos do modelo base.
• Classificação de Abordagens: O estudo categoriza as pesquisas em duas dimensões principais:
  1. Centradas em Algoritmo: Novas funções de perda, otimização de políticas (ex: GRPO, PPO, DPO) e regularização de entropia.
  2. Centradas em Dados: Seleção de dados, síntese de dados, curadoria de demonstrações e uso de rollouts (gerações do modelo) para treinamento.
• Estudo de Casos de Aplicação: Análise detalhada de quatro domínios principais onde SFT e RL são aplicados:
  • Perguntas e Respostas (QA): Raciocínio passo a passo (Chain-of-Thought), integração de conhecimento externo (RAG) e mitigação de alucinações.
  • Tarefas Matemáticas: Raciocínio lógico complexo e verificação de soluções.
  • Tarefas Agênticas: Planejamento de longo prazo e seleção de ações em ambientes dinâmicos.
  • Tarefas de Código: Geração e edição de código com feedback de execução.

3. Contribuições Principais

O artigo oferece três contribuições fundamentais:

1. Primeira Síntese Sistemática: É o primeiro estudo a comparar e sumarizar SFT e RL no contexto de pós-treinamento de LLMs, esclarecendo suas definições, objetivos e extensões tanto de perspectiva algorítmica quanto de dados.
2. Framework Unificado: Estabelece uma estrutura teórica que caracteriza o SFT como um subconjunto do RL, destacando como eles podem ser integrados em abordagens híbridas. Isso permite que técnicas desenvolvidas para um paradigma sejam transferidas para o outro (ex: uso de importance sampling do RL no SFT).
3. Análise de Tendências (2023-2025): Identifica uma mudança rápida em direção a pipelines de pós-treinamento híbridos (SFT + RL), em vez de métodos isolados. O estudo também documenta a transição de dados rotulados via API para conjuntos de dados gerados por modelos de peso aberto (open-weight).

4. Resultados e Tendências Observadas

A análise de mais de 2.000 publicações revela tendências críticas:

• Convergência para Métodos Híbridos: Em 2023, o SFT puro dominava (73%). Em 2025, os métodos híbridos (SFT + RL) tornaram-se a abordagem predominante (cerca de 70%), superando o SFT puro. Isso indica que a combinação das duas técnicas oferece estabilidade (via SFT) e capacidade de generalização/exploração (via RL).
• Expansão de Domínios: O volume de pesquisa cresceu exponencialmente em todos os domínios, com destaque para tarefas de código (crescimento de +272% entre 2023 e 2024) e matemática.
• Mudança na Fonte de Dados: Há uma migração clara do uso de modelos proprietários (API) para a geração de dados e rollouts usando modelos de peso aberto, facilitando a reprodutibilidade e reduzindo custos.
• Estratégias de Combinação: O estudo detalha várias estratégias eficazes, como:
  • Usar SFT para fornecer demonstrações iniciais e RL para refinar a exploração.
  • Métodos de "prefix sampling" para guiar a geração antes da otimização por RL.
  • Treinamento intercalado onde o modelo alterna entre imitação (SFT) e exploração (RL) dependendo do desempenho.

5. Significado e Implicações

Este estudo é fundamental para a comunidade de IA por:

• Desmistificar a Separação: Demonstrar que SFT e RL não são opostos, mas partes de um espectro contínuo de otimização, permitindo o desenvolvimento de algoritmos mais robustos.
• Guiar Práticas de Engenharia: Oferece diretrizes práticas sobre quando usar cada método (ex: SFT para estabilidade inicial e memorização de conhecimento; RL para generalização e ajuste fino baseado em recompensa).
• Definir o Futuro da Pesquisa: Aponta para a necessidade de desenvolver metodologias mais eficientes em termos de amostras e computação, especialmente para lidar com sinais de recompensa esparsos ou indiretos em tarefas do mundo real.

Em suma, o artigo estabelece que o futuro do alinhamento de LLMs reside na integração sinérgica de SFT e RL, criando pipelines de treinamento escaláveis que combinam a precisão das demonstrações humanas com a adaptabilidade do aprendizado por reforço.