Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models

1. El Problema

Los Modelos de Lenguaje Grandes (LLM) preentrenados poseen capacidades generales notables, pero a menudo carecen de la precisión, la fiabilidad en el razonamiento y las habilidades específicas necesarias para tareas especializadas (como razonamiento complejo, generación de código o comportamiento de agentes). Para superar estas limitaciones, se requiere una fase de ajuste post-entrenamiento.

Actualmente, existen dos paradigmos principales para este ajuste:

• Ajuste Fino Supervisado (SFT): Entrena el modelo para imitar demostraciones de expertos (pares prompt-respuesta). Es estable y eficiente, pero puede sufrir de desplazamiento de distribución y falta de generalización.
• Aprendizaje por Refuerzo (RL): Optimiza el modelo basándose en una señal de recompensa (humana o automatizada) para maximizar el rendimiento en una tarea. Mejora la exploración y la generalización, pero es inestable, costoso computacionalmente y propenso a problemas como el "hackeo de recompensas" o el colapso de entropía.

Aunque a menudo se tratan como metodologías distintas y secuenciales (primero SFT, luego RL), la literatura carecía de una perspectiva unificada que analizara su interrelación teórica y su combinación práctica. Este estudio busca llenar ese vacío.

2. Metodología

El artículo presenta un análisis exhaustivo y unificado de los métodos de post-entrenamiento, estructurando su investigación en tres pilares:

• Revisión Teórica y Metodológica:
  • Se examinan las estructuras algorítmicas y los requisitos de datos de SFT y RL por separado.
  • Unificación de Objetivos: Los autores demuestran teóricamente que el SFT puede considerarse un caso especial de RL. En esta formulación, la función de pérdida de SFT es equivalente a una optimización de RL donde la recompensa es una función indicadora que vale 1 si la salida del modelo coincide exactamente con la demostración experta y 0 en caso contrario. Esto permite abstraer ambos objetivos bajo una misma fórmula que incluye una regularización KL (Kullback-Leibler) para mantener la estabilidad.
• Análisis de Combinaciones Híbridas:
  • Se estudian frameworks que integran SFT y RL, como el uso de demostraciones offline para guiar el aprendizaje online (RL), o el uso de RL para refinar las demostraciones de SFT.
  • Se analizan técnicas como Prefix Sampling, Rollouts ramificados y objetivos unificados (ej. UFT, SRFT) que combinan ambas pérdidas en un solo proceso de entrenamiento.
• Estudio Empírico de Tendencias (2023-2025):
  • Se realizó un análisis cuantitativo de publicaciones recientes en cuatro dominios clave: Preguntas y Respuestas (QA), Matemáticas, Tareas de Agentes y Código.
  • Se evaluaron las tendencias en el volumen de investigación, la adopción de metodologías híbridas y el cambio en las fuentes de datos (de etiquetas humanas/API a modelos de peso abierto generados automáticamente).

3. Contribuciones Clave

1. Primera Síntesis Sistemática: Es el primer estudio que compara y unifica sistemáticamente el SFT y el RL en el contexto del post-entrenamiento de LLM, clarificando sus fundamentos teóricos y cómo se extienden desde perspectivas centradas en algoritmos y datos.
2. Marco Unificado: Establece un marco teórico que caracteriza al SFT como un subconjunto de RL, demostrando que las técnicas desarrolladas para uno (como el muestreo de importancia o el rollout online) pueden transferirse al otro.
3. Identificación de Tendencias Emergentes: A través del análisis de datos de 2023 a 2025, identifican un cambio rápido hacia paradigmas de entrenamiento híbrido, donde la combinación de SFT y RL supera a los enfoques aislados. También documentan la transición de datos etiquetados por API hacia conjuntos de datos generados por modelos de peso abierto.

4. Resultados y Hallazgos Principales

• Convergencia hacia lo Híbrido: El análisis de tendencias muestra que, en 2023, el SFT puro dominaba (73%), mientras que los métodos híbridos eran minoritarios (20%). Para 2024 y 2025, los enfoques híbridos (SFT + RL) se han convertido en la norma, representando más del 70% de los estudios, superando a los métodos de SFT puro.
• Dominios de Aplicación:
  • Matemáticas y Razonamiento: Se observa un crecimiento explosivo en investigaciones que utilizan rollouts paso a paso y verificación de recompensas para mejorar el razonamiento lógico.
  • Agentes Autónomos: La combinación de SFT (para imitar trayectorias exitosas) y RL (para explorar y optimizar la planificación a largo plazo) es crucial para tareas complejas de interacción con el entorno.
  • Código: El uso de recompensas ejecutables (pruebas unitarias) combinado con SFT ha mejorado significativamente la generación y edición de código.
• Eficiencia de Datos: Se ha producido un cambio significativo en la fuente de datos. La dependencia de etiquetas humanas o APIs propietarias está disminuyendo, favoreciendo el uso de modelos de peso abierto para generar datos de entrenamiento y rollouts, lo que reduce costos y aumenta la escalabilidad.
• Compensaciones (Trade-offs): El SFT es esencial para la estabilidad inicial y la inyección de conocimiento, pero el RL es necesario para la generalización y la corrección de errores en escenarios nuevos. El uso exclusivo de uno de los dos suele ser subóptimo.

5. Significado e Impacto

Este estudio es fundamental para la comunidad de IA porque:

• Desmitifica la dicotomía: Rompe la barrera conceptual entre SFT y RL, mostrando que no son métodos opuestos, sino complementarios que pueden y deben integrarse.
• Guía Práctica: Ofrece directrices claras sobre cuándo utilizar cada método (o su combinación) según la disponibilidad de datos expertos, la complejidad de la tarea y los recursos computacionales.
• Dirección Futura: Señala hacia la necesidad de desarrollar metodologías más eficientes en términos de muestra y cómputo, y de explorar señales de recompensa indirectas o escasas en entornos del mundo real.
• Estándar de Referencia: Establece una base teórica y empírica sólida para futuras investigaciones en la alineación escalable, eficiente y generalizable de LLMs.

En resumen, el artículo concluye que el futuro del post-entrenamiento de LLMs reside en pipelines híbridos que aprovechan la estabilidad del SFT y la capacidad de exploración del RL, apoyados por infraestructuras de datos generadas por modelos abiertos.