Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

Este estudio presenta OXRL, un marco unificado que demuestra mediante una evaluación controlada a gran escala que la selección de algoritmos de post-entrenamiento es altamente dependiente de la escala del modelo y del dominio de la tarea, revelando inversiones en el ranking de rendimiento y concluyendo que la escala del modelo tiene un impacto significativamente mayor que la elección del algoritmo o la función de pérdida.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un gran torneo de cocina donde se prueban cientos de recetas diferentes para mejorar un plato básico (un modelo de inteligencia artificial).

Aquí tienes la explicación de lo que descubrieron, usando analogías sencillas:

🍳 El Gran Experimento: ¿Qué receta es la mejor?

Durante los últimos años, los chefs (investigadores) han creado docenas de nuevas recetas para "entrenar" a la IA después de que ya sabe hablar. Algunos dicen: "¡Usa la receta DPO!", otros gritan: "¡No, la SimPO es la magia!", y hay muchas más.

El problema es que cada chef probaba su receta en una cocina diferente, con ingredientes distintos y con platos de tamaños variados. Nadie sabía cuál era realmente la mejor.

Los autores de este estudio decidieron hacer algo único: Construyeron una super-cocina controlada (llamada OXRL).

• Usaron la misma cocina, los mismos ingredientes y el mismo chef.
• Probaron 51 recetas diferentes.
• Lo hicieron con 4 tamaños de platos (desde un pequeño bocadillo de 0.5B hasta un banquete gigante de 7B).
• Repitieron la prueba muchas veces para asegurarse de que no fuera suerte.

🚀 Los 3 Descubrimientos Sorprendentes

1. El tamaño lo es todo (La paradoja del "Pequeño vs. Gigante")

Imagina que tienes dos métodos de entrenamiento:

• Método A (SGRPO): Es como un entrenador de atletismo. Funciona genial con corredores pequeños (modelos de 1.5B), haciéndolos muy rápidos.
• Método B (SimPO): Es como un arquitecto. No le importa mucho a los corredores pequeños, pero cuando tienes un edificio gigante (modelo de 7B), este método es el único que sabe cómo estructurarlo para que no se caiga.

La gran sorpresa: En los modelos pequeños, el "entrenador" ganaba por mucho. Pero en los modelos gigantes, el "arquitecto" (SimPO) se convirtió en el mejor, mientras que el entrenador fallaba estrepitosamente.

Lección: No puedes elegir una receta basándote en cómo funciona en un plato pequeño. Lo que es mejor para un niño, no es necesariamente mejor para un adulto.

2. Las "recetas secretas" no funcionan (El mito de las variantes)

Los investigadores probaron 20 versiones modificadas de la receta más famosa (DPO). Imagina que la receta base es una pizza de pepperoni.

• Algunos dijeron: "¡Pongamos un poco más de sal!" (Variante A).
• Otros: "¡Cambiemos el tipo de queso!" (Variante B).
• Otros: "¡Hagámosla más crujiente!" (Variante C).

El resultado: ¡Ninguna de las 20 variaciones mejoró la pizza! De hecho, una de ellas (SimPO) hizo que la pizza quedara terrible en los modelos pequeños.

Lección: Perder el tiempo inventando nuevas "recetas" matemáticas (funciones de pérdida) es como intentar mejorar una pizza cambiando el tipo de sal. El impacto es casi nulo. Lo que realmente importa es el tamaño de la pizza (el modelo) y la calidad de los ingredientes (los datos), no el truco culinario.

3. La magia solo funciona en el plato específico

Hicieron una prueba interesante: Entrenaron a la IA para resolver problemas de matemáticas (GSM8K) y luego la pusieron a resolver problemas de lógica general o de otro tipo (MATH).

• En matemáticas, había una gran diferencia entre las recetas (hasta 19 puntos de diferencia).
• En lógica general, todas las recetas dieron exactamente el mismo resultado. La diferencia se redujo a casi cero.

Lección: Si entrenas a un perro para que busque una pelota, será el mejor buscando pelotas. Pero si lo pruebas para que busque un palo, no importa qué entrenamiento le diste; todos los perros se comportarán igual. Las mejoras de la IA son muy específicas; no se transfieren mágicamente a otras tareas.

🏆 La Jerarquía de lo que realmente importa

El estudio nos dio una lista de prioridades para los que construyen estas IAs, ordenada de lo más importante a lo menos importante:

1. 📏 El Tamaño del Modelo (Lo más importante): Tener un modelo más grande es como tener un motor V8 en lugar de uno de 4 cilindros. Te da un salto enorme de rendimiento (aprox. 50 puntos).
2. 🔄 El Paradigma de Entrenamiento: Decidir si usas datos antiguos o generas nuevos datos en tiempo real (aprox. 10 puntos).
3. 🤖 Online vs. Offline: Si el modelo aprende mientras habla o antes (aprox. 9 puntos).
4. 📝 La Receta Matemática (Lo menos importante): Cambiar la fórmula exacta de la pérdida (aprox. 1 punto). ¡Casi no importa!

💡 ¿Qué nos dice esto a los humanos?

Si eres un ingeniero o alguien que usa estas IAs, el mensaje es claro:

• No te obsesiones con encontrar la "receta matemática perfecta".
• Enfócate en conseguir modelos más grandes y mejores datos.
• Ten cuidado: Lo que funciona en un modelo pequeño puede fallar estrepitosamente en uno grande. Prueba siempre en el tamaño real donde vas a usar la IA.

En resumen: El tamaño del modelo y la calidad de los datos son los verdaderos héroes. Las nuevas fórmulas matemáticas son solo decoraciones que no cambian el sabor del plato.

Resumen técnico

Resumen Técnico: ¿Difieren realmente los algoritmos de post-entrenamiento?

1. El Problema

La alineación de modelos de lenguaje grandes (LLM) mediante post-entrenamiento ha generado una explosión de algoritmos competidores (DPO, SimPO, KTO, GRPO, PPO, etc.). Sin embargo, los practicantes carecen de comparaciones controladas para guiar la selección de algoritmos debido a:

• Falta de control experimental: Los estudios existentes comparan algoritmos en diferentes modelos base, conjuntos de datos y suites de evaluación, lo que hace que las comparaciones sean poco fiables.
• Variables de confusión: Las diferencias en el rendimiento a menudo se atribuyen al algoritmo, cuando en realidad pueden deberse a detalles de implementación, escalas de modelo distintas o configuraciones de entrenamiento.
• Espacio de búsqueda inexplorado: No se ha determinado cómo cambian las clasificaciones de rendimiento a través de diferentes escalas de modelos, qué variantes de DPO realmente importan (existen más de 20) ni el compromiso entre métodos en línea (online) y fuera de línea (offline).

2. Metodología: El Marco OXRL

Los autores presentan OXRL, un marco unificado diseñado para realizar la primera comparación empírica a gran escala y controlada de algoritmos de post-entrenamiento.

• Diseño Unificado: Se implementaron 51 algoritmos utilizando la misma infraestructura (carga de modelos, pipeline de datos, entrenamiento distribuido con DeepSpeed ZeRO-3 y evaluación). Esto elimina el "código como variable de confusión".
• Configuración Controlada: Se fijó la familia de modelos (Qwen 2.5), los datos de entrenamiento, el optimizador y el programa de tasa de aprendizaje (LR). La única variable fue la función de pérdida.
• Escala y Variantes:
  • Escalas: Se evaluaron 8 algoritmos en 4 tamaños de modelo: 0.5B, 1.5B, 3B y 7B.
  • Taxonomía DPO: Se probaron 20 variantes de DPO en el modelo de 1.5B con 5 semillas (seeds) cada una (100 ejecuciones en total).
  • Factores de Diseño: Se incluyó un diseño factorial 2x2 en los modelos de 3B y 7B para desentrañar los efectos de la escala del modelo frente a la regularización de LoRA.
• Evaluación:
  • Dominio Principal: GSM8K (matemáticas, respuestas exactas).
  • Generalización: MATH (matemáticas de competición) y benchmarks de razonamiento general (ARC-Challenge, HellaSwag, WinoGrande).
  • Rigor Estadístico: Uso de pruebas t de Welch con corrección de Bonferroni para las variantes de DPO.
• Hallazgo Metodológico Crítico: Los autores descubrieron un error de determinismo oculto en DistributedSampler de PyTorch que eliminaba silenciosamente la varianza dependiente de la semilla en entrenamientos distribuidos, lo cual afectaba a estudios previos. Corrigieron esto y re-evaluaron para asegurar la validez de las varianzas reportadas.

3. Contribuciones Clave y Resultados Principales

El estudio, que abarcó ~240 ejecuciones de entrenamiento en GPUs H100, reveló tres hallazgos principales:

A. Inversiones de Clasificación Dependientes de la Escala
El rendimiento de los algoritmos no es estático; cambia drásticamente según el tamaño del modelo:

• A 1.5B Parámetros: Los métodos de RL en línea (SGRPO) dominan, alcanzando un 58.0% en GSM8K, superando a SFT y DPO.
• A 7B Parámetros: La jerarquía se invierte completamente. SimPO (que fue el peor en escalas pequeñas) se convierte en el mejor (85.8%), mientras que SFT colapsa cerca de la línea base.
• Causa: Un análisis factorial confirmó que esta inversión es impulsada por la escala del modelo y no por la regularización de LoRA. A mayor escala, la capacidad del modelo para aprender el formato de salida sin un modelo de referencia (como hace SimPO) se vuelve crítica.

B. Las Modificaciones de la Función de Pérdida son Irrelevantes (0/20)

• De las 20 variantes de DPO probadas, ninguna superó significativamente al DPO "vanilla" (estándar) después de aplicar la corrección de Bonferroni.
• El único resultado estadísticamente significativo fue SimPO, pero su rendimiento fue peor (-11.5 puntos porcentuales, p < 10⁻⁴).
• Conclusión: La ingeniería de funciones de pérdida es un eje de bajo impacto. La comunidad ha invertido esfuerzo en optimizar algo que aporta menos de 1 punto de mejora, mientras que la escala y el paradigma de entrenamiento aportan mucho más.

C. El Apalancamiento del Algoritmo es Específico de la Tarea
La elección del algoritmo importa casi exclusivamente dentro de la distribución de entrenamiento:

• GSM8K (Tarea de entrenamiento): Diferencia de rendimiento de 19.3 pp entre el mejor y el peor algoritmo.
• MATH (Matemáticas difíciles): La diferencia colapsa a 0.54 pp (compresión 36x).
• Dominio General: La diferencia colapsa a 0.47 pp (compresión 41x).
• Implicación: Ningún método degrada las capacidades generales, pero tampoco hay transferencia de ventajas a tareas fuera de distribución.

4. Jerarquía de Apalancamiento (Levers)

Los autores proponen una jerarquía cuantificada de qué factores importan más para el rendimiento:

1. Escala del Modelo: ~50 pp (Impacto masivo).
2. Paradigma de Entrenamiento: ~10 pp (SFT vs. RL vs. Preferencia).
3. En línea vs. Fuera de línea: ~9 pp (Depende de la tarea).
4. Función de Pérdida: ~1 pp (Impacto negligible).

5. Significado y Recomendaciones para la Práctica

Este estudio cambia la perspectiva sobre cómo seleccionar algoritmos de post-entrenamiento:

• Validación a Escala de Despliegue: No se debe confiar en resultados de modelos pequeños (≤3B) para predecir el comportamiento en modelos grandes (≥7B), ya que las clasificaciones se invierten.
• Selección de Algoritmos:
  • Modelos ≤1.5B: Preferir SFT (Supervised Fine-Tuning) sobre métodos de preferencia; es más barato y robusto.
  • Modelos ≥7B: Preferir SimPO (especialmente con LoRA), ya que ofrece la mejor precisión y eficiencia computacional.
  • Variantes DPO: Usar DPO vanilla. No hay evidencia de que las 20 variantes probadas mejoren el rendimiento base.
  • RL en Línea: Utilizar SGRPO (nivel de token) solo en tareas sensibles al formato donde el modelo puede generar soluciones correctas por sí mismo.
• Recomendación Metodológica: La comunidad debe dejar de enfocarse obsesivamente en nuevas funciones de pérdida y centrarse en entender la interacción entre algoritmos, escala y estructura de la tarea. Además, es imperativo verificar la propagación de semillas (seeds) en pipelines de entrenamiento distribuido para evitar resultados deterministas falsos.

Recursos: Los autores han liberado OXRL como un protocolo de benchmark estandarizado, incluyendo código, configuraciones YAML reproducibles y todos los datos de evaluación crudos para verificación independiente.