Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?

Resumen Técnico: Descomposición del Delta en la Optimización de Preferencias para Razonamiento

1. Planteamiento del Problema

Los métodos de optimización de preferencias, como DPO (Direct Preference Optimization) y KTO, son fundamentales para alinear modelos de lenguaje (LLMs) con las preferencias humanas. Sin embargo, existe una comprensión limitada sobre qué propiedades específicas de los datos de preferencia impulsan las mejoras en el razonamiento.

Tradicionalmente, se asume que la supervisión de alta calidad (donde la respuesta "elegida" es correcta y la "rechazada" es incorrecta) es necesaria para el ajuste fino. Recientemente, la hipótesis del aprendizaje delta (Geng et al., 2025) desafió esto, sugiriendo que la brecha de calidad relativa (el "delta") entre dos respuestas débiles es suficiente para mejorar un modelo estudiante, incluso si ninguna supera la capacidad del estudiante.

El problema central que aborda este trabajo es: ¿Qué aspectos de un par de preferencia mejoran realmente el rendimiento de un modelo de razonamiento? Los autores buscan distinguir entre el valor absoluto de las respuestas y la magnitud de la diferencia entre ellas, tanto a nivel de generación como a nivel de muestra.

2. Metodología

Los autores proponen y analizan dos nociones distintas de "delta" (diferencia de calidad) en los datos de preferencia:

• Delta a Nivel de Generador (Generator-level Delta): La diferencia de capacidad entre los modelos que generan las respuestas elegidas y las rechazadas. Esto es una elección de diseño durante la construcción de datos.
• Delta a Nivel de Muestra (Sample-level Delta): La diferencia de calidad dentro de un par de preferencia individual, medida a lo largo de dimensiones específicas de razonamiento.

Configuración Experimental:

• Modelos Base: Se utiliza Nemotron-8B como modelo base para el ajuste.
• Síntesis de Respuestas: Se generan trazas de razonamiento utilizando familias de modelos de diferentes escalas (Nemotron de 4B a 49B y s1 de 3B a 32B).
• Datos de Entrenamiento: Se construyen pares de preferencia a partir del conjunto de datos OpenR1-Math-220k. Se filtran problemas que tienen al menos una respuesta verificada como correcta y una incorrecta.
• Evaluación: Se evalúa en tres dominios:
  1. Razonamiento Matemático (In-domain): Conjuntos fáciles (MATH-500, GSM8K) y difíciles (Olimpiadas, AIME).
  2. Conocimiento STEM y Código (Out-of-domain): MMLU-Pro, TheoremQA y LiveCodeBench.
• Medición de Calidad (LLM-as-a-Judge): Se emplea un modelo LLM calibrado (GPT-OSS-120b) para puntuar las trazas de razonamiento en cinco dimensiones:
  1. Facticidad: Uso correcto de valores y restricciones del problema.
  2. Coherencia de Estrategia: Plan general razonable para resolver el problema.
  3. Coherencia de Pasos: Flujo lógico entre los pasos del razonamiento.
  4. Precisión Computacional: Ausencia de errores aritméticos o de signo.
  5. Relación Señal-Ruido: Relevancia de los pasos frente a redundancias o divagaciones.

3. Contribuciones Clave

El estudio se divide en tres partes principales que descomponen el "delta":

1. Validación y Escalado del Delta a Nivel de Generador:

   • Se verifica que el aprendizaje delta funciona en tareas de razonamiento verificable. Entrenar con pares de modelos débiles (ej. s1-7B vs s1-3B) sin verificación de verdad fundamental (ground-truth) logra un rendimiento comparable al entrenamiento con datos de un modelo fuerte (DeepSeek-R1) verificado.
   • Se escala la capacidad del modelo "elegido" mientras se mantiene fijo el "rechazado".

2. Análisis de la Veracidad del Resultado (Outcome Correctness):

   • Se prueba la hipótesis de que la corrección de la respuesta final es el motor principal del delta. Se construyen pares con todas las combinaciones de corrección (Correcto vs Incorrecto, Correcto vs Correcto, Incorrecto vs Incorrecto, etc.).
   • Se descubre que la corrección del resultado no es el señal dominante; incluso pares donde ambas respuestas son incorrectas pueden mejorar el modelo.

3. Descomposición del Delta a Nivel de Muestra:

   • Se aíslan las dimensiones de calidad del proceso de razonamiento. Se seleccionan subconjuntos de datos basados en la magnitud del delta en cada dimensión (ej. pares con la mayor diferencia en "coherencia de pasos") para entrenar modelos.

4. Resultados Principales

• Escalado del Delta de Generador:

  • Rendimiento In-Domain: El rendimiento en matemáticas (dominio de entrenamiento) se estabiliza (plateau) a medida que aumenta la brecha de capacidad entre generadores. Esto se atribuye a la alta competencia previa del modelo base en ese dominio.
  • Rendimiento Out-of-Domain: El rendimiento en tareas STEM y de código mejora constantemente a medida que aumenta la brecha de capacidad del generador.
  • Mecanismo: A medida que el modelo elegido escala, la brecha de calidad (delta) en todas las dimensiones de razonamiento (especialmente coherencia de pasos y facticidad) se amplía significativamente. Esta ampliación explica las ganancias en generalización.

• Importancia de la Corrección del Resultado:

  • La corrección de la respuesta final contribuye, pero no domina el aprendizaje.
  • Todos los pares, incluso aquellos donde ambas respuestas son incorrectas (Incorrecto vs Incorrecto), generan mejoras sobre el modelo base.
  • Esto indica que el señal de aprendizaje reside en la calidad del proceso de razonamiento, no solo en la respuesta final.

• Eficiencia de Datos y Selección por Delta:

  • Se puede recuperar gran parte del beneficio de la optimización de preferencias utilizando un subconjunto pequeño de datos de alta calidad.
  • Hallazgo Crítico: Entrenar con tan solo 5,000 pares seleccionados por tener el mayor delta en la dimensión de Coherencia de Pasos (Step Coherence) iguala o supera el rendimiento de entrenar con el conjunto completo de 16,500 pares.
  • La Coherencia de Pasos se identifica como el criterio de selección más consistente y efectivo para mejorar el razonamiento.

5. Significado e Implicaciones

El trabajo ofrece una "receta" práctica de dos pasos para mejorar el rendimiento en razonamiento mediante optimización de preferencias:

1. Maximizar el Delta a Nivel de Generador: Al construir pares de preferencia, se debe utilizar la mayor diferencia de capacidad posible entre el modelo que genera la respuesta "elegida" y el que genera la "rechazada". Esto es crucial para la generalización fuera del dominio de entrenamiento.
2. Explotar el Delta a Nivel de Muestra: En lugar de usar todo el conjunto de datos, se debe filtrar y seleccionar los ejemplos más informativos basándose en la calidad del proceso de razonamiento (específicamente la coherencia de pasos). Esto permite un entrenamiento más eficiente en términos de datos, reduciendo la necesidad de escalar masivamente la cantidad de datos o la potencia de los generadores.

Conclusión:
El artículo demuestra que para el razonamiento, lo que importa no es la perfección absoluta de las respuestas, sino la diferencia cualitativa en el proceso de pensamiento entre las opciones. La corrección de la respuesta final es secundaria frente a la coherencia lógica y la precisión de los pasos intermedios. Este enfoque permite construir modelos de razonamiento más robustos y eficientes utilizando datos generados por modelos más pequeños o menos capaces, siempre que se gestione adecuadamente la brecha de calidad en los pares de entrenamiento.