🤖 machine learning

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

El artículo presenta RIFT, un marco de ajuste fino que mejora la eficiencia de datos en la alineación de LLMs al reutilizar muestras negativas mediante recompensas escalares y una formulación de pérdida estabilizada, superando así a métodos tradicionales como RFT en benchmarks matemáticos.

Autores originales: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

Publicado 2026-04-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás entrenando a un robot muy inteligente (un Modelo de Lenguaje o IA) para que sea un genio en matemáticas. Hasta ahora, la forma de hacerlo era un poco ineficiente y costosa. Este paper presenta una nueva técnica llamada RIFT que cambia las reglas del juego.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con analogías:

1. El Problema: El "Entrenador" que tira la basura

Imagina que tienes un entrenador de fútbol (el modelo de IA) y le das un montón de ejercicios.

El método antiguo (SFT): El entrenador solo practica con los ejercicios que ya sabe hacer perfecto. Si no tiene el libro de respuestas de un experto humano, no puede aprender. Es caro y lento conseguir esos libros.
El método "Rejection Sampling" (RFT): El entrenador intenta resolver los ejercicios por sí mismo. Si la respuesta es correcta, ¡guau! La guarda en su cuaderno. Si la respuesta es incorrecta, la tira a la basura inmediatamente.

El problema: Al tirar esas respuestas incorrectas, el entrenador está perdiendo una oportunidad de oro. Es como si un estudiante de medicina solo estudiara los casos en los que el paciente se curó, y nunca mirara los casos donde el paciente murió para entender qué salió mal. Al ignorar los errores, el modelo no aprende a distinguir bien entre lo correcto y lo incorrecto, y desperdicia tiempo y energía generando respuestas que luego descarta.

2. La Solución: RIFT (El Entrenador que Aprende de los Errores)

RIFT (Ajuste Fino Informado por Recompensas) es como un entrenador muy sabio que no tira nada a la basura.

La analogía del "Semáforo":
- En el método antiguo, si la respuesta era mala, el entrenador la ignoraba.
- Con RIFT, el entrenador le pone un "semáforo" a todas las respuestas que genera:
  - Verde (Recompensa alta): "¡Bien hecho! Haz esto más veces".
  - Rojo (Recompensa baja): "¡Oh, no! Esto está mal. No hagas esto otra vez".

Lo genial de RIFT es que aprende de las luces rojas. En lugar de borrar la respuesta incorrecta, le dice al modelo: "Oye, esta respuesta es mala, así que vamos a ajustar tu cerebro para que sea menos probable que la vuelvas a dar".

3. El Truco Matemático: Evitar el "Ataque de Pánico"

Aquí es donde la cosa se pone técnica, pero lo explicamos fácil.

Si intentas enseñarle al modelo a evitar un error simplemente diciéndole "¡No hagas esto!" de forma muy agresiva, el modelo puede entrar en pánico. Matemáticamente, si la probabilidad de un error se vuelve casi cero, el cálculo se vuelve infinito y el entrenamiento se rompe (se cae). Es como si un profesor gritara tan fuerte al alumno que este se queda paralizado y no aprende nada.

La solución de RIFT:
Los autores crearon una "amortiguación" matemática.

Para las respuestas buenas, siguen usando la fórmula normal.
Para las respuestas malas, usan una fórmula más suave y segura (una aproximación lineal) que les dice al modelo: "Baja un poco la probabilidad de esto", pero sin gritar ni romper el sistema. Esto mantiene el entrenamiento estable y seguro.

4. ¿Por qué es mejor? (Los Resultados)

El paper prueba esto en modelos de matemáticas y descubre cosas increíbles:

Ahorro de dinero y energía: RIFT necesita mucha menos memoria de computadora que otros métodos avanzados (como DPO). Es como si pudieras entrenar a un atleta de élite en un gimnasio pequeño en lugar de necesitar un estadio olímpico gigante.
Mejor aprendizaje: Al usar tanto las respuestas correctas como las incorrectas, el modelo entiende mejor los "atajos" y las trampas. No solo sabe la respuesta correcta, sino que sabe por qué las otras son incorrectas.
Funciona con modelos "normales": No necesitas un modelo superpoderoso para empezar. Incluso si el modelo es mediocre al principio, RIFT lo mejora mucho más rápido que los métodos antiguos.

En resumen

Imagina que estás aprendiendo a conducir.

Método antiguo: Solo practicas cuando el instructor te dice "¡Perfecto!". Si te equivocas, el instructor se enoja y te saca del coche.
Método RIFT: El instructor te deja conducir. Si te estrellas (respuesta incorrecta), te dice: "Vaya, eso fue un error, recuerda no girar así". Si llegas bien, te dice: "¡Genial, sigue así!".

RIFT es esa técnica que aprovecha cada segundo de la práctica, tanto los éxitos como los fracasos, para convertir a un modelo promedio en un experto, todo mientras ahorra recursos y evita que el sistema se rompa por el estrés de aprender de los errores.

Resumen Técnico: RIFT (Reward-Informed Fine-Tuning)

1. El Problema

El ajuste fino supervisado (SFT) y el ajuste fino por muestreo de rechazo (RFT) son los estándares actuales para alinear los Grandes Modelos de Lenguaje (LLM) con comportamientos deseados. Sin embargo, ambos presentan limitaciones críticas:

Ineficiencia de datos: El SFT depende de datos expertos costosos y difíciles de curar. El RFT, aunque genera sus propios datos, descarta sistemáticamente todas las muestras "negativas" (respuestas que no superan un umbral de calidad).
Pérdida de información: Al descartar las muestras negativas, el RFT ignora información valiosa sobre los modos de fallo del modelo, lo que limita su capacidad para aprender a distinguir entre respuestas correctas e incorrectas.
Inestabilidad en la integración de recompensas: Intentar utilizar directamente las muestras negativas reponderando la pérdida (multiplicando la probabilidad logarítmica por una recompensa negativa) conduce a un colapso del entrenamiento. Matemáticamente, esto genera gradientes no acotados (explosión de gradientes) cuando la probabilidad de una muestra negativa tiende a cero, causando inestabilidad numérica y olvido catastrófico.

2. Metodología: RIFT

Los autores proponen RIFT (Reward-Informed Fine-Tuning), un marco simple pero efectivo que aprovecha todas las muestras auto-generadas (tanto positivas como negativas) mediante una función de pérdida estabilizada.

Componentes Clave:

Reutilización de Muestras Negativas: A diferencia de RFT, que descarta las respuestas por debajo del umbral, RIFT retiene todas las trayectorias y les asigna una recompensa escalar ( $r$ $r$ ) basada en una métrica de calidad (ej. corrección de la respuesta final).
- $r > 0$ : Muestras positivas (correctas).
- $r < 0$ : Muestras negativas (incorrectas).
Objetivo de Pérdida Híbrido y Estabilizado:
El desafío principal es que la pérdida logarítmica estándar ( $-\log \pi$ $- lo g π$ ) multiplicada por una recompensa negativa tiende a $-\infty$ $- \infty$ cuando la probabilidad tiende a 0, causando inestabilidad. RIFT resuelve esto mediante una formulación dual:
1. Para muestras positivas ( $D^+$ ): Se mantiene la pérdida de verosimilitud negativa estándar ponderada por la recompensa:
  $-r \cdot \log \pi_\theta(y|x)$
  Esto fomenta la probabilidad de las respuestas correctas.
2. Para muestras negativas ( $D^-$ ): Se reemplaza el término logarítmico por una aproximación lineal basada en la expansión de Taylor de primer orden ( $\log u \approx u - 1$ ). La pérdida se convierte en:
  $-r \cdot \pi_\theta(y|x)$
  Dado que $r$ es negativo, el término $-r$ es positivo. Minimizar esto reduce la probabilidad $\pi_\theta(y|x)$ de la respuesta incorrecta, pero de manera acotada y estable. A diferencia del logaritmo, la derivada de la función lineal es constante, evitando la explosión de gradientes cuando la probabilidad es muy baja.

Ventaja Teórica:
Esta formulación garantiza que la función de pérdida esté acotada inferiormente, previniendo el colapso del entrenamiento y permitiendo que el modelo aprenda de los errores sin sacrificar la estabilidad numérica.

3. Contribuciones Clave

Marco de Aprendizaje con Datos Mixtos: RIFT es el primer método que integra sistemáticamente muestras de alta y baja calidad en un solo paso de ajuste fino sin necesidad de filtrado estricto (como en RFT) o emparejamiento de preferencias explícito (como en DPO).
Solución a la Inestabilidad de Gradientes: Introduce una formulación de pérdida novedosa que sustituye el término logarítmico por uno lineal para las muestras negativas, resolviendo teóricamente y empíricamente el problema de la divergencia de gradientes en la supresión de respuestas indeseadas.
Eficiencia Computacional: Elimina la necesidad de un modelo de referencia (ref-model) y de emparejar preferencias, lo que reduce significativamente el uso de memoria de GPU en comparación con métodos de optimización de preferencia directa (DPO) o RLHF.

4. Resultados Experimentales

Los autores evaluaron RIFT en varios modelos base (Qwen2.5-Math, Qwen3, DeepSeek-R1-Distill) sobre benchmarks matemáticos (MATH, GSM8K, Olympiad, etc.).

Rendimiento Superior: RIFT superó consistentemente a los baselines más fuertes (SFT, RFT, DFT, DPO, SimPO, KTO) en precisión media (Mean@8) y probabilidad de éxito (Pass@8) en todos los tamaños de modelo.
- En Qwen2.5-Math-1.5B, RIFT superó a RFT en +11.4 puntos de precisión media.
- En modelos más grandes (7B), mantuvo una ventaja significativa sobre DPO y RFT.
Generalización Fuera de Distribución (OOD): RIFT mostró una mejor capacidad de generalización en tareas difíciles (como AIME y Olympiad) en comparación con SFT y DFT, que a menudo sufren de sobreajuste o olvido catastrófico.
Eficiencia de Memoria:
- RIFT requiere aproximadamente un 50% menos de memoria de pico (VRAM) que DPO, ya que no necesita cargar un modelo de referencia.
- Su consumo de memoria es comparable al de SFT y RFT, pero con un rendimiento muy superior.
Robustez en Modelos de Razonamiento: En modelos con capacidades intrínsecas de razonamiento (DeepSeek-R1), RIFT evitó la degradación del razonamiento paso a paso que sufría el SFT estándar, logrando mejoras tanto en Mean@8 como en Pass@8.

5. Significado e Impacto

El trabajo de RIFT es significativo por varias razones:

Eficiencia de Datos: Demuestra que no es necesario descartar datos "malos" generados por el modelo. Al aprender de los errores (muestras negativas) mediante una penalización controlada, el modelo internaliza mejor los modos de fallo y refina su comprensión.
Simplicidad y Escalabilidad: Ofrece una alternativa robusta y escalable a los métodos complejos de RL (como PPO) y a los métodos de preferencia que requieren modelos de referencia. Al ser una extensión simple del SFT, es fácil de implementar y requiere menos recursos.
Nueva Perspectiva en Alineación: Sugiere que la alineación de modelos puede lograrse de manera más eficiente utilizando distribuciones de datos mixtas auto-generadas, reduciendo la dependencia de datos etiquetados por expertos costosos.

En conclusión, RIFT establece un nuevo estándar para el ajuste fino post-entrenamiento, logrando un equilibrio superior entre rendimiento, estabilidad de entrenamiento y eficiencia computacional al transformar las muestras negativas de un "desperdicio" en una fuente valiosa de aprendizaje.