IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

Resumen Técnico: IRIS (Interpolative Rényi Iterative Self-play)

1. El Problema

El ajuste fino de modelos de lenguaje grandes (LLMs) mediante Auto-Juego (Self-Play) ha surgido como una alternativa prometedora al Reinforcement Learning from Human Feedback (RLHF) y a la Optimización Directa de Preferencias (DPO), ya que permite mejorar los modelos sin necesidad de anotaciones humanas adicionales, utilizando únicamente datos generados por el propio modelo.

Sin embargo, los métodos existentes (como SPIN, SPACE, SPIF) presentan limitaciones fundamentales:

• Regímenes de divergencia fijos: Cada método se basa en una métrica de divergencia específica (KL, Jensen-Shannon o $\chi^2$) que se mantiene constante durante todo el entrenamiento.
• Dinámicas de aprendizaje subóptimas:
  • La divergencia KL ofrece gradientes suaves al inicio, pero pierde sensibilidad cuando las distribuciones convergen.
  • La divergencia $\chi^2$ es excelente para la discriminación fina cerca de la convergencia, pero penaliza excesivamente los valores atípicos (outliers) al inicio, causando inestabilidad.
  • La divergencia Jensen-Shannon es estable pero menos sensible a las diferencias en etapas avanzadas.
• Consecuencia: Ningún método único proporciona dinámicas de aprendizaje óptimas en todas las etapas del entrenamiento, lo que lleva a estancamiento o inestabilidad en iteraciones posteriores.

2. Metodología: IRIS

Los autores proponen IRIS (Interpolative Rényi Iterative Self-play), un marco unificado que resuelve el problema de selección de divergencia mediante el uso de la Divergencia de Rényi, un parámetro único ($\alpha$) que interpola continuamente entre diferentes familias de divergencias.

Componentes Clave:

• Objetivo Basado en Riesgo Inclinado (Tilted Risk):
  IRIS define una función de pérdida que se descompone en dos términos independientes sobre los datos anotados (reales) y los datos sintéticos (generados por el modelo oponente):
  $$L_{IRIS}(\theta; \alpha) = -\frac{1}{\alpha-1} \log \mathbb{E}_{y \sim p_{data}} \left[ e^{(\alpha-1)r(x,y)} \right] + \frac{1}{\alpha} \log \mathbb{E}_{y' \sim p_{\theta_t}} \left[ e^{\alpha r(x,y')} \right]$$
  Donde $r(x, \hat{y})$ es la recompensa log-ratio.

  • El primer término actúa como un recompensa inclinada sobre datos reales.
  • El segundo término actúa como una penalización inclinada sobre datos sintéticos.
  • Esto hereta la estabilidad de la clasificación independiente (como en SPACE) pero con pesos de importancia exponenciales controlados por $\alpha$.

• Interpretación Unificada:
  El marco IRIS demuestra que varios métodos existentes son casos límite o representativos de la familia de Rényi:

  • $\alpha \to 1$: Corresponde a la Divergencia KL (recupera SPIN y variantes).
  • $\alpha = 2$: Corresponde a la Divergencia $\chi^2$ (recupera SPIF y SPPO).
  • $\alpha = 1/2$: Corresponde a la Distancia de Hellinger (un nuevo régimen que fomenta la cobertura de modos).

• Programación Adaptativa del Orden ($\alpha_t$):
  En lugar de fijar $\alpha$, IRIS ajusta dinámicamente el parámetro en cada iteración basándose en la brecha de distribución entre el modelo actual y el objetivo:

  • Inicio del entrenamiento (Brecha grande): Se utiliza un $\alpha$ alto (cerca de 2 o 3). Esto genera pesos de importancia más agudos, enfocándose en muestras informativas y fomentando la exploración de modos (comportamiento tipo $\chi^2$).
  • Cerca de la convergencia (Brecha pequeña): Se reduce $\alpha$ hacia 1. Esto suaviza los gradientes, permitiendo un refinamiento estable y uniforme (comportamiento tipo KL).
  • Se proponen dos estrategias: Feedback de Brecha de Distribución (calculado dinámicamente) y Recocido Geométrico.

3. Contribuciones Clave

1. Perspectiva Unificada: Establece teóricamente que los principales objetivos de auto-juego (SPIN, SPACE, SPIF) pueden interpretarse como regímenes específicos dentro de la familia de divergencias de Rényi.
2. Marco IRIS: Propone un algoritmo de ajuste fino con un objetivo continuamente ajustable y un programa de orden adaptativo que responde a la dinámica del entrenamiento.
3. Análisis Teórico: Demuestra la propiedad de punto fijo de IRIS (garantizando convergencia a la distribución objetivo) y analiza cómo $\alpha$ controla la concentración de los gradientes y la ponderación de importancia.
4. Eficiencia de Datos: Muestra que IRIS puede superar al ajuste fino supervisado (SFT) entrenado con conjuntos de datos completos utilizando solo una fracción de las anotaciones.

4. Resultados Experimentales

Los experimentos se realizaron en modelos Zephyr-7B y Qwen2.5-3B sobre 10 benchmarks (incluyendo GSM8K, MATH, MMLU, IFEval, etc.).

• Rendimiento Superior: IRIS alcanzó una puntuación promedio del 44.57% en Zephyr-7B en la iteración 4, superando consistentemente a los baselines (SPIN, SPACE, T-SPIN, SPIF).
  • Mejoras notables en tareas de razonamiento matemático y seguimiento de instrucciones (ej. +10.75 puntos en IFEval comparado con SFT base).
  • Mientras que otros métodos mostraron estancamiento o degradación en iteraciones tardías, IRIS mantuvo mejoras estables a lo largo de las 4 iteraciones.
• Eficiencia de Datos:
  • IRIS entrenado con solo 26k muestras anotadas superó al SFT estándar entrenado con el conjunto completo de 200k muestras.
  • Con 50k muestras, IRIS superó al SFT de 200k en más de 1 punto de puntuación promedio.
• Dinámica de Entrenamiento:
  • A diferencia de SPIN, donde la recompensa en datos reales tiende a disminuir (problema de colapso de recompensa), IRIS aumenta la recompensa en datos reales mientras penaliza los sintéticos, gracias a la optimización desacoplada de los términos.
  • La estrategia de Feedback de Brecha de Distribución para ajustar $\alpha$ superó a la programación geométrica predefinida.

5. Significado e Impacto

El trabajo IRIS es significativo porque:

• Resuelve la inestabilidad del Auto-Juego: Proporciona una solución teórica y práctica al problema de la "divergencia fija", permitiendo que el algoritmo se adapte automáticamente a la dificultad del entrenamiento en cada etapa.
• Reduce la dependencia de datos anotados: Demuestra que el auto-juego iterativo bien diseñado puede amplificar el valor de conjuntos de datos pequeños, reduciendo costos de anotación humana.
• Unificación Teórica: Ofrece una lente unificada (Divergencia de Rényi) para entender y mejorar futuros algoritmos de alineación de LLMs, sugiriendo que la adaptabilidad de la métrica de divergencia es tan crucial como la arquitectura del modelo.

En conclusión, IRIS representa un avance hacia métodos de alineación más robustos, estables y eficientes en términos de datos, superando las limitaciones de las estrategias de auto-juego actuales mediante una interpolación inteligente de la geometría de divergencia.