Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

Resumen Técnico: LENS (Less Noise Sampling Framework)

1. El Problema: Exploración Ineficiente en RLVR

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), como el algoritmo GRPO, ha impulsado significativamente las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM). Sin embargo, el método enfrenta una limitación crítica: la ineficiencia en la exploración bajo presupuestos de despliegue (rollout) limitados.

• Causa Raíz: En tareas de razonamiento complejo, la escasez de recompensas (reward sparsity) hace que obtener despliegues correctos sea extremadamente raro. El artículo identifica que muchos de estos fallos no se deben a la dificultad intrínseca del problema, sino a un pequeño número de tokens de instrucción (< 5%) que introducen interferencia.
• Consecuencia: Estos "tokens de interferencia" desestabilizan la exploración, provocando una alta tasa de muestras con recompensa cero (zero-reward), lo que lleva a un colapso del entrenamiento o a una convergencia muy lenta.
• Limitaciones de enfoques anteriores:
  • Escalado de exploración: Aumentar el número de despliegues es computacionalmente costoso y no resuelve el problema de fondo.
  • Filtrado de prompts: Descartar prompts difíciles o de varianza cero sacrifica la capacidad del modelo para aprender en casos desafiantes.

2. Metodología: El Marco LENS

Los autores proponen LENS (Less Noise Sampling Framework), un marco de despliegue selectivo en línea que mejora la evolución de alta calidad extrayendo señales de aprendizaje informativas de prompts de bajo éxito. LENS consta de dos etapas principales:

A. Identificación y Purificación de Tokens de Interferencia

• Métrica de Interferencia: Se define una puntuación de interferencia ($S_I$) basada en la desviación a nivel de token entre la política actual ($\pi_\theta$) y un modelo de referencia estable ($\pi_{ref}$):
  $$S_I(s, a) = |\log \pi_\theta(a | s) - \log \pi_{ref}(a | s)|$$
  Los tokens con una desviación significativa (alta puntuación) se consideran "tokens de interferencia" que probablemente inducen errores.
• Purificación: Para los prompts que generan despliegues fallidos, se identifican y eliminan los tokens con las puntuaciones de interferencia más altas (un porcentaje pequeño, $\gamma$, típicamente 1-5%). Esto genera un prompt desruido ($x'_i$) que mantiene la semántica original pero elimina el ruido.

B. Optimización de Política de Despliegue Calibrada (CRPO)

• Transferencia de Señales: En lugar de simplemente entrenar con los prompts limpios, LENS utiliza los despliegues exitosos generados a partir de los prompts desruidos ($x'_i$) como supervisión de alta recompensa para calibrar la optimización de la política en los prompts originales ruidosos ($x_i$).
• Mecanismo de Re-pesado:
  • Si la tasa de éxito del prompt desruido es mayor que la del original, se reemplaza un subconjunto de despliegues fallidos del prompt original con los despliegues exitosos del prompt desruido.
  • Se aplica un re-pesado de muestras para corregir la discrepancia de distribución, asegurando que el modelo aprenda a ignorar la interferencia en lugar de simplemente adaptarse a condiciones más limpias.
• Función de Objetivo: Se utiliza una función de objetivo tipo PPO (Proximal Policy Optimization) con corrección de importancia y regularización KL, optimizada sobre el conjunto de despliegues reconstruido.

3. Contribuciones Clave

1. Nueva Perspectiva sobre el Fallo en RLVR: Demostración empírica de que la mayoría de los fallos en la exploración provienen de unos pocos tokens de instrucción ruidosos, no de la complejidad del problema.
2. Marco de Purificación de Instrucciones: Propuesta de un método sistemático para identificar y eliminar tokens de interferencia basándose en la divergencia KL con un modelo de referencia.
3. Algoritmo CRPO: Desarrollo de un algoritmo de optimización que transfiere señales de aprendizaje de entornos "limpios" a entornos "ruidosos", permitiendo que el modelo aprenda robustez frente a la interferencia sin descartar datos desafiantes.
4. Eficiencia Computacional: Logra mejoras de rendimiento sin aumentar el presupuesto de cómputo (número de rollouts o épocas), superando a métodos que requieren más recursos.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples familias de modelos (Llama-3.2, Qwen-2.5, Qwen-3) y benchmarks de razonamiento matemático y general.

• Rendimiento en Razonamiento Matemático:
  • LENS supera consistentemente a GRPO y a sus variantes extendidas (con más rollouts) o filtradas (DAPO, GRESO).
  • Mejora Promedio: Un aumento del 3.88% en la precisión promedio en 7 benchmarks de razonamiento matemático (incluyendo MATH-500, AIME, AMC).
  • Velocidad de Convergencia: Logra una aceleración de >1.6x en comparación con GRPO, alcanzando el mismo rendimiento con menos pasos de gradiente.
• Generalización Fuera de Dominio:
  • En tareas de razonamiento científico y general (SuperGPQA, GPQA-Diamond, BBEH, MMLU-Pro), LENS muestra una mejora promedio del 1.83%, demostrando que la purificación de tokens no solo mejora el ajuste a patrones matemáticos, sino la capacidad de razonamiento general.
• Análisis de Dinámica de Entrenamiento:
  • LENS reduce drásticamente la proporción de prompts con recompensa cero durante todo el entrenamiento.
  • Muestra una trayectoria de aprendizaje más estable, con una entropía moderada y una emergencia más temprana de razonamiento de largo formato ("aha moments").

5. Significado e Impacto

El trabajo de LENS ofrece un cambio de paradigma en la investigación de RLVR:

• Eficiencia de Muestreo: Demuestra que la calidad de los datos de entrenamiento (limpieza de ruido en las instrucciones) es tan crítica como la cantidad.
• Robustez: Permite que los modelos aprendan a ignorar distracciones en las instrucciones, lo cual es crucial para aplicaciones del mundo real donde los prompts pueden ser imperfectos.
• Escalabilidad: Al no requerir un aumento masivo de recursos computacionales, LENS es una solución práctica y escalable para mejorar el razonamiento de LLMs en tareas complejas.

En conclusión, LENS valida la hipótesis de que "menos ruido, más voz" es la clave para desbloquear el potencial de razonamiento de los modelos, transformando prompts fallidos en oportunidades de aprendizaje mediante la purificación inteligente de tokens.