Resumen Técnico: GRPO Aumentado con Transformaciones (TA-GRPO)

Declaración del Problema

La Optimización de Política Relativa por Grupos (GRPO) ha surgido como el método dominante para el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) en Modelos de Lenguaje Grandes (LLMs), particularmente para tareas de razonamiento complejo. Sin embargo, el artículo identifica dos limitaciones estructurales críticas en el GRPO estándar que obstaculizan una exploración efectiva:

1. Desvanecimiento del Gradiente: Cuando una pregunta de entrenamiento se percibe como demasiado fácil (todas las respuestas muestreadas son correctas) o demasiado difícil (todas son incorrectas), el grupo de $G$ respuestas recibe recompensas idénticas. En consecuencia, la desviación estándar de las recompensas es cero, lo que conduce a ventajas nulas y a la ausencia de una señal de gradiente para las actualizaciones del modelo. Aunque el Muestreo Dinámico (DAPO) intenta mitigar esto descartando tales preguntas, resulta en un desperdicio significativo de datos.
2. Colapso de la Diversidad: El modelo tiende a converger en un único patrón de razonamiento a través de las $G$ respuestas muestreadas. La regularización de entropía clásica falla en prevenir esto debido al vasto espacio de acciones de los LLMs. Una vez que la política se concentra en un conjunto estrecho de trayectorias de razonamiento, la distribución de muestreo hereda esta concentración, y la función objetivo carece de un mecanismo para recompensar la ampliación del soporte, provocando que el espacio de soluciones explorables se contraiga monótonamente.

Los avances existentes en GRPO a menudo abordan estos problemas de manera fragmentada o dependen del descarte de datos, en lugar de resolver conjuntamente las causas raíz dentro del marco de optimización.

Metodología: GRPO Aumentado con Transformaciones (TA-GRPO)

Los autores proponen TA-GRPO, un método de optimización de políticas que aborda tanto el desvanecimiento del gradiente como el colapso de la diversidad mediante el replanteamiento de preguntas. La idea central es que las perturbaciones lingüísticas (cambios en la redacción, formato u orden de la información) pueden alterar la dificultad percibida por el modelo e inducir estrategias de solución distintas, preservando al mismo tiempo la semántica subyacente del problema.

El flujo de trabajo de TA-GRPO modifica el proceso estándar de GRPO de la siguiente manera:

1. Transformación de la Pregunta: Para cada pregunta de entrenamiento original $q_0$, el sistema genera automáticamente $N$ reformulaciones equivalentes al problema $\{q_n\}_{n=1}^N$ (denominadas "vecinos") utilizando GPT-4-Turbo. Estas reformulaciones preservan el significado subyacente pero alteran la forma superficial.
2. Grupo de Respuestas Expandido: En lugar de muestrear $G$ respuestas solo para $q_0$, el modelo muestrea $G$ respuestas para la pregunta original y $G$ respuestas para cada uno de los $N$ vecinos. Esto crea un grupo expandido de $(N+1) \times G$ respuestas.
3. Cálculo Conjunto de Ventajas: Las ventajas se calculan mediante una normalización relativa al grupo sobre el conjunto expandido completo de $(N+1) \times G$ respuestas, en lugar de normalizar por separado para cada reformulación.
   • Mitigación del Desvanecimiento del Gradiente: Incluso si la pregunta original produce recompensas uniformes, los vecinos reformulados a menudo producen recompensas mixtas (algunas correctas, otras incorrectas) debido a un cambio en la dificultad percibida. La normalización conjunta asegura que la desviación estándar sea no nula, preservando la señal de gradiente.
   • Mitigación del Colapso de la Diversidad: Las diversas reformulaciones elicitan patrones de razonamiento distintos dentro del mismo grupo, evitando que la política colapse en un único modo.
4. Ratios de Importancia Anclados: Para asegurar que el modelo aprenda a resolver la pregunta original, todos los ratios de importancia se condicionan a la pregunta original $q_0$, independientemente de qué reformulación ($q_n$) generó la respuesta específica. Esto trata las reformulaciones como una distribución de muestreo sustituta para $q_0$, justificada por la suposición de que las reformulaciones equivalentes al problema producen trayectorias de razonamiento similares.

La función objetivo maximiza la pérdida sustituta recortada sobre este grupo expandido, con ventajas derivadas de la normalización conjunta y ratios de importancia anclados al prompt original.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

• Identificación de Problemas Pasados por Alto: Destaca que el desvanecimiento del gradiente y el colapso de la diversidad son en gran medida ignorados por los avances existentes en GRPO, que a menudo los abordan por separado o mediante filtrado de datos.
• Algoritmo TA-GRPO: Una extensión simple que aborda simultáneamente ambos problemas agrupando respuestas a través de una pregunta y sus vecinos reformulados, calculando ventajas conjuntas y anclando las actualizaciones a la pregunta original.
• Efectividad Empírica: Experimentos extensos demuestran mejoras consistentes en pass@k en cuatro LLMs (Qwen3-1.7B/4B, Llama-3.2-1B/3B) tanto en benchmarks de nivel competitivo (AMC, OlympiadBench, AIME24/25) como en benchmarks fuera de distribución (Minerva, GPQA-Diamond).
• Eficiencia de Datos: TA-GRPO logra un rendimiento comparable a los baselines entrenados con hasta 2.5× más datos sin requerir la recolección de datos de entrenamiento adicionales de alta calidad, ofreciendo una alternativa económica a la escalabilidad de datos.

Resultados Experimentales

Los autores evaluaron TA-GRPO utilizando el conjunto de datos MATH (7,498 preguntas) como conjunto de entrenamiento.

• Diagnóstico de la Señal de Entrenamiento: El análisis de los puntos de control de entrenamiento mostró que, mientras que el GRPO estándar sufre cada vez más de desvanecimiento del gradiente (hasta un 93.2% de las preguntas producen recompensas uniformes) y colapso de la diversidad (distancias de incrustación concentradas) a medida que avanza el entrenamiento, TA-GRPO mantiene un margen estable de recompensas mixtas y trayectorias de razonamiento diversas durante todo el entrenamiento.
• Ganancias de Rendimiento:
  • En benchmarks de nivel competitivo, TA-GRPO mejoró el pass@32 promedio en 5.09 y 5.01 puntos para Qwen3-1.7B y Qwen3-4B, respectivamente, y en 3.50 y 5.25 puntos para Llama-3.2-1B y Llama-3.2-3B.
  • Las mejoras máximas notables incluyeron +9.98 en AIME24 (Qwen3-4B) y +8.58 en GPQA-Diamond (Qwen3-1.7B).
• Experimentos de Control:
  • Muestreo Equivalente: Al compararse con baselines que simplemente aumentaron el número total de respuestas muestreadas para igualar el presupuesto de TA-GRPO (sin reformulación), TA-GRPO mantuvo un margen claro (por ejemplo, +6.86 en AIME24 para Qwen3-4B). Esto confirma que las ganancias provienen de la diversidad del espacio muestreado y la normalización conjunta, no meramente del tamaño de la muestra.
  • Escalabilidad de Datos: TA-GRPO entrenado con 1x de datos igualó el rendimiento de los baselines de GRPO entrenados con 2.5x de datos, demostrando una eficiencia de datos significativa.

Significado y Afirmaciones

El artículo posiciona a TA-GRPO como un método que cambia el paradigma del post-entrenamiento por RL. Mientras que trabajos anteriores se centraron en optimizar la función de pérdida o los ejes de recompensa, TA-GRPO introduce la distribución de entrada como una tercera palanca para mejorar la exploración. Al aprovechar reformulaciones equivalentes al problema, el método permite que los modelos aprendan de un conjunto más rico de intentos de solución sin descartar datos ni depender de la regularización de entropía. Los autores afirman que este enfoque proporciona una vía robusta y eficiente en datos para mejorar las capacidades de razonamiento en LLMs, particularmente en escenarios donde la recolección de datos es costosa o donde el GRPO estándar no proporciona señales de gradiente suficientes.