Resumen Técnico: Más allá de Pass@k: RLVR Consciente de la Redundancia para la Generación de Código Multi-Muestra

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) para generación de código suelen evaluarse en configuraciones de muestreo repetido utilizando la métrica Pass@k, que mide la probabilidad de que al menos uno de los $k$ programas muestreados supere las pruebas unitarias. Si bien los recientes métodos de Aprendizaje por Refuerzo basado en Verificadores (RLVR) han mejorado con éxito la corrección ejecutable optimizando contra la retroalimentación de las pruebas, el comportamiento de estos modelos en cuanto a la redundancia a nivel de implementación sigue siendo poco comprendido.

El problema central abordado es que los objetivos estándar de RL (optimizar para la corrección aislada) y los objetivos conscientes de Pass@k (optimizar para el éxito grupal) pueden inducir comportamientos de generación cualitativamente diferentes. Específicamente, no está claro si las ganancias de rendimiento bajo un presupuesto de muestreo finito provienen del descubrimiento de patrones de implementación diversos y distintos o de la concentración de las generaciones en un conjunto estrecho de soluciones casi duplicadas. Las métricas actuales como Pass@k no distinguen entre estos dos escenarios, lo que podría enmascarar una falta de diversidad que limite el rendimiento en presupuestos de muestreo más grandes ($k$).

Metodología

1. Diagnóstico de Redundancia: JPlag

Para cuantificar la redundancia de implementación, los autores emplean JPlag, un sistema de detección de plagio diseñado para código. A diferencia de las métricas de superposición léxica (por ejemplo, n-gramas) que son sensibles a ediciones superficiales (cambio de nombres de variables, formato), JPlag utiliza tokenización y coincidencia conscientes del lenguaje para detectar similitudes estructurales.

• Métrica: El artículo define Diversidad JPlag (JDiv) como $1 - \text{media de similitud por pares}$. Un JDiv más alto indica menor redundancia.
• Utilidad: JPlag sirve como herramienta de diagnóstico para analizar cómo diferentes objetivos de RL utilizan el presupuesto de muestreo y como base para una nueva señal de entrenamiento.

2. Objetivos de RLVR de Línea Base

El estudio compara tres enfoques existentes:

• Base-RLVR (Solo corrección): Asigna recompensas aditivas por cada muestra correcta dentro de un grupo. El crédito se asigna independientemente a las generaciones exitosas.
• Pass@k-RLVR: Utiliza una recompensa a nivel de grupo donde el éxito depende de si al menos una muestra en el grupo es correcta. El crédito se asigna mediante una ventaja de exclusión de uno, recompensando las muestras que cambian el estado de éxito del grupo.
• PKPO (Optimización de Política Pass@k): Extiende los principios de Pass@k a grupos mayores que $k$ promediando las ventajas de exclusión de uno sobre todos los subconjuntos de $k$.

3. Método Propuesto: JPlag-RLVR

Los autores proponen un objetivo de RLVR Consciente de la Redundancia que aumenta las recompensas ejecutables estándar con una señal directa anti-redundancia.

• Función de Recompensa: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$.
  • $R_{\text{corr}}$ es la recompensa de corrección estándar.
  • $R_{\text{div}}$ es una recompensa escalar anti-redundancia derivada de la similitud JPlag (específicamente, el inverso de la similitud media por pares).
• Asignación de Crédito: Para asegurar que la señal de entrenamiento dependa de la contribución marginal de una muestra a la diversidad del grupo, los autores utilizan una construcción de ventaja de exclusión de uno para el componente de diversidad. Una muestra recibe una ventaja positiva si su inclusión reduce la redundancia del grupo, y una ventaja negativa si duplica generaciones existentes.
• Implementación: El método se aplica en tres modelos (Qwen3-4B, Qwen3-8B, Olmo3-7B) y tres puntos de referencia (MBPP, Code-Contest, TACO-Cobalt).

Resultados Clave

1. Análisis de Objetivos Existentes

• RLVR Solo Corrección: Si bien mejora Pass@1, este enfoque sistemáticamente aumenta la redundancia. La dinámica de entrenamiento muestra que a medida que mejora Pass@1, la diversidad JPlag disminuye, lo que indica que el modelo se concentra en un conjunto estrecho de implementaciones casi duplicadas.
• Objetivos Conscientes de Pass@k: Estos métodos (Pass@k-RLVR, PKPO) mantienen implícitamente una menor redundancia y una mayor diversidad JPlag en comparación con las líneas base de solo corrección. Tienden a mejorar el rendimiento de manera más significativa en presupuestos más grandes (Pass@10, Pass@100) al cubrir un conjunto más amplio de patrones de implementación.

2. Rendimiento de JPlag-RLVR

• Ganancias con Presupuesto Finito: Desalentar directamente las generaciones casi duplicadas mediante JPlag-RLVR mejora de manera confiable el rendimiento ejecutable con presupuesto finito. En modelos y puntos de referencia, a menudo iguala o supera a los objetivos especializados conscientes de Pass@k.
  • Ejemplo: En MBPP con Qwen3-8B, JPlag-RLVR mejoró Pass@1 de 79.1 a 90.0 y Pass@10 de 88.0 a 98.5, mientras que simultáneamente aumentó la diversidad JPlag de 0.305 a 0.927.
• Optimización de Compensaciones: El método logra una compensación superior, moviendo los modelos "hacia arriba y a la derecha" en el espacio rendimiento-redundancia (mayor Pass@k, mayor JDiv) en comparación con las líneas base.
• Robustez: Las mejoras persisten a través de diferentes semillas aleatorias y no son impulsadas por unas pocas tareas atípicas. Las ganancias se distribuyen entre los prompts.

3. Estudios de Ablación

• No es Solo Entropía: Aumentar la temperatura de muestreo mejora Pass@100 pero degrada Pass@1 y produce ganancias menores que el entrenamiento explícito anti-redundancia.
• No es Solo Verbosidad: Las ganancias no son causadas por completaciones más largas o variaciones de texto superficiales; las longitudes del código ejecutable permanecen comparables entre los métodos.
• La Corrección es Esencial: Entrenar solo con recompensas de diversidad (sin corrección) aumenta JDiv pero hace colapsar el rendimiento ejecutable. La señal anti-redundancia debe ir acompañada de la recompensa del verificador.
• Especificidad de la Señal: Si bien las recompensas de diversidad léxica simple (1-gramo) ofrecen cierta mejora, las recompensas basadas en JPlag producen los resultados más fuertes, lo que sugiere que la similitud consciente de la estructura del código es una señal más efectiva para reducir implementaciones repetidas que la variación a nivel superficial.

Significado y Afirmaciones

El artículo afirma identificar la redundancia de implementación como tanto un diagnóstico crítico como un objetivo de optimización práctico para la generación de código en muestreo repetido.

1. Valor Diagnóstico: El estudio demuestra que los modelos que optimizan resultados ejecutables similares pueden exhibir estructuras de redundancia muy diferentes. El RLVR solo corrección tiende a concentrar las generaciones, mientras que los objetivos conscientes de Pass@k fomentan naturalmente la diversidad.
2. Objetivo de Optimización: Los autores muestran que penalizar explícitamente las generaciones casi duplicadas mediante la similitud JPlag es una intervención simple pero efectiva. Mejora el rendimiento con presupuesto finito sin requerir esquemas complejos de asignación de crédito ni depender de variaciones de salida superficiales.
3. Implicación Práctica: La generación de código con presupuesto finito no debe entenderse únicamente a través de la corrección marginal. Cómo un modelo asigna su presupuesto de muestreo entre patrones de implementación distintos es un factor clave para maximizar el rendimiento Pass@k.

Los autores permanecen modestos respecto a las limitaciones, señalando que JPlag es una medida de similitud estructural aproximada en lugar de un oráculo de equivalencia semántica, y que sus experimentos se limitan a modelos específicos de peso abierto y puntos de referencia de programación competitiva de horizonte corto. No afirman que el método resuelva todos los problemas de diversidad en la generación de código, sino que destacan su eficacia en el contexto específico del RL basado en verificadores.