Resumen Técnico: Reconfiguración de Señales para GRPO en Reparación de Código Agente con Retroalimentación Débil

Declaración del Problema

El artículo aborda el desafío de entrenar agentes de código utilizando la Optimización de Política Relativa por Grupos (GRPO) en entornos de retroalimentación débil. En la reparación de código agente (específicamente en tareas de "compilar-arreglar"), la retroalimentación de ejecución en línea (por ejemplo, el éxito de la compilación) es fiable pero semánticamente incompleta. Un parche puede compilarse con éxito pero no solucionar el error semántico previsto (por ejemplo, al eliminar código necesario o añadir esqueletos inseguros), o puede fallar en la compilación debido a inestabilidad del entorno en lugar de un fallo de la política.

La GRPO estándar depende de comparar múltiples trayectorias (rollouts) desde el mismo prompt para generar ventajas. Sin embargo, en configuraciones de retroalimentación débil, tres distorsiones críticas de la señal impiden comparaciones significativas dentro del grupo:

1. Fallo de Semántica del Resultado: Las recompensas binarias (éxito/fracaso de compilación) confunden atajos sintácticos con reparaciones genuinas, provocando que el agente optimice el éxito superficial en lugar de la corrección semántica.
2. Crédito de Proceso Difuso: Las trayectorias de largo horizonte reciben una única recompensa escalar, lo que hace imposible distinguir los pasos de reparación efectivos de las repeticiones sin información o repeticiones.
3. Comparabilidad Dentro del Grupo Rota: Los problemas de infraestructura (por ejemplo, tiempos de espera de contenedores, contención en la cola de compilación) y la degeneración de la política (por ejemplo, repetición catastrófica) se mezclan con fallos genuinos de reparación en el bin de recompensa cero, distorsionando la clasificación relativa de las trayectorias.

Los autores argumentan que la solución no es reescribir el objetivo de aprendizaje por refuerzo (RL), sino reconfigurar las señales de entrenamiento alimentadas al marco existente de GRPO para restaurar la validez de las comparaciones dentro del grupo.

Metodología

El enfoque propuesto, Reconfiguración de Señales, introduce tres intervenciones mínimas que modifican las señales de entrada a GRPO sin alterar su mecanismo de cálculo de ventaja normalizado por grupo.

1. Recompensas de Resultado en Capas (Restaurando la Clasificación Semántica)

En lugar de una recompensa binaria {0, 1} basada únicamente en la compilación, los autores proponen una estructura de recompensa de tres niveles:

• $R=0$: La compilación falla.
• $R=0.5$: La compilación tiene éxito, pero el parche es semánticamente inconsistente con la reparación mínima suficiente de referencia (GT).
• $R=1$: La compilación tiene éxito y es semánticamente consistente con la reparación GT.
  La consistencia semántica se determina mediante un juez LLM potente (Kimi-K2.5) que compara el parche del agente contra un parche GT refinado. Este nivel intermedio ($R=0.5$) preserva la señal de ordenamiento durante el entrenamiento cuando las reparaciones semánticas completamente correctas son escasas, evitando el colapso de la señal de clasificación.

2. Puntuaciones de Proceso a Nivel de Paso (Localizando el Crédito)

Para abordar la difusión del crédito en trayectorias largas, el método introduce puntuaciones de proceso a nivel de paso ($s_i \in [0, 1]$).

• Estas puntuaciones son asignadas por un juez a pasos individuales de llamada a herramientas dentro de una trayectoria que ha compilado con éxito.
• Crucialmente, estas puntuaciones no entran en la normalización de la recompensa escalar de GRPO. En su lugar, actúan como pesos de pérdida a nivel de token.
• Los pasos con alta puntuación (por ejemplo, ediciones exitosas, verificaciones) reciben pesos de gradiente más altos, mientras que los pasos con baja puntuación (por ejemplo, inspecciones de archivos redundantes) se ponderan hacia abajo. Esto reasigna la fuerza de actualización dentro de una trayectoria sin cambiar la ventaja relativa entre diferentes trayectorias.

3. Gobernanza de Trayectorias Consciente de la Causa del Fallo (Garantizando la Comparabilidad)

Para asegurar que las trayectorias en el mismo grupo sean comparables en ejecución, el sistema implementa un mecanismo de enrutamiento basado en la causa del fallo:

• Enmascaramiento de Trayectoria Completa: Las muestras que fallan debido a excepciones ambientales no aprendibles (por ejemplo, fallo de inicialización del contenedor, desbordamiento de contexto, tiempos de espera del sistema) se enmascaran completamente del objetivo de pérdida. Aun así, contribuyen a la media/varianza del grupo para la normalización, pero no generan gradientes.
• Retención del Último Paso: Las muestras que exhiben degeneración de la política (por ejemplo, repetición catastrófica, llamadas excesivas a herramientas) se enmascaran hasta el último paso, reteniendo solo el último paso como muestra de penalización para alinear la retroalimentación negativa con el punto específico de fallo.
• Terminación Normal: Las trayectorias válidas proceden al juicio semántico.
  Adicionalmente, el sistema desacopla la concurrencia para la inferencia en GPU, la E/S del entorno aislado (sandbox) y la compilación para evitar que la contención de recursos sesgue la distribución de muestreo.

Comparación de Límites: Destilación a Nivel de Token

El artículo también investiga si la destilación privilegiada a nivel de token (utilizando pistas disponibles durante el entrenamiento pero no en el momento de la prueba) puede reemplazar el crédito de proceso a nivel de paso. Se prueban dos métodos, $\pi$-Distill (KL directo) y OPSD (KL inverso). Los resultados muestran que la alineación a nivel de token no logra mejorar la corrección del resultado en trayectorias largas, ya que la señal se diluye por tokens no críticos y altera la dinámica de optimización a nivel de trayectoria.

Resultados Clave

Los experimentos se realizaron en una tarea de compilar-arreglar utilizando el modelo Qwen3-Coder-30B con un conjunto de datos de reparaciones mínimas suficientes derivadas de registros de CI internos.

• Ganancia de Extremo a Extremo: La GRPO con reconfiguración completa de señales mejoró la precisión estricta de compilación y semántica desde el rendimiento de cero disparos del modelo base de 0.385 hasta 0.535 (una ganancia de 15.0 puntos porcentuales).
• Rol de las Recompensas en Capas: Comparar una recompensa binaria (solo compilación) contra la recompensa en capas mostró que las recompensas binarias provocaron que la tasa de compilación se disparara temprano y luego se degradara, sin lograr mejorar la corrección semántica. La recompensa en capas (nivel $R=0.5$) fue esencial para un entrenamiento estable y el control de trayectorias.
• Rol de las Puntuaciones de Proceso: Añadir puntuaciones de proceso a nivel de paso a la línea base de recompensa en capas mejoró aún más la precisión de 0.48 a 0.53 y redujo los pasos promedio de evaluación de 23.50 a 17.02. Esto demuestra que el crédito de proceso mejora la eficiencia y la corrección simultáneamente, en lugar de intercambiar exploración por éxito.
• Fallo de la Destilación: Los métodos de destilación a nivel de token ($\pi$-Distill y OPSD) rindieron por debajo de la línea base de GRPO. $\pi$-Distill condujo a una terminación prematura (aprendiendo a enviar respuestas temprano), mientras que OPSD condujo a baja entropía y habilidades de herramientas degradadas. Esto confirma que la alineación local de tokens no puede reemplazar la semántica del resultado ni el crédito de proceso en este contexto.

Significado y Afirmaciones

El artículo afirma que para tareas de agentes con retroalimentación débil, la reconfiguración de señales es una estrategia más efectiva que modificar el objetivo de RL o añadir supervisión desajustada.

1. Reencuadre del Problema: Los autores postulan que el fallo de GRPO en configuraciones de retroalimentación débil no se debe al algoritmo en sí, sino a la invalidación de la comparación dentro del grupo causada por señales incompletas.
2. Intervención Mínima: El método propuesto deja sin cambios el cálculo central de ventaja de GRPO. Simplemente asegura que las entradas (recompensas, pesos de proceso y selección de muestras) satisfagan los prerrequisitos para una optimización relativa significativa.
3. Desajuste de Granularidad: Los resultados negativos en la destilación a nivel de token destacan un desajuste fundamental: en tareas de agentes de largo horizonte, el éxito se determina por unos pocos puntos de decisión críticos (llamadas a herramientas, terminación), mientras que la supervisión a nivel de token se diluye por tokens no críticos. Por lo tanto, el crédito de proceso a nivel de paso y la semántica del resultado son necesarios y no pueden ser reemplazados por una alineación densa a nivel de token.

El trabajo sugiere un principio de diseño para el futuro RL de agentes: cuando el objetivo es correcto pero la retroalimentación es incompleta, reconfigurar la señal para recuperar el ordenamiento semántico, el crédito localizado y la comparabilidad de muestras es más efectivo que añadir supervisión auxiliar que no se alinea con la granularidad de la decisión.