Resumen Técnico: Cuando la Suite de Recompensas tiene Fugas

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) entrena modelos de código utilizando suites de pruebas como verdad fundamental. Sin embargo, las suites de pruebas desplegadas suelen contener falsos positivos (FP) naturales: errores asimétricos, persistentes y por tarea, donde un programa incorrecto específico pasa consistentemente las mismas pruebas débiles. A diferencia del ruido simétrico y remuestreado asumido por los análisis de robustez existentes (que se promedian durante el entrenamiento), estos FP naturales proporcionan una recompensa constante para soluciones incorrectas específicas.

El artículo aborda una pregunta causal ausente: ¿Qué sucede cuando los modelos entrenan contra estos falsos positivos naturales y persistentes? Específicamente, ¿aprende el modelo a explotar estas fugas (explotación aprendida) o simplemente selecciona modos de error preexistentes (selección)? Además, ¿degrada el entrenamiento en una suite "con fugas" la capacidad en pruebas no vistas en comparación con una suite "fortalecida"?

2. Metodología

Los autores realizaron un contraste causal de dos brazos preregistrado a través de tres familias de modelos (Qwen2.5-Coder-1.5B, DeepSeek-Coder-1.3B y Llama-3.2-1B).

Diseño Experimental

• Brazos de Entrenamiento: Ambos brazos utilizaron modelos idénticos, tareas (250 tareas de MBPP), semillas (5), hiperparámetros y cómputo (400 pasos de GRPO). La única diferencia fue la señal de recompensa:
  • Brazo con Fugas (Leaky Arm): Recompensado basándose en la suite de pruebas original y desplegada de MBPP.
  • Brazo Fortalecido (Hardened Arm): Recompensado basándose únicamente en las pruebas "extra" generadas por el proyecto MBPP+ (las cuales son disjuntas de las pruebas originales en 313/378 tareas).
• Auditoría Estática: Antes del entrenamiento, una auditoría estática económica muestreó 16 soluciones del modelo base por tarea. La "fuga" de una tarea se definió como la fracción de muestras que pasaron la suite original pero fallaron las pruebas extra.
• Evaluación: El rendimiento en pruebas no vistas se puntuó exclusivamente mediante la suite de pruebas extra (pruebas "plus" de MBPP+) para asegurar una evaluación justa y sin fugas.
• Preregistro: El diseño del estudio, incluyendo los márgenes de no inferioridad y los planes de análisis, fue preregistrado antes de la recolección de datos. Las afirmaciones están etiquetadas como [C] (confirmatorio/preregistrado) o [E] (exploratorio/post-hoc).

Métricas Clave

• Masa de FP Recompensada: La fracción de ejecuciones (rollouts) en el brazo con fugas que pasaron la suite original pero fallaron la suite extra.
• Cuota de Verificado-Incorrecto (Verified-Wrong Share): Una auditoría humana exhaustiva de los FP recompensados para distinguir código genuinamente erróneo de artefactos (ej. falsos negativos de las pruebas extra).
• Brecha de Held-Out (Held-Out Gap): La diferencia en las tasas de aprobación entre el brazo fortalecido y el de fugas en tareas no vistas.

3. Resultados Clave

Hallazgos Confirmatorios [C]

1. Efecto Promedio Acotado: A los 400 pasos, el brazo con fugas no sufrió una caída estadísticamente significativa en la capacidad de held-out en comparación con el brazo fortalecido. La brecha fue de 0.20 puntos, con un límite superior unilateral del 95% de 0.75 puntos, manteniéndose bien dentro del margen de no inferioridad preregistrado de 1.5 puntos.
2. La Auditoría Estática Predice la Fuga: Existe una fuerte correlación (Spearman $\rho \approx 0.80$) entre la puntuación de fuga estática pre-entrenamiento y la masa de FP recompensada real observada durante el entrenamiento. Esto sugiere que la fuga es una propiedad de la tarea/suite, no algo que el modelo aprenda a crear.
3. Replicación: Los hallazgos principales (gran cuota de verificado-incorrecto, seguimiento de la fuga y estratificación del lado del entrenamiento) se replicaron en las tres familias de modelos.

Hallazgos Exploratorios [E]

1. La Recompensa Paga por Errores Reales: Aproximadamente el 47.57% de los falsos positivos recompensados en la familia primaria fueron verificados como código genuinamente erróneo (errores reales), no solo artefactos de la suite. Esta cuota fue grande en las familias de replicación (45.37% y 62.78%).
2. Selección, No Aprendizaje: El mecanismo parece ser la selección de modos de error preexistentes en lugar de la explotación aprendida.
   • La tasa de FP ya estaba en su nivel de largo plazo en el Paso 0 y no creció durante el horizonte de entrenamiento.
   • Los modelos base no entrenados produjeron las mismas salidas características erróneas cuando eran filtrados por la suite con fugas.
   • No hubo evidencia de "firmas de hacking" o de un afilamiento a nivel de parámetros hacia los falsos positivos más allá de la resolución conductual.
3. Meta-Auditoría de Jueces de Frontera: Una auditoría exploratoria de modelos de frontera (DeepSeek-V4-Pro, MiMo-v2.5-Pro) actuando como jueces encontró que podían separar sus propios falsos positivos de los aciertos genuinos solo débilmente (AUC ~0.62–0.64), significativamente por debajo de su capacidad para juzgar los errores de la política de 1.5B. Una prueba de deconflicción del sesgo de autoevaluación devolvió NO RESUELTO.

4. Contribuciones y Significado

La principal contribución del artículo es una capa de medición que aísla el impacto causal de los falsos positivos naturales en RLVR.

• Medición vs. Capacidad: El estudio demuestra que una puntuación agregada de "held-out" limpia no certifica un flujo de recompensa "limpio". El brazo con fugas acumuló 8.37 puntos más de recompensa de entrenamiento que el brazo fortalecido, sin embargo, esta inflación no se tradujo en ganancias o pérdidas medibles de capacidad en tareas de held-out dentro de la escala estudiada (1–1.5B de parámetros, 400 pasos).
• Economía de la Auditoría: Una auditoría estática económica realizada antes del entrenamiento puede predecir dónde ocurrirá la fuga de recompensa. Esto permite a los practicantes identificar tareas de alto riesgo sin ejecutar ejecuciones de entrenamiento costosas.
• Naturaleza de la Fuga: El artículo argumenta que el flujo de recompensa está "pagando por" errores preexistentes en la distribución del modelo base que la suite no logra filtrar, en lugar de que el modelo esté aprendiendo a hackear la suite. La fuga actúa como un mecanismo de selección, no como una señal de enseñanza para nuevos exploits.
• Límite Práctico: Los hallazgos sugieren que, para las escalas y longitudes de tarea actuales, el riesgo de falsos positivos naturales es principalmente un problema de medición (inflación de la cuenta de recompensa) más que un problema de capacidad (desalineación aprendida). Sin embargo, los autores declaran explícitamente que no pretenden afirmar nada más allá de su escala y horizonte específicos, señalando que la explotación podría crecer con modelos más grandes o tareas más largas.

5. Limitaciones y Alcance

Los autores son explícitos sobre los límites de sus afirmaciones:

• Escala: Los resultados son específicos para modelos de 1–1.5B y 400 pasos de GRPO. El artículo no descarta que la explotación crezca en escalas o horizontos más grandes.
• Tareas: El estudio se limita a tareas de MBPP y HumanEval+.
• Fortalecimiento: El brazo "fortalecido" utiliza únicamente pruebas extra, las cuales no son perfectas (contienen sus propios falsos negativos), aunque el piso de error es menor que el de la suite original.
• Meta-Auditoría: Los hallazgos respecto a los jueces de frontera son descriptivos y limitados a dos modelos específicos; no se generalizan a todos los modelos de frontera.

En resumen, el artículo proporciona una demostración rigurosa y preregistrada de que, si bien las suites de pruebas desplegadas filtran recompensa hacia código genuinamente erróneo, esta fuga se manifiesta actualmente como una inflación de la medición en lugar de una capacidad aprendida para explotar la suite, al menos dentro de la escala y el horizonte observados.