Resumen Técnico: BenchEvolver: Síntesis de Tareas de Frontera mediante la Evolución Centrada en la Solución

Planteamiento del Problema

El rápido avance de los modelos de lenguaje de gran tamaño (LLM) de frontera ha llevado a la saturación de los benchmarks de codificación ampliamente utilizados. En conjuntos de datos como LiveCodeBench, los modelos de vanguardia alcanzan tasas de aprobación casi perfectas (por ejemplo, >99% en divisiones fáciles, >90% en promedio), lo que hace que estos benchmarks sean ineficaces para diferenciar las capacidades de los modelos o proporcionar gradientes de entrenamiento significativos. Aunque la construcción humana de nuevos conjuntos de datos desafiantes es posible, es costosa y difícil de escalar. Los métodos existentes de generación de datos sintéticos suelen seguir un paradigma asimétrico de profesor-alumno (donde un modelo más fuerte genera datos para uno más débil) o actúan a nivel de instrucción sin asegurar la validez de la tarea ejecutable subyacente (enunciado, solución y pruebas). En consecuencia, existe una falta de mecanismos para que los modelos de frontera generen tareas válidas, verificables y difíciles que desafíen al propio generador, un requisito previo para la auto-mejora de bucle cerrado.

Metodología: BenchEvolver

Los autores presentan BenchEvolver, un marco evolutivo centrado en la solución diseñado para transformar tareas de codificación saturadas en variantes más difíciles y verificables. A diferencia de los enfoques tradicionales que generan primero el enunciado del problema y luego intentan encontrar una solución, BenchEvolver invierte este proceso:

1. Evolución Centrada en la Solución: El proceso comienza con la solución de referencia ($C$) de una tarea semilla. Un Propositor muta esta solución en una nueva solución de referencia ($C'$) estructuralmente distinta. Esta mutación es guiada por el objetivo de introducir un "levantamiento algorítmico dominante" (dominant algorithmic lift): un cambio sustantivo (por ejemplo, requerir una nueva estructura de datos, una clase de complejidad diferente o una reformulación matemática) que haga que la solución padre sea insuficiente.
2. Derivación de los Componentes de la Tarea: Una vez establecida $C'$, el marco deriva el enunciado del problema en lenguaje natural ($S'$), los ejemplos públicos y las suites de pruebas ocultas ($T'$) directamente de la solución evolucionada. Esto asegura que la tarea esté fundamentada en semántica ejecutable.
3. Verificación y Selección Empírica: Un Evaluador valida la tarea candidata ($I' = (S', C', T', E)$) mediante controles de consistencia específicos del benchmark (por ejemplo, triangulando entre la solución de referencia, un resolvedor de fuerza bruta y un oráculo de solo enunciado para programación competitiva; utilizando controles de fidelidad de enunciado para codificación científica). Crucialmente, la dificultad no se asigna heurísticamente, sino que se mide empíricamente: un candidato solo se acepta si resulta en una tasa de aprobación menor para un panel de modelos objetivo en comparación con la semilla.
4. Búsqueda Guiada por Memoria: El marco emplea módulos de memoria local y global. La memoria local rastrea el linaje de una semilla específica (mutaciones aceptadas, razones de fallo), mientras que la memoria global registra familias de mutaciones aceptadas en todas las semillas para fomentar la diversidad y evitar la exploración redundante. Esto guía al Propositor para evitar fallos repetidos y explorar direcciones algorítmicas distintas.

Contribuciones Clave

• Marco BenchEvolver: Un nuevo marco de bucle cerrado que evoluciona tareas de codificación saturadas mediante la mutación de soluciones de referencia primero, y luego derivando enunciados y pruebas. Este diseño asegura que las tareas sean ejecutables y verificables sin requerir un modelo "profesor" estrictamente más fuerte.
• Validación Trans-dominio: Se demuestra que el marco funciona en dos dominios de codificación ejecutable distintos: programación competitiva (LiveCodeBench) y codificación científica (SciCode), produciendo tareas válidas, diversas y sustancialmente más difíciles en ambos.
• LIVECODEBENCH-PLUS: Los autores curan un nuevo benchmark de 91 problemas que combina tareas evolucionadas con problemas originales difíciles de LiveCodeBench-v6. Este benchmark restaura la discriminación clara entre modelos de frontera, con puntuaciones Pass@1 que oscilan entre el 27.5% y el 62.6%.
• Señal de Auto-mejora: El artículo proporciona evidencia de que las tareas evolucionadas sirven como señales de entrenamiento efectivas para el modelo que las generó. El Aprendizaje por Refuerzo (RL) sobre tareas evolucionadas mejora el rendimiento de codificación en conjuntos de prueba no vistos, más allá de entrenar únicamente en el conjunto de semillas original.

Resultados

• Dificultad y Validez de la Tarea: Aplicado a LiveCodeBench y SciCode, BenchEvolver genera con éxito tareas evolucionadas válidas que reducen significativamente las tasas de aprobación de los modelos objetivo. Por ejemplo, en las semillas Hard de LiveCodeBench, el Pass@1 promedio entre los modelos cayó del 87.0% al 45.7% en las tareas evolucionadas.
• Diversidad Algorítmica: La evaluación humana por parte de expertos en programación competitiva reveló que las tareas evolucionadas amplían la superficie algorítmica. Mientras que los problemas semilla estaban dominados por "Búsqueda/simulación" (32.7%), las tareas evolucionadas distribuyeron la masa a través de categorías avanzadas como HLD/LCT, autómatas AC y métodos polinómicos. El número de categorías algorítmicas distintas aumentó de 19 en las semillas a 30 en el conjunto evolucionado.
• Ganancias de Rendimiento de RL: Utilizando gpt-oss-20b como tanto el evolutor como el modelo objetivo, el entrenamiento en una mezcla de tareas semilla y evolucionadas produjo ganancias significativas en benchmarks de prueba:
  • LCB v6 Hard: Ganancia de +8.7 en Pass@1 sobre la línea base de solo semilla (una mejora relativa del 70.7% sobre la ganancia de solo semilla).
  • LCB-Pro Easy: Ganancia de +8.3 en Pass@1 sobre la línea base de solo semilla (una mejora relativa del 34.8%).
  • Transferencia: El entrenamiento en tareas evolucionadas autogeneradas también mejoró el rendimiento en un benchmark evolucionado de forma independiente (generado por Gemini-3-Flash), lo que sugiere que la señal se transfiere más allá de la distribución específica del generador.

Significado y Reivindicaciones

El artículo afirma que BenchEvolver aborda el cuello de botella de la saturación de los benchmarks convirtiendo conjuntos de datos estáticos y saturados en suites de evaluación de nivel de frontera y señales de entrenamiento reutilizables. El núcleo de su importancia reside en el diseño centrado en la solución, que fundamenta la generación de tareas en la semántica ejecutable, asegurando que la dificultad sea una propiedad del cómputo y no de la complejidad superficial.

Los autores argumentan que este enfoque permite un mecanismo de auto-mejora de bucle cerrado: los modelos pueden utilizar el cómputo en tiempo de inferencia para descubrir sus propias debilidades, convertir esos fallos en entornos de entrenamiento verificados y mejorar mediante RL. Esto va más allá de la visión tradicional de los benchmarks como artefactos estáticos que inevitablemente se saturan, proponiendo en su lugar un paradigma de "benchmark vivo" donde la evaluación y los conjuntos de datos de entrenamiento co-evolucionan con las capacidades del modelo. Los resultados sugieren que las tareas evolucionadas no son meramente ítems de evaluación más difíciles, sino que proporcionan señales de entrenamiento accionables que ayudan a los modelos a mejorar en regímenes de codificación difíciles que van más allá de su distribución de entrenamiento original.