Resumen Técnico: CoDiQ – Escalamiento en Tiempo de Inferencia para la Generación de Preguntas Difíciles Controlables

1. Planteamiento del Problema

Los Modelos de Razonamiento Grande (LRMs) han demostrado avances significativos en tareas de razonamiento complejo, particularmente en matemáticas y programación. Sin embargo, su progreso se ve obstaculizado por la escasez de datos de entrenamiento de alta calidad y gran dificultad. Los métodos automatizados existentes para sintetizar preguntas difíciles enfrentan tres desafíos primarios:

1. Techo de Capacidad del Generador: Los modelos luchan por generar preguntas significativamente más difíciles que aquellas que pueden resolver de manera confiable, lo que estanca el progreso.
2. Compromiso entre Solubilidad y Complejidad: Forzar la complejidad a menudo resulta en preguntas "falsamente difíciles" que son lógicamente inconsistentes, mal definidas o irresolubles.
3. Dificultad Incontrolable: La dificultad no es directamente observable ni estandarizable, lo que dificulta escalar la generación de preguntas con un control de dificultad preciso sin depender de procesos frágiles que requieran intervención humana.

El artículo tiene como objetivo escalar la síntesis de preguntas de alta dificultad asegurando que sigan estando bien planteadas y sean resolubles, yendo más allá de los enfoques puramente impulsados por humanos o de granularidad gruesa.

2. Metodología

Los autores proponen CoDiQ (Generación de Preguntas Difíciles Controlables), un marco que aprovecha el escalamiento en tiempo de inferencia para lograr un control de dificultad de grano fino. La metodología consta de cuatro componentes principales:

2.1 Estrategias de Mejora de la Dificultad

Para guiar a los Modelos de Lenguaje Grande (LLMs) más allá del prompting ingenuo (por ejemplo, "haz esto más difícil"), los autores diseñan seis estrategias sistemáticas que sirven como andamios cognitivos:

• Dimensionalidad y Restricciones
• Abstracción Matemática
• Inversa y Constructiva
• Explosión de Estados
• Disfraz de Teoremas
• Ingeniería de Casos Límite y Rigor

Estas estrategias aseguran que la dificultad surja de la profundidad del razonamiento y no de modificaciones superficiales.

2.2 El Pipeline CoDiQ

El núcleo del marco es un pipeline evolutivo iterativo (Algoritmo 1) que transforma una pregunta semilla $Q_0$ en una secuencia de variantes cada vez más difíciles $\{Q_1, \dots, Q_n\}$ a lo largo de hasta $T_{max}=8$ rondas.

• Refinamiento Iterativo: Se le pide al modelo que "lo haga más difícil" en cada paso.
• Verificación Híbrida: Dos módulos regulan el proceso:
  • Estimación de Dificultad: Utiliza un paradigma de dificultad relativa que combina LLM-Ranking (usando Doubao-Seed-1.8) y Puntuación de Red de Valor (usando estados ocultos de Qwen3-8B) para asignar puntuaciones de dificultad continuas. Esto evita los efectos de saturación observados en la puntuación absoluta.
  • Verificación de Solubilidad: Utiliza Qwen3-32B para verificar la consistencia lógica y la solubilidad, asegurando que solo se retengan instancias válidas.
• Criterios de Terminación: El proceso se detiene si la dificultad retrocede (no monotónica) o si la pregunta es marcada como irresoluble.

2.3 CoDiQ-Generator (Entrenamiento por RL)

Para superar el techo de capacidad del generador, los autores entrenan un generador especializado (CoDiQ-Generator) basado en Qwen3-8B mediante Aprendizaje por Refuerzo (RL).

• Construcción de Datos: El conjunto de datos de RL ($D_{RL}$) captura "instancias límite" donde el modelo genera con éxito preguntas válidas durante varias rondas pero falla en la siguiente (debido a la irresolubilidad o el estancamiento de la dificultad).
• Función de Recompensa: Una función de recompensa consciente de la dificultad equilibra las garantías de validez con la progresión de la dificultad. Penaliza las salidas inválidas y recompensa la progresión de dificultad positiva ($\Delta(D) > 0$) ponderada por la confianza.
• Optimización: El modelo es ajustado mediante el algoritmo GRPO dentro del framework VeRL.

2.4 CoDiQ-Corpus

Utilizando el CoDiQ-Generator, los autores construyeron el CoDiQ-Corpus, un conjunto de datos de 44,000 secuencias de preguntas de matemáticas y programación de nivel de competencia. El conjunto de datos está estratificado por dificultad, derivado del presupuesto de tokens y las puntuaciones de verificación.

3. Contribuciones Clave

1. Estrategias de Mejora de la Dificultad: Seis estrategias explícitas que guían a los LLMs para inyectar dificultad algorítmica de manera sistemática, permitiendo la síntesis de preguntas que superan los baselines de cero disparos (zero-shot).
2. Tendencia de Escalamiento en Tiempo de Inferencia: La identificación de una tendencia de escalamiento donde los presupuestos extendidos de tokens de razonamiento aumentan la dificultad pero reducen la solubilidad. El artículo caracteriza el límite superior de la capacidad de un modelo para producir preguntas válidas de alta dificultad.
3. CoDiQ-Corpus: Un conjunto de datos de 44K preguntas de nivel de competencia. Los experimentos muestran que entrenar LRMs en este corpus mejora significativamente el rendimiento de razonamiento en comparación con los baselines existentes.

4. Resultados Experimentales

4.1 Rendimiento de Generación

• Dificultad Máxima Resoluble: En el CoDiQ-Bench (200 casos curados), el modelo CoDiQ-Gen-8B superó significativamente a modelos mucho más grandes (ej. Qwen3-32B) en la generación de instancias de alta complejidad. Mantuvo altas tasas de validez a través de más rondas de iteración, acumulando complejidad sin una terminación prematura.
• Correlación de Tokens: Se encontró una fuerte correlación positiva entre el consumo de tokens de razonamiento y los rankings de dificultad (Pearson $r \approx 0.83-0.85$), confirmando que el volumen de tokens es un proxy confiable para la dificultad.
• Tendencia de Escalamiento: Mientras que los modelos más grandes (GLM-4.6) mantuvieron una alta solubilidad, los modelos más pequeños a menudo sufrieron un "colapso de validez" bajo el prompting de CoDiQ. Sin embargo, el CoDiQ-Gen-8B alineado con RL logró desacoplar el escalamiento de la dificultad de la pérdida de validez.

4.2 Calidad y Dificultad del Corpus

• Comparación de Dificultad: La evaluación humana y el ranking automatizado indicaron que las preguntas de CoDiQ-Corpus son significativamente más desafiantes que los benchmarks existentes como LiveCodeBench y AIME (Rango de Dificultad Promedio: 87.1% vs. ~51.5% para AIME).
• Solubilidad: A pesar de la alta dificultad, la evaluación humana confirmó una tasa de solubilidad del 82% para las instancias aceptadas.
• Paradoja del Verificador: El análisis reveló que algunos problemas válidos fueron rechazados por el verificador porque excedían el horizonte de razonamiento del mismo, resaltando una limitación donde el límite superior del pipeline está capado por la capacidad del verificador.

4.3 Efectividad del Entrenamiento

• Aprendizaje por Currículo: Entrenar modelos (CoDiQ-Li-4B) en CoDiQ-Corpus utilizando un currículo controlado por presupuesto (dificultad progresiva) produjo resultados superiores en MATH-500 y AIME 2024 en comparación con el entrenamiento de RL estándar sobre los datasets originales.
• Ganancias de Rendimiento: CoDiQ-L3-4B alcanzó un puntaje de 70.6% en AIME 2024, superando al baseline Qwen3-RL-4B (64.3%).

5. Significación y Reivindicaciones

El artículo afirma que CoDiQ proporciona un marco con principios para escalar la dificultad de los datos de razonamiento sintéticos manteniendo la validez lógica. Su significación radica en:

• Desacoplamiento de la Complejidad de la Curaduría: Ofrece un método para generar datos de supervisión de nivel de frontera sin depender de procesos costosos impulsados puramente por humanos.
• Escalamiento Controlable: Al introducir el escalamiento en tiempo de inferencia y la verificación híbrida, aborda el problema de la "falsa dificultad", asegurando que el aumento de la dificultad no comprometa la solubilidad.
• Validación Empírica: El éxito del CoDiQ-Corpus al mejorar las capacidades de razonamiento descendentes (downstream) verifica que escalar preguntas de entrenamiento de dificultad controlada es una estrategia efectiva para mejorar el rendimiento de los LRMs.

Los autores reconocen limitaciones, específicamente la restricción a tareas de matemáticas y código en inglés, el costo computacional de la verificación y la "Paradoja del Verificador", donde problemas válidos que exceden la capacidad del verificador pueden ser descartados. Liberan el corpus, el generador y las implementaciones para apoyar la investigación futura en leyes de escalamiento y aprendizaje de currículo automatizado.