Resumo Técnico: CoDiQ – Escalonamento em Tempo de Teste para Geração de Questões Difíceis Controláveis

1. Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs) demonstraram avanços significativos em tarefas de raciocínio complexo, particularmente em matemática e codificação. No entanto, seu progresso é limitado pela escassez de dados de treinamento de alta qualidade e desafiadores. Os métodos automatizados existentes para sintetizar questões difíceis enfrentam três desafios primários:

1. Teto de Capacidade do Gerador: Modelos lutam para gerar questões significativamente mais difíceis do que aquelas que conseguem resolver de forma confiável, levando à estagnação do progresso.
2. Compromisso entre Solubilidade e Complexidade: Forçar a complexidade frequentemente resulta em questões "falsamente difíceis" que são logicamente inconsistentes, mal definidas ou insolúveis.
3. Dificuldade Incontrolável: A dificuldade não é diretamente observável ou padronizada, tornando difícil escalar a geração de questões com controle preciso de dificuldade sem depender de pipelines frágeis que dependem de intervenção humana (human-in-the-loop).

O artigo visa escalar a síntese de questões de alta dificuldade enquanto garante que elas permaneçam bem formuladas e solucionáveis, indo além de abordagens puramente impulsionadas por humanos ou de granularidade grosseira.

2. Metodologia

Os autores propõem o CoDiQ (Controllable Difficult Question Generation), um framework que utiliza o escalonamento em tempo de teste para alcançar um controle de dificuldade refinado. A metodologia consiste em quatro componentes principais:

2.1 Estratégias de Aumento de Dificuldade

Para guiar Grandes Modelos de Linguagem (LLMs) além do prompting ingênuo (ex: "torne isso mais difícil"), os autores projetam seis estratégias sistemáticas que servem como andaimes cognitivos:

• Dimensionalidade e Restrições
• Abstração Matemática
• Inverso e Construtivo
• Explosão de Estado
• Disfarce de Teorema
• Engenharia de Casos de Borda e Rigor

Essas estratégias garantem que a dificuldade surja da profundidade do raciocínio, e não de modificações superficiais.

2.2 O Pipeline CoDiQ

O núcleo do framework é um pipeline evolutivo iterativo (Algoritmo 1) que transforma uma questão semente $Q_0$ em uma sequência de variantes progressivamente mais difíceis $\{Q_1, \dots, Q_n\}$ em até $T_{max}=8$ rodadas.

• Refinamento Iterativo: O modelo é instruído a "torná-la mais difícil" em cada etapa.
• Verificação Híbrida: Dois módulos regulam o processo:
  • Estimativa de Dificuldade: Utiliza um paradigma de dificuldade relativa combinando LLM-Ranking (usando Doubao-Seed-1.8) e Pontuação de ValueNetwork (usando estados ocultos do Qwen3-8B) para atribuir pontuações de dificuldade contínuas. Isso evita efeitos de saturação observados na pontuação absoluta.
  • Verificação de Solubilidade: Utiliza o Qwen3-32B para verificar a consistência lógica e a solubilidade, garantindo que apenas instâncias válidas sejam retidas.
• Critérios de Terminação: O processo para se a dificuldade regredir (não-monotônica) ou se a questão for sinalizada como insolúvel.

2.3 CoDiQ-Generator (Treinamento por RL)

Para superar o teto de capacidade do gerador, os autores treinam um gerador especializado (CoDiQ-Generator) baseado no Qwen3-8B usando Aprendizado por Reforço (RL).

• Construção de Dados: O conjunto de dados de RL ($D_{RL}$) captura "instâncias de fronteira" onde o modelo gera questões válidas com sucesso por várias rodadas, mas falha na rodada seguinte (devido à insolubilidade ou estagnação de dificuldade).
• Função de Recompensa: Uma função de recompensa consciente da dificuldade equilibra as garantias de validade com a progressão de dificuldade. Ela penaliza saídas inválidas e recompensa a progressão positiva de dificuldade ($\Delta(D) > 0$) ponderada pela confiança.
• Otimização: O modelo é ajustado usando o algoritmo GRPO dentro do framework VeRL.

2.4 CoDiQ-Corpus

Usando o CoDiQ-Generator, os autores construíram o CoDiQ-Corpus, um conjunto de dados de 44.000 sequências de questões de matemática e codificação de nível de competição. O conjunto de dados é estratificado por dificuldade, derivado do orçamento de tokens e das pontuações de verificação.

3. Principais Contribuições

1. Estratégias de Aumento de Dificuldade: Seis estratégias explícitas que guiam LLMs para injetar dificuldade algorítmica sistematicamente, permitindo a síntese de questões que superam os baselines de zero-shot.
2. Tendência de Escalonamento em Tempo de Teste: A identificação de uma tendência de escalonamento onde orçamentos estendidos de tokens de raciocínio aumentam a dificuldade, mas reduzem a solubilidade. O artigo caracteriza o limite superior da capacidade de um modelo para produzir questões de alta dificuldade e válidas.
3. CoDiQ-Corpus: Um conjunto de dados de 44 mil questões de nível de competição. Experimentos mostram que treinar LRMs neste corpus aumenta significativamente o desempenho de raciocínio em comparação com os baselines existentes.

4. Resultados Experimentais

4.1 Desempenho de Geração

• Dificuldade Máxima Solucionável: No CoDiQ-Bench (200 casos curados), o modelo CoDiQ-Gen-8B superou significativamente modelos muito maiores (ex: Qwen3-32B) na geração de instâncias de alta complexidade. Ele manteve altas taxas de validade ao longo de mais rodadas de iteração, acumulando complexidade sem terminação prematura.
• Correlação de Tokens: Foi encontrada uma forte correlação positiva entre o consumo de tokens de raciocínio e os rankings de dificuldade (Pearson $r \approx 0.83-0.85$), confirmando o volume de tokens como um proxy confiável para a dificuldade.
• Tendência de Escalonamento: Embora modelos maiores (GLM-4.6) tenham mantido alta solubilidade, modelos menores frequentemente sofreram "colapso de validade" sob o prompting do CoDiQ. No entanto, o CoDiQ-Gen-8B alinhado por RL conseguiu desacoplar o escalonamento de dificuldade da perda de validade.

4.2 Qualidade e Dificuldade do Corpus

• Comparação de Dificuldade: A avaliação humana e o ranking automatizado indicaram que as questões do CoDiQ-Corpus são significativamente mais desafiadoras do que os benchmarks existentes como o LiveCodeBench e AIME (Rank de Dificuldade Média: 87,1% vs. ~51,5% para o AIME).
• Solubilidade: Apesar da alta dificuldade, a avaliação humana confirmou uma taxa de solubilidade de 82% para as instâncias aceitas.
• Paradoxo do Verificador: A análise revelou que algumas questões válidas foram rejeitadas pelo verificador porque excediam o horizonte de raciocínio do próprio verificador, destacando uma limitação onde o limite superior do pipeline é limitado pela capacidade do verificador.

4.3 Eficácia do Treinamento

• Aprendizado por Currículo: Treinar modelos (CoDiQ-Li-4B) no CoDiQ-Corpus usando um currículo controlado por orçamento (dificuldade progressiva) produziu resultados superiores no MATH-500 e AIME 2024 em comparação com o treinamento de RL padrão em conjuntos de dados originais.
• Ganhos de Desempenho: O CoDiQ-L3-4B alcançou uma pontuação de 70,6% no AIME 2024, superando o baseline Qwen3-RL-4B (64,3%).

5. Significância e Alegações

O artigo afirma que o CoDiQ fornece um framework principiológico para escalar a dificuldade de dados de raciocínio sintéticos enquanto mantém a validade lógica. Sua significância reside em:

• Desacoplamento de Complexidade e Curadoria: Oferece um método para gerar dados de supervisão de nível de fronteira sem depender de pipelines caros e puramente impulsionados por humanos.
• Escalonamento Controlável: Ao introduzir o escalonamento em tempo de teste e a verificação híbrida, ele aborda o problema do "falso difícil", garantindo que o aumento da dificuldade não comprometa a solubilidade.
• Validação Empírica: O sucesso do CoDiQ-Corpus em melhorar as capacidades de raciocínio de downstream verifica que escalar questões de treinamento de dificuldade controlada é uma estratégia eficaz para melhorar o desempenho de LRMs.

Os autores reconhecem limitações, especificamente a restrição a tarefas de matemática/codificação em inglês, o custo computacional da verificação e o "Paradoxo do Verificador", onde problemas válidos que excedem a capacidade do verificador podem ser descartados. Eles disponibilizam o corpus, o gerador e as implementações em código aberto para apoiar pesquisas futuras sobre leis de escalonamento e aprendizado de currículo automatizado.