Sintesi Tecnica: CoDiQ – Test-Time Scaling per la Generazione di Domande Difficili Controllabili

1. Definizione del Problema

I Large Reasoning Models (LRM) hanno dimostrato progressi significativi nei compiti di ragionamento complesso, in particolare nella matematica e nella programmazione. Tuttavia, il loro progresso è limitato dalla scarsità di dati di addestramento di alta qualità e alta difficoltà. Gli esistenti metodi automatizzati per la sintesi di domande difficili affrontano tre sfide primarie:

1. Crollo della Capacità del Generatore: I modelli faticano a generare domande significativamente più difficili di quelle che possono risolvere in modo affidabile, portando a un rallentamento dei progressi.
2. Compromesso tra Solvibilità e Complessità: Forzare la complessità spesso genera domande "falsamente difficili" che sono logicamente incoerenti, mal definite o insolubili.
3. Difficoltà Incontrollabile: La difficoltà non è direttamente osservabile o standardizzata, rendendo difficile scalare la generazione di domande con un controllo preciso della difficoltà senza fare affidamento su pipeline fragili basate sull'intervento umano (human-in-the-loop).

Il paper mira a scalare la sintesi di domande ad alta difficoltà garantendo al contempo che rimangano ben poste e risolvibili, andando oltre gli approcci puramente guidati dall'uomo o automatizzati a grana grossa.

2. Metodologia

Gli autori propongono CoDiQ (Controllable Difficult Question Generation), un framework che sfrutta lo scaling durante il test (test-time scaling) per ottenere un controllo fine della difficoltà. La metodologia consiste in quattro componenti principali:

2.1 Strategie di Incremento della Difficoltà

Per guidare i Large Language Models (LLM) oltre il prompting ingenuo (ad es., "rendilo più difficile"), gli autori progettano sei strategie sistematiche che fungono da scaffold cognitivi:

• Dimensionalità e Vincoli (Dimensionality & Constraints)
• Astrazione Matematica (Mathematical Abstraction)
• Inverso e Costruttivo (Inverse & Constructive)
• Esplosione dello Stato (State Explosion)
• Travestimento di Teoremi (Theorem Disguise)
• Ingegneria dei Casi Limite e del Rigore (Edge Case & Rigor Engineering)

Queste strategie assicurano che la difficoltà derivi dalla profondità del ragionamento piuttosto che da modifiche superficiali.

2.2 La Pipeline CoDiQ

Il cuore del framework è una pipeline evolutiva iterativa (Algoritmo 1) che trasforma una domanda seme $Q_0$ in una sequenza di varianti via via più difficili $\{Q_1, \dots, Q_n\}$ in un massimo di $T_{max}=8$ round.

• Raffinamento Iterativo: Il modello viene istruito a "renderlo più difficile" ad ogni step.
• Verifica Ibrida: Due moduli regolano il processo:
  • Stima della Difficoltà: Utilizza un paradigma di difficoltà relativa combinando l'LLM-Ranking (usando Doubao-Seed-1.8) e lo Scoring della ValueNetwork (usando gli stati nascosti di Qwen3-8B) per assegnare punteggi di difficoltà continui. Ciò evita gli effetti di saturazione osservati nello scoring assoluto.
  • Verifica della Solvibilità: Utilizza Qwen3-32B per verificare la coerenza logica e la solvibilità, garantendo che vengano mantenuti solo gli istanze valide.
• Criteri di Terminazione: Il processo si interrompe se la difficoltà regredisce (non monotonia) o se la domanda viene segnalata come insolubile.

2.3 CoDiQ-Generator (Addestramento RL)

Per superare il limite della capacità del generatore, gli autori addestrano un generatore specializzato (CoDiQ-Generator) basato su Qwen3-8B utilizzando il Reinforcement Learning (RL).

• Costruzione dei Dati: Il dataset di RL ($D_{RL}$) cattura le "istanze di confine" dove il modello genera con successo domande valide per diversi round ma fallisce al round successivo (a causa dell'insolubilità o della stagnazione della difficoltà).
• Funzione di Reward: Una funzione di reward consapevole della difficoltà bilancia le garanzie di validità con la progressione della difficoltà. Penalizza gli output non validi e premia la progressione positiva della difficoltà ($\Delta(D) > 0$) pesata dalla confidenza.
• Ottimizzazione: Il modello viene perfezionato utilizzando l'algoritmo GRPO all'interno del framework VeRL.

2.4 CoDiQ-Corpus

Utilizzando il CoDiQ-Generator, gli autori hanno costruito il CoDiQ-Corpus, un dataset di 44.000 sequenze di domande di matematica e programmazione di livello competitivo. Il dataset è stratificato per difficoltà, derivata dal budget di token e dai punteggi di verifica.

3. Contributi Chiave

1. Strategie di Incremento della Difficoltà: Sei strategie esplicite che guidano gli LLM a iniettare sistematicamente difficoltà algoritmica, consentendo la sintesi di domande che superano le baseline zero-shot.
2. Tendenza allo Scaling del Test-Time: L'identificazione di una tendenza allo scaling in cui l'estensione dei budget di token di ragionamento aumenta la difficoltà ma riduce la solvibilità. Il paper caratterizza il limite superiore della capacità di un modello di produrre domande valide e ad alta difficoltà.
3. CoDiQ-Corpus: Un dataset di 44.000 domande di livello competitivo. Gli esperimenti mostrano che addestrare gli LRM su questo corpus migliora significativamente le prestazioni di ragionamento rispetto alle baseline esistenti.

4. Risultati Sperimentali

4.1 Prestazioni di Generazione

• Massima Difficoltà Solvibile: Su CoDiQ-Bench (200 casi curati), il modello CoDiQ-Gen-8B ha superato significativamente modelli molto più grandi (es. Qwen3-32B) nella generazione di istanze ad alta complessità. Ha mantenuto alti tassi di validità attraverso più round di iterazione, accumulando complessità senza terminazioni premature.
• Correlazione dei Token: È stata trovata una forte correlazione positiva tra il consumo di token di ragionamento e i ranking di difficoltà (Pearson $r \approx 0.83-0.85$), confermando il volume di token come un proxy affidabile per la difficoltà.
• Tendenza allo Scaling: Mentre i modelli più grandi (GLM-4.6) mantenevano un'alta solvibilità, i modelli più piccoli spesso soffrivano di "collasso della validità" sotto il prompting di CoDiQ. Tuttavia, il modello RL-allineato CoDiQ-Gen-8B è riuscito a disaccoppiare lo scaling della difficoltà dalla perdita di validità.

4.2 Qualità del Corpus e Difficoltà

• Confronto della Difficoltà: La valutazione umana e il ranking automatizzato hanno indicato che le domande del CoDiQ-Corpus sono significativamente più impegnative dei benchmark esistenti come LiveCodeBench e AIME (Difficoltà Media di Ranking: 87,1% rispetto a circa 51,5% per AIME).
• Solvibilità: Nonostante l'alta difficoltà, la valutazione umana ha confermato un tasso di solvibilità dell'82% per le istanze accettate.
• Paradosso del Verificatore: L'analisi ha rivelato che alcuni problemi validi sono stati rifiutati dal verificatore perché superavano l'orizzonte di ragionamento del verificatore stesso, evidenziando un limite in cui il limite superiore del pipeline è dettato dalla capacità del verificatore.

4.3 Efficacia dell'Addestramento

• Apprendimento Curricolare (Curriculum Learning): Addestrare i modelli (CoDiQ-Li-4B) sul CoDiQ-Corpus utilizzando un curriculum controllato dal budget (difficoltà progressiva) ha prodotto risultati superiori su MATH-500 e AIME 2024 rispetto al normale addestramento RL sui dataset originali.
• Guadagni di Performance: CoDiQ-L3-4B ha ottenuto un punteggio del 70,6% su AIME 2024, superando la baseline Qwen3-RL-4B (64,3%).

5. Significato e Rivendicazioni

Il paper sostiene che CoDiQ fornisce un framework rigoroso per scalare la difficoltà dei dati di ragionamento sintetici mantenendo la validità logica. La sua importanza risiede nel:

• Disaccoppiare la Complessità dalla Curatela: Offre un metodo per generare dati di supervisione di livello frontiera senza dipendere da costose pipeline puramente guidate dall'uomo.
• Scaling Controllabile: Introducendo lo scaling del test-time e la verifica ibrida, affronta il problema del "falso difficile", garantendo che l'aumento della difficoltà non comprometta la solvibilità.
• Validazione Empirica: Il successo del CoDiQ-Corpus nel potenziare le capacità di ragionamento downstream verifica che scalare domande di addestramento a difficoltà controllata è una strategia efficace per migliorare le prestazioni degli LRM.

Gli autori riconoscono i limiti, specificamente la restrizione ai compiti di matematica/codice in inglese, il costo computazionale della verifica e il "Paradosso del Verificatore", dove problemi validi che eccedono la capacità del verificatore possono essere scartati. Rilasciano il corpus, il generatore e le implementazioni open-source per supportare la ricerca futura sulle leggi di scala (scaling laws) e l'apprendimento curricolare automatizzato.