Riepilogo Tecnico: PPC Potenzia il Ragionamento Matematico degli LLM Pre-pianificati (PPC)

1. Enunciato del Problema

I metodi di ragionamento basati su piani per i Large Language Models (LLM) hanno stabilito un paradigma domanda → piano → CoT. Sebbene efficaci, gli autori identificano una lacuna fondamentale a livello di paradigma in questo approccio: sia la fase di pianificazione che quella di esecuzione sono dedicate a decidere come risolvere un problema (organizzando i passaggi e portandoli a termine), mentre la questione precedente di cosa risolvere rimane interamente implicita.

La fase "cosa risolvere" comporta il riconoscimento del tipo di problema, l'identificazione degli strumenti e dei concetti applicabili, la segnalazione delle condizioni al contorno e l'anticipazione delle insidie. I metodi esistenti presuppongono che questa comprensione emerga implicitamente durante la generazione del piano. Tuttavia, l'analisi degli errori (Figura 1) rivela che una porzione significativa dei fallimenti nei metodi attuali basati su piani non deriva da errori di calcolo, ma dal mancato corretto inquadramento della natura del problema (ad esempio, identificare erroneamente un'equazione quadratica omogenea, portando a un percorso di soluzione inefficiente).

2. Metodologia: Il Framework PPC

Per colmare questa lacuna, gli autori propongono PPC (Preplan-Plan-CoT), un framework che introduce una fase esplicita di preplan, creando un nuovo paradigma domanda → preplan → piano → cot. Il preplan è un'analisi completa e non computazionale che definisce cosa risolvere, lasciando come risolvere alle successive fasi di pianificazione ed esecuzione.

Il framework affronta due sfide principali attraverso una pipeline specifica:

Sfida 1: Costruzione dei Dati (Prevenzione delle Perdite e degli Spoiler)

Generare supervisione per il preplan pulita è difficile perché i modelli tendono a ricadere in comportamenti di "come risolvere".

• Fallimento da Perdita (Leakage): Il preplan ripercorre la sequenza di passaggi del piano imminente.
• Fallimento da Spoiler: Il preplan esegue calcoli intermedi sotto le spoglie di un'analisi.

Soluzione: Gli autori progettano una pipeline di sintesi a tre stadi sorvegliata da un rilevatore di punteggio-spoiler.

1. Generazione a Tre Stadi: Le traiettorie sono generate rigorosamente da sinistra a destra: $y_{pp} \sim \pi_{pp}(\cdot|q)$, $y_p \sim \pi_p(\cdot|q, y_{pp})$, e $y_e \sim \pi_e(\cdot|q, y_p)$. Il prompt del preplan vieta esplicitamente derivazioni, formule estese e valori calcolati.
2. Filtraggio del Punteggio-Spoiler: Un punteggio basato su regole $s(\cdot) \in \{0, \dots, 6\}$ aggrega segnali di derivazione e rivelazione della risposta (ad esempio, frasi come "si semplifica in", alta densità di equazioni, lunghi segmenti di matematica in linea, costanti a più cifre). Le traiettorie sono conservate solo se $s(y_{pp}) \leq \tau_s$ (dove $\tau_s=2$) E la risposta finale è corretta. Questo garantisce che il preplan sia pura comprensione del problema, non una soluzione travestita.

Sfida 2: Aderenza in Fase di Addestramento (Garantire l'Utilità)

Anche con dati puliti, un modello potrebbe imparare a generare un preplan superficialmente corretto ignorandolo durante la fase di pianificazione.

Soluzione: Gli autori estendono l'Ottimizzazione della Policy Relativa di Gruppo (GRPO) con una funzione di ricompensa composita $R(y)$ che impone un allineamento strutturale e semantico:
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (Ricompensa per l'Esito): Utilizza un credito parziale basato sulla vicinanza giudicata da un LLM del percorso di soluzione (non solo sulla correttezza binaria) per fornire gradienti per traiettorie vicine al successo.
• $R_{adh}$ (Ricompensa per l'Aderenza): Un critico LLM valuta l'allineamento strategico tra il preplan e il piano. Crucialmente, un piano di alta qualità che ignora il preplan riceve un punteggio basso, costringendo il modello a seguire genuinamente le indicazioni del preplan.
• $R_{fmt}$ (Guardia di Formato): Garantisce che l'output contenga esattamente un'istanza di ciascun tag (<preplan>, <plan>, <execute>) in ordine con una risposta racchiusa tra parentesi quadre.
• $R_{sty}$ (Penalità di Stile): Riutilizza il punteggio-spoiler $s(\cdot)$ come penalità durante l'RL. Se il preplan devia verso contenuti computazionali durante l'addestramento, la ricompensa viene penalizzata, mantenendo l'integrità concettuale stabilita durante la costruzione dei dati.

3. Contributi Chiave

• Concettuale: Il lavoro formalizza una lacuna a livello di paradigma nei metodi di ragionamento esistenti: la modellazione esplicita di come risolvere rispetto alla gestione implicita di cosa risolvere. Propone il paradigma domanda → preplan → piano → cot per affrontarlo.
• Metodologico:
  • Costruzione del primo dataset di ragionamento con supervisione esplicita del preplan, protetto da un rilevatore di punteggio-spoiler contro fallimenti da perdita e spoiler.
  • Progettazione di una ricompensa GRPO composita che impone esplicitamente l'allineamento piano-preplan, impedendo al modello di trattare il preplan come un passaggio decorativo ma ignorato.
• Empirico: Valutazione estesa su quattro backbones (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) e cinque benchmark matematici (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. Risultati Sperimentali

• Prestazioni: PPC ottiene i migliori risultati su 39 metriche su 40 su tutti i benchmark e backbones.
• Miglioramenti: Rispetto ai baselines più forti (Plan-Tuning, PTA-GRPO), PPC migliora maj@16 di +2.23 e pass@16 di +3.06.
• Efficienza: Nonostante l'aggiunta di una fase extra, PPC genera meno token rispetto al CoT completo e significativamente meno rispetto a PTA-GRPO. Il preplan e il piano vincolano l'esecuzione a un singolo percorso di soluzione, evitando i giri inutili comuni nel CoT non vincolato.
• Fedeltà: Interventi in fase di inferenza (mescolando le frasi del preplan, utilizzando preplan non corrispondenti o segnaposto generici) causano drastici cali delle prestazioni (ad esempio, maj@16 che scende da 97.2 a 46.8 su Qwen3-4B con preplan non corrispondenti). Questo conferma che il modello si affida genuinamente al contenuto del preplan piuttosto che limitarsi a produrlo.

5. Significato e Affermazioni

Il lavoro afferma che il limite principale del ragionamento basato su piani attuale non è la mancanza di pianificazione, ma la mancanza di una fase dedicata alla comprensione del problema. Rendendo esplicito il "cosa risolvere" attraverso il preplan, il modello può selezionare strumenti e strategie appropriati prima di impegnarsi in un percorso di soluzione.

Gli autori sottolineano che questo miglioramento non è dovuto meramente al prompting (come dimostrato dal baseline "Solo-Prompt" che performa peggio), ma richiede l'apprendimento del paradigma attraverso la specifica costruzione dei dati e l'addestramento con ricompensa composita. Il framework dimostra che una comprensione esplicita del problema produce maggiore accuratezza e maggiore efficienza di inferenza simultaneamente, senza introdurre un sovraccarico di token aggiuntivo rispetto al CoT standard.