Riepilogo Tecnico: PlanningBench

Enunciato del Problema

La pianificazione è una capacità fondamentale per i Modelli Linguistici su Larga Scala (LLM), che richiede il coordinamento di obiettivi, vincoli, risorse e conseguenze a lungo termine in soluzioni eseguibili. Tuttavia, gli attuali benchmark di pianificazione soffrono di limitazioni significative:

1. Raccolte Dati Fisse: La maggior parte dei benchmark tratta i dati di pianificazione come collezioni statiche e fisse di istanze, piuttosto che come target di generazione controllabile, limitando la copertura e la diversità degli scenari.
2. Proxy di Difficoltà Superficiali: La difficoltà è spesso approssimata tramite metriche di livello superficiale (ad esempio, lunghezza del prompt o numero di requisiti) piuttosto che da fonti strutturali come l'accoppiamento dei vincoli, la gerarchia o la progettazione specifica del compito.
3. Mancanza di Supporto per l'Addestramento: I benchmark esistenti offrono un supporto limitato per la generazione scalabile, la verifica automatica o l'addestramento orientato alla pianificazione, rendendo difficile diagnosticare i limiti del modello o migliorare comportamenti di pianificazione generalizzabili.

Metodologia: Framework PlanningBench

Gli autori introducono PlanningBench, un framework per generare dati di pianificazione scalabili, diversificati e verificabili sia per la valutazione che per l'addestramento. La metodologia procede in due macro-fasi:

1. Costruzione della Tassonomia di Compiti e Vincoli

Invece di catalogare domini, gli autori astraggono schemi di pianificazione riutilizzabili da scenari reali (ad esempio, schedulazione, logistica, risposta alle emergenze) in una tassonomia strutturata.

• Tassonomia dei Compiti: Organizza i compiti di pianificazione in sei famiglie basate sulla complessità strutturale: Schedulazione e Orari, Allocazione e Accoppiamento, Turni e Organizzazione del Personale, Instradamento e Viaggi, Operazioni di Progetto e Produzione, e Risposta alle Emergenze e Servizi Pubblici. Questo copre oltre 30 tipi specifici di compiti e numerosi sottocompiti.
• Tassonomia dei Vincoli: I vincoli sono modellati in tre livelli per garantire verificabilità e controllabilità:
  • Vincoli Generali: Condivisi tra i compiti (ad esempio, completezza dell'input, finestre temporali).
  • Vincoli Specifici del Compito: Legati a strutture di compiti specifici.
  • Vincoli Specializzati con Stato: Dipendenti da azioni eseguite in precedenza o dallo stato accumulato.
• Livelli di Difficoltà: I vincoli sono categorizzati in Base (fattibilità), Medio (ottimizzazione/equità) e Difficile (robustezza, rilevamento di inammissibilità, recupero da eccezioni).

2. Pipeline di Sintesi Guidata dai Vincoli

PlanningBench impiega un processo di sintesi in ciclo chiuso che coinvolge tre componenti:

• Generatore: Campiona configurazioni di compiti-vincoli e istanzia problemi di pianificazione autosufficienti. Utilizza una distribuzione di campionamento su vincoli base, medi e difficili per controllare la difficoltà.
• Risponditore: Tentativo di risolvere il problema generato.
• Critico: Verifica la soluzione rispetto a una lista di controllo a livello di istanza.
• Controllo Adattivo della Difficoltà: Se il Risponditore risolve completamente un'istanza ($u=1$), la pipeline sposta la composizione dei vincoli verso una difficoltà superiore (aumentando i pesi per i vincoli medi e difficili). Se l'istanza rimane irrisolta ($u=0$), viene mantenuta al livello di difficoltà corrente.
• Verifica: Ogni istanza è associata a una lista di controllo di verifica che converte i vincoli a livello di prompt in controlli eseguibili. Il framework favorisce soluzioni ottimali determinate o ben specificate per fornire segnali di ricompensa chiari, evitando spazi di risposta vaghi che permettono una fattibilità parziale senza coerenza globale.

Contributi Chiave

1. Framework di Generazione di Dati Sintetici: PlanningBench fornisce un meccanismo per generare dati di pianificazione scalabili, diversificati e verificabili basati su scenari reali, superando le collezioni di benchmark fisse per passare a una generazione controllabile.
2. Verifica Orientata all'Addestramento: Il framework dimostra che i dati verificati di PlanningBench supportano l'apprendimento per rinforzo orientato alla pianificazione (in particolare GRPO). Gli autori identificano la determinazione della ricompensa (preferenza per ottimi ben specificati) come un fattore critico per un addestramento stabile e trasferibile.
3. Suite di Valutazione Completa: Il documento valuta sistematicamente LLM all'avanguardia open-source e closed-source, rivelando che anche i modelli più forti faticano a ottenere soluzioni complete sotto vincoli accoppiati.

Risultati Sperimentali

Performance di Valutazione

Gli autori hanno valutato 18 LLM rappresentativi (sia open che closed-source) su un sottoinsieme di 467 istanze di PlanningBench.

• Divario di Performance: Anche il modello con le prestazioni migliori, GPT-5.4-xhigh, ha raggiunto solo il 63,17% di All-pass (soddisfacimento di tutti gli elementi della lista di controllo), indicando che il benchmark rimane impegnativo e non saturo.
• Coerenza Locale vs Globale: Esiste un divario significativo tra Avg-pass (frazione di elementi della lista di controllo soddisfatti) e All-pass. Ad esempio, GPT-5.4-medium ha raggiunto il 90,03% di Avg-pass ma solo il 58,09% di All-pass, suggerendo che i modelli spesso soddisfano vincoli locali ma falliscono nell'integrarli in un piano globalmente coerente.
• Analisi degli Errori: La modalità di fallimento primaria tra i modelli è Calcolo/Assegnazione Errati (60,9%–83,5% degli errori), seguita da Vincoli Omessi e fallimenti nel Tracciamento dello Stato. Gli errori di formattazione sono stati trascurabili.

Addestramento e Trasferimento

Gli autori hanno addestrato un modello Qwen-A3B-30B utilizzando GRPO su 300 istanze verificate di PlanningBench.

• Trasferimento ai Benchmark di Pianificazione: Il modello addestrato ha mostrato miglioramenti significativi su benchmark di pianificazione non visti:
  • ChinaTravel: L'All-pass è aumentato dal 50,92% al 58,36%.
  • TravelPlanner: L'All-pass è aumentato dal 28,85% al 46,86%.
  • I guadagni sono stati più pronunciati rispetto a quelli ottenuti addestrando su dati redatti da umani, evidenziando il valore della sintesi strutturata e orientata alla verifica.
• Trasferimento a Compiti Generali: L'addestramento su PlanningBench ha migliorato anche le performance su benchmark più ampi di follow-up delle istruzioni e ragionamento (Multi-Challenge, Inverse IFEval, Collie), con un aumento medio del punteggio di 7,06 punti.
• Ruolo degli Ottimi Determinati: I modelli addestrati su dati che enfatizzano ottimi determinati (Syn-PlanningBench) hanno mostrato un trasferimento superiore e dinamiche di addestramento più stabili (convergenza più rapida, curve di ricompensa più lisce) rispetto a quelli addestrati su dati con ottimi vaghi (Syn-NotDetOptimal).

Significato e Affermazioni

Il documento afferma che PlanningBench risponde alla necessità critica di dati di pianificazione scalabili, diversificati e verificabili. La sua rilevanza risiede in tre aree:

1. Potere Diagnostico: Fornisce una visione dettagliata delle capacità di pianificazione degli LLM, distinguendo tra la conformità parziale e la capacità di mantenere una coerenza globale sotto vincoli accoppiati.
2. Utilità per l'Addestramento: Dimostra che i dati di pianificazione automaticamente verificabili possono fungere da segnali di addestramento efficaci per l'apprendimento per rinforzo, migliorando non solo la pianificazione ma anche il follow-up generale delle istruzioni e il ragionamento.
3. Principio di Progettazione: Il lavoro evidenzia che la determinazione della ricompensa è essenziale per un addestramento stabile orientato alla pianificazione; le istanze con soluzioni ottimali ben specificate forniscono segnali direzionali più chiari rispetto a quelle con molte risposte localmente accettabili.

Gli autori concludono che la costruzione controllata dei dati, la verificabilità automatica e la determinazione della ricompensa sono fondamentali per diagnosticare e migliorare le capacità di pianificazione generalizzabili degli LLM.