CAPER: Clause-Aligned Process Supervision for Text-to-SQL

Riepilogo Tecnico: CAPER – Supervisione di Processo Allineata alle Clausole per il Text-to-SQL

Definizione del Problema

I sistemi Text-to-SQL mirano a tradurre domande in linguaggio naturale in query SQL eseguibili. Sebbene i Large Language Models (LLM) abbiano fatto progressi in questo campo attraverso il collegamento dello schema e il recupero (retrieval), il compito rimane un problema di generazione strutturata ad alta precisione, in cui un singolo errore semantico (ad esempio, una chiave di join errata o un'aggregazione sbagliata) può rendere l'intera query non valida.

I paradigmi di addestramento attuali affrontano due limitazioni primarie riguardo alla supervisione:

1. Correttezza dell'Esecuzione a Livello di Query: La valutazione standard si basa su segnali di esecuzione terminale (Execution Accuracy, EX). Sebbene scalabile, questo fornisce un premio sparso e binario (successo/fallimento) che non offre indicazioni su quale decisione intermedia abbia causato il fallimento. Ciò crea un problema di assegnazione del credito in cui le query "quasi corrette" (quasi tutte giuste ma con un errore in una clausola) sono trattate allo stesso modo di quelle completamente errate.
2. Supervisione Densa a Livello di Token: Il passaggio alla supervisione a livello di token è inadatto alla semantica SQL. I singoli token (alias, virgole, operatori) raramente costituiscono decisioni semantiche complete, mentre le decisioni SQL critiche sono espresse tramite strutture multi-token (ad esempio, percorsi di join, predicati). La supervisione a livello di token può diffondere il credito su simboli a basso livello e richiede una etichettatura fine-grained non affidabile.

La sfida principale è derivare una supervisione di processo allineata alle clausole dai risultati grossolani a livello di query senza ricorrere a annotazioni manuali costose, preservando la correttezza dell'esecuzione come obiettivo ultimo e abilitando la localizzazione dell'errore della causa radice.

Metodologia: Il Framework CAPER

Gli autori propongono CAPER (Clause-Aligned Process Supervision), un framework automatizzato che costruisce dati di preferenza a livello di clausola e addestra un leggero Modello di Premio di Processo a Livello di Clausola (Clause-Level Process Reward Model). Il framework opera in tre fasi:

1. Annotazione Automatica del Premio

CAPER converte gli esiti grossolani delle traiettorie in premi fini a livello di clausola utilizzando due strategie complementari su una rappresentazione AST (Abstract Syntax Tree) di SQL:

• Iniezione di Guasti (per Traiettorie di Successo): Per le traiettorie che si eseguono correttamente, il sistema campiona nodi chiave modificabili nell'AST e applica mutazioni che preservano il tipo (ad esempio, scambiare colonne, cambiare operatori). Una mutazione viene mantenuta solo se altera il risultato dell'esecuzione, inducendo così un errore semantico reale. Questo crea esempi "negativi" dove la causa radice è nota.
• Intervento Controfattuale (per Traiettorie di Fallimento): Per le traiettorie che falliscono, il sistema confronta la SQL predetta con quella gold (standard). Identifica la prima clausola divergente e costruisce una query corretta controfattuale riparando l'AST sotto lo stesso prefisso. Il sistema calcola quindi lo script di modifica a costo minimo per trasformare la clausola predetta in quella corretta, identificando il nodo della causa radice ($v^*$).

Propagazione del Premio:
Una volta identificato il nodo della causa radice, viene assegnata una penalità continua ai nodi dell'AST basata sulla loro distanza strutturale da $v^*$.

• Il nodo della causa radice riceve la penalità più forte ($-\alpha$).
• I nodi antenati sullo stesso percorso di dipendenza ricevono premi negativi con decadimento Gaussiano.
• Le branche non correlate vengono mascherate (premio zero).
  Queste penalità a livello di nodo vengono aggregate al livello di clausola (ad esempio, SELECT, FROM-JOIN, WHERE) utilizzando un operatore di minimo, garantendo che una clausola contenente la decisione decisiva erediti un forte etichetta non positiva. Ciò produce tuple di preferenza $(u^+, u^-)$ con un margine continuo $\delta_k$ che riflette la gravità dell'errore strutturale.

2. Modello di Premio di Processo a Livello di Clausola (Clause-PRM)

Utilizzando il dataset annotato $\mathcal{D}$, gli autori addestrano un modello leggero (CAPER-9B, basato su Qwen3.5-9B) per agire come un Clause-PRM.

• Obiettivo: Il modello impara a valutare la preferenza tra un'unità di clausola corretta e un'unità di clausola meno preferita (contenente errori) dato l'input e il contesto precedente.
• Addestramento: Ottimizza un obiettivo di preferenza pesato sul margine, in cui le coppie con margini strutturali più ampi (errori più decisivi) contribuiscono con segnali di supervisione più forti.

3. Ottimizzazione della Policy

Il Clause-PRM addestrato viene implementato all'interno di un ciclo di Reinforcement Learning (RL) (specificamente GRPO) per l'ottimizzazione della policy Text-to-SQL.

• Premio Multi-Granularità: Il segnale di premio ad ogni confine di clausola combina:
  1. Premio di Clausola: Il punteggio del Clause-PRM per la clausola corrente.
  2. Premio di Esecuzione: Un segnale terminale aggiunto solo all'ultimo confine di clausola.
• Assegnazione del Credito: Inveve di collassare i premi in un unico vantaggio a livello di intera traiettoria, il metodo calcola un ritorno-al-passo (return-to-go) a livello di clausola. I token all'interno di una clausola sono ottimizzati in base al vantaggio della traiettoria rimanente dopo quel confine di clausola, preservando l'assegnazione del credito temporale.

Contributi Chiave

1. Pipeline Automatizzata: Una pipeline SQL-AST controfattuale che localizza gli errori della causa radice e costruisce la supervisione di preferenza a livello di clausola senza annotazione manuale. Questa pipeline ha generato oltre 90.000 tuple di preferenza annotate a livello di clausola su tre dataset (BIRD, Spider, SYNSQL).
2. Clause-PRM (CAPER-9B): Un modello leggero addestrato per fornire feedback denso ai confini delle clausole. Colma il divario tra gli esiti di esecuzione sparsi e la supervisione fragile a livello di token.
3. Validazione Empirica: Dimostra che la supervisione allineata alle clausole migliora significativamente sia l'accuratezza dell'esecuzione end-to-end sia la capacità del modello di localizzare i fallimenti.

Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark BIRD e Spider utilizzando Qwen3.5-9B come backbone.

• Accuratezza di Esecuzione (EX):
  • La policy GRPO addestrata con CAPER-9B (premio a livello di clausola) ha ottenuto un miglioramento relativo del 15,3% nell'Execution Accuracy rispetto a GPT-5.4 sul dataset BIRD.
  • Ha superato sia le baseline GRPO a premio sparso che quelle GRPO a livello di token, in particolare nelle impostazioni Majority Vote@8, indicando una maggiore affidabilità semantica nei candidati campionati.
• Localizzazione dei Fallimenti:
  • Su traiettorie fallite non utilizzate per il test, CAPER-9B ha raggiunto un'accuratezza di localizzazione Top-1 dell'84,53% e un MRR (Mean Reciprocal Rank) del 90,60%.
  • Ha superato significativamente i selettori euristici, i prompt di self-debugging e i modelli di premio basati solo sull'esecuzione. Gli studi di ablazione hanno confermato che sia la propagazione consapevole della topologia che la costruzione di errori controfattuali sono critiche per queste prestazioni.
• Verifica dei Candidati:
  • Utilizzato come verificatore plug-and-play per il re-ranking dei candidati da LLM a codice chiuso, CAPER-9B ha migliorato costantemente l'accuratezza di esecuzione rispetto a Majority Vote@8 di +0,7/+1,6 punti, dimostrando la sua capacità di identificare candidati con decisioni strutturali intermedie affidabili anche quando il generatore è fisso.

Significato e Rivendicazioni

L'articolo sostiene che la supervisione di processo allata alle clausole sia una direzione scalabile ed efficace per i compiti di generazione strutturata come il Text-to-SQL. Attribuendo il successo o il fallimento dell'esecuzione a specifiche decisioni delle clausole SQL, CAPER fornisce un meccanismo pratico di assegnazione del credito che evita la scarsità dei label terminali e il disallineamento semantico del feedback a livello di token.

Gli autori sottolineano che il loro approccio non richiede nuove architetture di parsing o pipeline di prompting complesse, ma sfrutta perturbazioni AST controfattuali per derivare una supervisione semanticamente fondata. I risultati suggeriscono che il feedback di processo intermedio, quando allineato con le unità semantiche del dominio (clausole SQL), può migliorare significativamente sia l'ottimizzazione delle policy di generazione che la capacità diagnostica dei modelli di premio.

Limitazioni Riconosciute:
Gli autori notano che l'implementazione attuale decompone la SQL solo alla granularità di alto livello della clausola, il che può essere grossolano per errori all'interno di predicati complessi o subquery. Inoltre, la pipeline di annotazione automatica introduce un overhead computazionale rispetto ai premi sparsi, sebbene i dati risultanti siano riutilizzabili per l'addestramento del PRM. Il metodo è attualmente focalizzato sulla generazione SQL piuttosto che sul ragionamento Chain-of-Thought.