Sintesi Tecnica: PIPE-Cypher

Definizione del Problema

I grafi a proprietà aziendali differiscono significativamente dai benchmark pubblici per struttura dello schema, terminologia interna, assunzioni di dominio, vincoli di governance e modelli di interazione dell'utente. Di conseguenza, i dataset pubblici Text-to-Cypher non riescono a valutare se un modello sia in grado di gestire i label specifici, le direzioni delle relazioni, i valori e le domande operative di un'organizzazione. Inoltre, i dataset pubblici statici non possono adattarsi quando gli schemi di produzione evolvono.

Creare un benchmark pertinente è difficile perché:

1. Unicità: Gli schemi e i valori sono unici per ogni organizzazione.
2. Dinamicità: Le strutture dei grafi cambiano nel tempo man mano che i prodotti vengono spediti e le integrazioni vengono aggiunte.
3. Requisiti: Ogni coppia Natural Language (NL) to Cypher deve essere eseguibile, utilizzare entità grafiche reali, preservare la diversità e rimanere bilanciata tra tipi di query e livelli di difficoltà.
4. Privacy: Le organizzazioni non possono inviare schemi o valori sensibili ad API di generazione a pagamento.
5. Affidabilità: Sebbene i modelli locali possano scrivere singole query, spesso falliscono nel ciclo completo di grounding dei valori reali, nella preservazione delle direzioni delle relazioni, nell'evitare clausole non sicure e nel bilanciare le categorie.

Metodologia: Pipeline PIPE-Cypher

PIPE-Cypher è una pipeline locale di generazione di benchmark che trasforma un grafo a proprietà live e opzionali query seed (da domande dei clienti, log o chiamate di agenti) in benchmark NL-to-Cypher bilanciati ed eseguibili. Opera come una pipeline vincolata in cui il modello gestisce il linguaggio e la generazione, mentre controlli deterministici sul grafo garantiscono ripetibilità, scalabilità e verificabilità.

La pipeline si compone di sette fasi:

1. Profiling di Schema e Valori: Registra label, tipi di relazione, proprietà, direzioni osservate e valori categorici a bassa cardinalità limitati.
2. Pianificazione del Carico di Lavoro (Workload Planning): Mira a otto categorie operative: recupero semplice/complesso, aggregazione semplice/complessa, esistenza booleana, negazione/differenza, percorso/transazione temporale e ranking/top-k.
3. Reverse Cypher Grounding: Esegue query Cypher in sola lettura per trovare i valori degli slot che producono effettivamente righe. Ciò evita la generazione di domande dall'aspetto plausibile ma che non hanno risposta nel grafo.
4. Generazione Vincolata: Utilizza un LLM locale (Qwen3.5-9B) per generare candidati basati su template di carico di lavoro riempiti con valori derivati dal reverse-binding. Impiega esempi di recupero con placeholder per evitare che il modello memorizzi i valori specifici del tenant.
5. Governance di Cypher (Gate Deterministici): Impone regole rigide prima dell'accettazione:
   • Sicurezza in sola lettura: Blocca token di scrittura/amministrazione.
   • Validità dello schema: Assicura che label, proprietà e valori categorici esistano.
   • Validità della direzione: Verifica le direzioni di attraversamento delle relazioni.
   • Normalizzazione: Impone RETURN DISTINCT e rifiuta costrutti rischiosi (es. UNION, CALL, UNWIND).
6. Validazione dell'Esecuzione: Esegue la Cypher generata con credenziali di sola lettura. Controlla errori di sintassi/runtime e assicura risultati non vuoti dove richiesto.
7. Revisione tramite LLM Judge: Un LLM judge locale esamina solo i candidati che hanno superato l'esecuzione. Valuta ambiguità, allineamento semantico e uso dello schema, calibrandosi su un piccolo set di etichette umane.

Privacy e Redazione: Il sistema include policy di campionamento dei valori e regole di redazione configurabili. I valori sensibili nei prompt e nei risultati sono sostituiti con placeholder stabili per una revisione interna più ampia, garantendo che il benchmark possa essere condiviso senza violare la PII (Informazioni Identificative Personali).

Contributi Chiave

Il documento presenta quattro contributi primari:

1. Workflow con Modello Locale: Un metodo per generare benchmark NL-to-Cypher privati dai grafi di un'organizzazione senza dipendere da API a pagamento.
2. Grounding e Validazione Orientati al Risultato: Un sistema di reverse grounding e validatori specifici per Cypher per la sicurezza in sola lettura, la direzione delle relazioni, i letterali esatti, i valori categorici e le riscritture conservative.
3. Valutazione su Proxy Pubblico Scalata: Una valutazione completa su FinBench, SNB e ICIJ Offshore Leaks, inclusi studi di ablazione, calibrazione del judge, audit della redazione e uno studio di trasferimento locale su 11 modelli.
4. Artefatti di Riproducibilità: Strumenti per l'onboarding, il campionamento dei valori, l'aggiornamento del benchmark, l'imballaggio delle evidenze e le tracce di audit.

Risultati

Utilizzando Qwen3.5-9B locale per la generazione e il giudizio, PIPE-Cypher ha prodotto 3.000 esempi accettati (2.000 da FinBench, 1.000 da SNB) da 4.925 candidati.

• Tasso di Accettazione: Circa il 61% complessivo.
• Copertura: Ha raggiunto un bilanciamento perfetto in tutte le 8 categorie di carico di lavoro per entrambi i grafi.
• Affidabilità: Negli studi di ablazione, la pipeline governata ha raggiunto il 100% della copertura target per ogni cella non vincolata, mentre la generazione non vincolata non è riuscita a produrre una copertura bilanciata ed eseguibile.
• Diversità: Sebbene la diversità della firma della query sia rimasta bassa a causa del seeding dei template, un selettore governato dalla diversità ha migliorato la copertura strutturale, il Distinct-2 e la copertura delle proprietà.
• Calibrazione del Judge: Un audit umano post-hoc su 80 righe ha mostrato un accordo dell'80% con l'LLM judge locale (Cohen's $\kappa$ = 0.60). Il judge è stato conservativo, con nessun falso accetto osservato nel campione.

Valutazione Downstream:

• Prestazioni Zero-Shot: Il trasferimento zero-shot sullo split tenuto separato è stato debole, con un'accuratezza media di esecuzione compresa tra 0.000 e 0.203 (media 0.036).
• Utilità Few-Shot: I bank di esempi specifici dello schema hanno migliorato le prestazioni. Un controllo "no-signature" (escludendo le corrispondenze esatte della firma della query) ha portato l'accuratezza media a 0.200, mentre i bank ordinati della stessa categoria hanno raggiunto lo 0.269.
• Modalità di Fallimento: Il benchmark ha esposto con successo i fallimenti semantici; molti modelli hanno prodotto Cypher sintatticamente valide che però eseguivano correttamente ma rispondevano alla domanda sbagliata (es. il 52.1% degli errori erano discrepanze di risposta).

Significato e Rivendicazioni

Il documento posiziona PIPE-Cypher non come un dataset statico, ma come un workflow aziendale ripetibile. La sua importanza risiede in:

• Passaggio da Statico a Dinamico: Permette alle organizzazioni di aggiornare i benchmark man mano che i loro grafi e carichi di lavoro evolvono, invece di affidarsi a corpora pubblici obsoleti.
• Rispetto della Privacy: Consente di effettuare benchmarking su dati privati senza esporre valori sensibili ad API esterne.
• Verità Eseguibile: Trattando la correttezza come qualcosa da verificare tramite esecuzione e gate deterministici piuttosto che sperare che avvenga tramite prompting, filtra le query "allucinate" che sembrano corrette ma falliscono semanticamente.
• Valore Diagnostico: La pipeline fornisce diagnostica chiara (registri di rifiuto, metriche di diversità, tassonomie di fallimento) per aiutare le organizzazioni a capire dove i loro modelli falliscono (es. errori di direzione, risultati vuoti o disallineamento semantico).

Gli autori affermano con modestia che, sebbene il benchmark riveli i fallimenti dei modelli downstream che una valutazione basata solo sulla sintassi nasconderebbe, non garantisce la correttezza semantica (la validità dell'esecuzione $\neq$ correttezza semantica). Notano inoltre che i risultati si basano su proxy pubblici (FinBench, SNB, ICIJ) e che il fine-tuning specifico per il tenant rimane un percorso ingegneristico abilitato dagli artefatti, non una rivendicazione completata di questo studio.