💬 NLP

Structured Prompt Language: Declarative Context Management for LLMs

Il paper presenta SPL, un linguaggio dichiarativo ispirato al SQL che gestisce in modo trasparente i contesti degli LLM, ottimizza i costi e le risorse, integra RAG e memoria persistente, e abilita pipeline agentiche resilienti con fallback multi-fornitore e strategie avanzate come il routing misto e la frammentazione logica dei documenti.

Autori originali: Wen G. Gong

Pubblicato 2026-02-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wen G. Gong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale super-intelligente (un'Intelligenza Artificiale) che può rispondere a qualsiasi domanda, ma ha una limitazione strana: ha una memoria a breve termine molto piccola. Se gli dai troppe informazioni tutte insieme, si confonde, dimentica le cose o, peggio, ti chiede di pagare una cifra esorbitante per elaborarle.

Fino a oggi, gestire questa "memoria limitata" era come costruire una casa a mano, mattone per mattone, senza un progetto. Gli sviluppatori dovevano contare manualmente quante parole potevano scrivere, tagliare frasi a caso e sperare che l'AI non andasse in tilt.

Questo documento introduce SPL (Structured Prompt Language), un nuovo modo di parlare con le intelligenze artificiali che trasforma il caos in ordine. Ecco come funziona, spiegato con parole semplici e analogie quotidiane.

1. Il Problema: Prima dell'SQL, c'era il Caos

Pensa a come si gestivano i dati prima dell'arrivo di SQL (il linguaggio che usano i database). Se volevi trovare un nome in un elenco, dovevi scrivere un programma complesso che diceva: "Vai al primo foglio, controlla la riga 1, poi vai al secondo, controlla la riga 2...". Era lento, noioso e pieno di errori. Poi è arrivato SQL, che ha detto: "Non preoccuparti di COME trovare il dato, dimmi solo COSA vuoi".

Oggi, lavorare con le AI è tornato a quel vecchio caos. Gli sviluppatori scrivono codice complesso per gestire le parole. SPL vuole fare per le AI quello che SQL ha fatto per i database: rendere tutto dichiarativo. Non devi dire all'AI come leggere i documenti, devi solo dirle quali documenti usare e cosa deve fare con essi.

2. La Metafora del "Budget dei Token"

Immagina che ogni volta che parli con l'AI, tu abbia un buono spesa (un budget) di "token" (parole o pezzi di parole).

Se il tuo buono vale 8.000 token, devi decidere come spenderlo.
Vuoi spendere 2.000 token per la domanda?
3.000 per un documento di ricerca?
500 per la cronologia delle chat?
E quanto ti rimane per la risposta?

Con SPL, non devi calcolare tutto a mano. Scrivi una richiesta che dice: "Ehi, ho un budget di 8.000 token. Prendi la domanda, cerca 5 documenti rilevanti e usa la cronologia. Se non ci stanno tutti, taglia automaticamente i documenti meno importanti, ma non toccare la domanda!".

SPL agisce come un manager finanziario intelligente: decide automaticamente quanto spazio dare a ogni parte della conversazione per non sforare il budget.

3. Le Funzioni Magiche di SPL

Ecco le "superpoteri" che SPL offre, spiegati con analogie:

L'Esploratore (EXPLAIN):
Prima di spendere soldi reali (o tempo), SPL ti mostra un preventivo dettagliato. È come se, prima di ordinare un pasto in un ristorante, il cameriere ti dicesse: "Ecco quanto peserà il tuo piatto, quanto costerà e quanto tempo ci vorrà". Puoi vedere esattamente quante parole userà ogni parte della tua richiesta e decidere se è troppo costoso prima di inviare il messaggio.
Il Ricettario Modulare (CTE):
Invece di scrivere un libro intero ogni volta, SPL ti permette di creare "blocchi" riutilizzabili. Come se avessi delle ricette base (es. "riassumi un testo", "cerca un documento") che puoi combinare. Se devi analizzare un libro lungo, SPL lo divide automaticamente in capitoli (come se lo tagliassi in fette), li elabora uno per uno e poi ricuce il tutto alla fine. Questo rende il processo molto più veloce ed economico.
Il Corriere Intelligente (Mixture-of-Models):
Immagina di dover inviare una lettera. A volte serve un corriere veloce ed economico, a volte uno specializzato in documenti legali, a volte uno che parla perfettamente il giapponese.
SPL non ti costringe a scegliere un solo "corriere" (modello AI) per tutto. Se la tua richiesta parla di codice, SPL invia quella parte a un'AI esperta di programmazione. Se parla di poesia, la manda a un'AI creativa. Tutto questo succede in automatico, senza che tu debba programmarlo.
Il Piano B Infinito (SPL-flow):
Cosa succede se il tuo fornitore di servizi (l'AI) è offline o troppo costoso? SPL ha un sistema di sicurezza automatico. Se il primo tentativo fallisce, passa istantaneamente a un secondo fornitore, e poi a un terzo, senza che tu debba toccare nulla. È come avere un'auto con tre motori: se uno si spegne, gli altri due prendono il sopravvento senza che tu perda il controllo.

4. Perché è una Rivoluzione?

Fino a ieri, per usare bene un'AI dovevi essere un programmatore esperto che sapeva contare le parole e gestire i costi. Con SPL:

È più economico: Non sprechi soldi in parole inutili.
È più chiaro: Puoi vedere esattamente cosa sta succedendo prima di inviare il comando.
È più facile: Se sai usare un linguaggio di database (SQL), sai già usare SPL. Se non sai programmare, puoi semplicemente parlare in italiano (o cinese, arabo, ecc.) e un traduttore automatico lo convertirà in istruzioni perfette per l'AI.

In Sintesi

SPL è come passare dal guidare un'auto senza volante e senza freni (il vecchio modo di fare "prompt engineering") al guidare un'auto moderna con cruise control, navigatore GPS e assistente alla guida.

Ti permette di concentrarti su cosa vuoi ottenere (la destinazione), lasciando che il sistema si occupi di come arrivare lì in modo efficiente, economico e sicuro, anche se il traffico (i costi e i limiti delle AI) cambia continuamente.

Titolo: Structured Prompt Language (SPL): Gestione Dichiarativa del Contesto per i LLM

1. Il Problema: La Crisi dell'Ingegneria dei Prompt

L'articolo identifica una sfida critica nell'ingegneria del software moderna: la gestione del finestra di contesto (context window) dei Large Language Models (LLM). Nonostante le dimensioni delle finestre di contesto siano aumentate (da 4K a oltre 1 milione di token), il contesto rimane una risorsa vincolata che deve essere allocata efficientemente.

L'attuale approccio all'ingegneria dei prompt è descritto come analogo alla programmazione di database prima dell'avvento di SQL (anni '60):

Imperatività: Gli sviluppatori scrivono codice procedurale (Python/JS) per concatenare stringhe, contare token manualmente e applicare truncation euristici.
Mancanza di visibilità: Non esiste un modo standard per ispezionare come i token vengono allocati tra le diverse parti di un prompt prima dell'esecuzione.
Lock-in del provider: Il codice è spesso legato a specifiche API LLM, rendendo la migrazione costosa.
Assenza di composabilità: I prompt sono monolitici e difficili da riutilizzare modularmente, a differenza delle viste o delle CTE (Common Table Expressions) in SQL.
Spreco di risorse: Senza un budget esplicito, gli sviluppatori scoprono gli overflow di token solo a runtime, spesso in produzione.

2. Metodologia: SPL come Linguaggio Dichiarativo

Il paper propone SPL (Structured Prompt Language), un linguaggio di query dichiarativo ispirato a SQL, che tratta gli LLM non come semplici funzioni di mappatura testo-testo, ma come basi di conoscenza generative.

Concetti Chiave:

Modello Risorsa: Il contesto è trattato come una risorsa con un budget limitato (token). SPL separa la logica di cosa includere (dichiarativo) da come ottenerlo (esecutivo).
Architettura Duale SELECT + GENERATE:
- SELECT: Raccolta e compressione del contesto da fonti eterogenee (input utente, RAG, memoria persistente, ruoli di sistema).
- GENERATE: Sintesi del contenuto finale basata sul contesto raccolto e sulle conoscenze parametriche del modello.
Gestione del Budget Esplicita: Ogni query richiede una dichiarazione WITH BUDGET <n> tokens. L'ottimizzatore di SPL alloca automaticamente questo budget tra le fonti di contesto, applicando compressione proporzionale se la domanda supera il limite.
Trasparenza (EXPLAIN): Analogamente a EXPLAIN ANALYZE in SQL, SPL offre un piano di esecuzione che mostra l'allocazione dei token, lo stato della cache, e una stima dei costi in dollari prima di qualsiasi chiamata all'LLM.
Agnosticismo del Provider: L'architettura utilizza adattatori astratti per supportare modelli locali (Ollama), aggregatori cloud (OpenRouter) e provider nativi (Claude, GPT, Gemini) senza modificare lo script .spl.

Componenti Tecnici:

Grammatica Formale: Definita in EBNF, con un parser ricorsivo discendente scritto a mano (zero dipendenze esterne).
Ottimizzatore: Un algoritmo che ordina le fonti di contesto per priorità (Memoria > Cache > RAG > Contesto) e applica strategie di compressione "largest-first" (compressione delle fonti più grandi per prime) per rispettare il budget.
Storage: Integrazione nativa con SQLite per la memoria persistente e FAISS/ChromaDB per il retrieval semantico (RAG).

3. Contributi Chiave

Il paper presenta cinque estensioni che dimostrano SPL come una piattaforma applicativa completa:

Text2SPL: Un'interfaccia multilingua che traduce query in linguaggio naturale (NL) in script SPL validi, rendendo la tecnologia accessibile a non programmatori.
Mixture-of-Models (MoM) Routing: Un meccanismo che instrada dinamicamente ogni parte di un prompt (PROMPT clause) a modelli specializzati diversi (es. un modello per il codice, uno per il cinese, uno per il ragionamento matematico) basandosi su parole chiave o euristiche, senza codice imperativo aggiuntivo.
Logical Chunking (Map-Reduce Dichiarativo): Una strategia per gestire documenti più grandi della finestra di contesto. Utilizzando le CTE di SPL, un documento viene spezzato in chunk, elaborati in parallelo (o sequenzialmente) da modelli specialisti, e poi sintetizzati. Questo riduce il costo computazionale dell'attenzione da $O(N^2)$ a $O(N^2/k)$ .
SPL-flow: Un livello di orchestrazione agenziale resiliente con una strategia di fallback a tre livelli (Ollama locale → OpenRouter cloud → retry self-healing) trasparente allo script.
BENCHMARK: Una sintassi per eseguire confronti paralleli multi-modello, selezionando automaticamente il "vincitore" in base a costi, latenza e qualità, e persistendo la scelta per esecuzioni future.

4. Risultati Sperimentali

Gli esperimenti condotti (senza chiamate reali all'LLM per la fase di parsing/ottimizzazione) dimostrano:

Riduzione del Codice: SPL riduce il codice boilerplate del 65% in media rispetto all'approccio imperativo in Python, eliminando completamente le operazioni manuali di conteggio dei token.
Ottimizzazione del Budget: L'ottimizzatore scala proporzionalmente le risorse (es. RAG e memoria) in base al budget totale, mantenendo fisse le parti critiche (ruolo di sistema, domanda).
Visibilità dei Costi: Il comando EXPLAIN rivela una differenza di costo di 68x tra modelli economici (es. Claude Haiku) e premium (es. GPT-4) per la stessa query, permettendo decisioni informate pre-esecuzione.
Efficienza Computazionale: L'approccio Logical Chunking dimostra una riduzione teorica e pratica del carico computazionale, permettendo l'esecuzione di workflow complessi su hardware consumer (GPU locali) a costo zero, o in parallelo nel cloud.
Validazione: Tutti i 20 test di verifica delle funzionalità (parsing, budgeting, RAG, memoria, CTE) hanno superato con successo.

5. Significato e Implicazioni

Il lavoro di Gong ha implicazioni profonde per l'ingegneria dell'IA:

Paradigma Shift: Sposta l'ingegneria dei prompt da un'attività artigianale e imperativa a una disciplina strutturata, ottimizzabile e osservabile, simile all'evoluzione dai database procedurali a SQL.
Democratizzazione: Permette agli ingegneri dei dati e agli analisti esperti in SQL di applicare le loro competenze mentali (query, set, schemi) direttamente al dominio GenAI, abbassando la barriera di ingresso.
Efficienza Sostenibile: L'ipotesi architetturale secondo cui l'orchestrazione dichiarativa di modelli piccoli e specializzati (tramite chunking e MoM) può sostituire la necessità di finestre di contesto sempre più grandi e costose offre una via di scalabilità più efficiente dal punto di vista energetico ed economico.
Sicurezza: La natura dichiarativa e la separazione strutturale tra input utente e ruoli di sistema offrono un fondamento più solido per la sicurezza e la prevenzione delle iniezioni di prompt rispetto alla manipolazione di stringhe ad hoc.

In sintesi, SPL non è solo un linguaggio di prompt, ma un framework di gestione delle risorse che applica i principi collaudati dei database relazionali al mondo dei modelli generativi, offrendo controllo, trasparenza ed efficienza senza precedenti.