TSCG: Deterministic Tool-Schema Compilation for Agentic LLM Deployments

TSCG è un compilatore di schemi per strumenti deterministico e privo di dipendenze che migliora significativamente l'accuratezza dell'uso degli strumenti per i LLM di piccole dimensioni e all'avanguardia negli ambienti di produzione convertendo gli schemi JSON inefficienti in testo strutturato efficiente in termini di token, risolvendo così il disallineamento di formato che attualmente causa la maggior parte dei fallimenti nell'uso degli strumenti.

L'essenziale

Immagina di dover dare un insieme di istruzioni a un assistente molto intelligente, ma leggermente sopraffatto.

Il Problema: La Barriera Linguistica del "JSON"
Attualmente, quando i programmi informatici (come gli agenti AI) comunicano tra loro riguardo agli strumenti a loro disposizione (ad esempio "cerca sul web" o "controlla il meteo"), utilizzano un formato chiamato JSON. Il JSON è come un rigido sistema di archiviazione tecnico, progettato per essere letto rapidamente dai computer. È pieno di parentesi, virgolette ed etichette ripetitive.

Per i modelli AI simili a esseri umani, in particolare quelli più piccoli e veloci, leggere questo JSON è come cercare di leggere un libro in cui ogni singola parola è avvolta in una pesante e confusa custodia di plastica. L'AI viene così sopraffatta dalla "plastica" (i simboli e la struttura aggiuntivi) da dimenticare le istruzioni vere e proprie. Il documento definisce questo un "mismatch di protocollo". L'AI sta cercando di leggere un file informatico, non una frase in linguaggio naturale.

La Soluzione: TSCG (Il "Traduttore" e l'"Editore")
L'autore, Furkan Sakizli, ha creato uno strumento chiamato TSCG (Token-Context Semantic Grammar). Immagina il TSCG come un editore super-veloce e deterministico che si interpone tra il computer e l'AI.

Prima che l'AI veda mai le istruzioni, il TSCG prende il file JSON disordinato e lo riscrive istantaneamente in un formato di testo pulito e dal suono naturale. È come prendere un contratto legale denso e riscriverlo come un elenco puntato chiaro di istruzioni.

Come Funziona (Gli 8 "Editori")
Il TSCG non usa magia o congetture. Utilizza un insieme fisso di 8 regole specifiche (chiamate "operatori") per pulire il testo:

1. Rimuove il superfluo: Cancella parole di cortesia come "i seguenti elementi" o frasi ridondanti che gli umani non hanno bisogno di leggere.
2. Riorganizza i mobili: Sposta le parti più importanti dell'istruzione all'inizio e alla fine, perché i modelli AI prestano la massima attenzione all'inizio e alla fine di una frase (come i "segnalibri" di una storia).
3. Parla la lingua dell'AI: Cambia i simboli in quelli che il dizionario interno dell'AI riconosce come singoli "blocchi" invece di più pezzi rotti, risparmiando spazio.

I Risultati: Un Miracolo per i Modelli Piccoli
Il documento ha testato questo approccio su 12 diversi modelli AI, da quelli piccoli (da 4 a 14 miliardi di "cellule cerebrali") fino a quelli massicci e di fascia alta.

• Per i Modelli Piccoli: I risultati sono stati drammatici. Senza TSCG, i modelli piccoli fallivano quasi completamente (0% di accuratezza) quando veniva loro fornita una lista di 20 strumenti, perché il JSON era troppo confuso. Con il TSCG, la loro accuratezza è schizzata al 84%. È come se l'AI si fosse improvvisamente "svegliata" e potesse finalmente comprendere il compito.
• Per i Modelli Grandi: Anche i modelli super-intelligenti sono migliorati. Sono diventati più accurati e hanno utilizzato meno "token" (la valuta del tempo di pensiero dell'AI), risparmiando denaro e velocità.

Il Momento "Eureka": Si Tratta del Formato, Non Solo della Compressione
Una delle scoperte più interessanti nel documento è il perché questo funziona. L'autore ha realizzato che per molti modelli piccoli, il problema non era solo che il testo era troppo lungo; era che il formato (JSON) era il nemico.

Quando l'autore ha confrontato "testo JSON" con "testo semplice" (senza alcuna compressione sofisticata), il testo semplice da solo ha risolto la maggior parte del problema. Il TSCG è la versione definitiva di questo: corregge il formato e comprime il testo.

Il Mito del "Tuttofare"
Il documento ha anche scoperto che non tutti i modelli AI reagiscono allo stesso modo.

• Alcuni modelli sono "Affamati": Amano ogni singola regola applicata dal TSCG e diventano più intelligenti con ogni cambiamento.
• Alcuni sono "Sensibili": Piacciono alcune regole ma vengono confusi da altre. Se vengono sottoposti a troppi cambiamenti, peggiorano effettivamente.
• Alcuni sono "Robusti": Non ne curano molto; funzionano bene indipendentemente da ciò.

Questo significa che non esiste un'unica impostazione "perfetta" per ogni AI. Devi sintonizzare l'editore in base a quale AI stai utilizzando.

In Sintesi
Il TSCG è uno strumento gratuito e open-source che agisce come un traduttore. Prende il linguaggio rigido, riservato ai computer, delle definizioni degli strumenti e lo converte istantaneamente in un formato che i modelli AI possono effettivamente comprendere. Questo permette ai modelli AI più piccoli ed economici di funzionare efficacemente in applicazioni del mondo reale dove in precedenza fallivano, e rende i modelli più grandi più veloci e accurati. È una soluzione semplice a un problema confuso: smetti di parlare all'AI in codice informatico e inizia a parlarle in testo semplice.

Sommario tecnico

Riepilogo Tecnico: TSCG – Compilazione Deterministica di Schemi Strumentali per Distribuzioni di LLM Agentic

1. Enunciato del Problema

I framework di agenti in produzione (ad es., Chiamata di Funzione OpenAI, Utilizzo di Strumenti Anthropic, MCP) trasmettono le definizioni degli strumenti ai Modelli Linguistici di grandi dimensioni (LLM) come schemi JSON. Sebbene JSON sia ottimizzato per il parsing deterministico delle macchine e la leggibilità umana, è subottimale per l'interpretazione dei modelli linguistici autoregressivi.

Questa discrepanza di protocollo crea un "dirupo delle capacità" per i modelli piccoli (4B–14B parametri). Man mano che il volume dei dati dello schema JSON cresce, l'accuratezza delle chiamate agli strumenti crolla, scendendo allo 0–49% per cataloghi che superano i 15 strumenti. Questo problema impone tre costi principali:

1. Costo dei Token: Gli schemi introducono una pura ridondanza strutturale, consumando 3.000–25.000 token per invocazione.
2. Costo delle Capacità: I modelli piccoli non possono analizzare in modo affidabile gli schemi in formato JSON su larga scala, bloccando le capacità agentiche dietro le API all'avanguardia.
3. Costo di Scalabilità: Il sovraccarico dello schema cresce linearmente con la dimensione del catalogo.

Il documento inquadra questo problema non semplicemente come un problema di compressione, ma come un problema di adattamento del protocollo che richiede una rappresentazione diversa al confine dell'API.

2. Metodologia: Il Framework TSCG

Gli autori introducono la Grammatica Semantica Contestuale dei Token (TSCG), un compilatore deterministico di schemi strumentali che trasforma gli schemi JSON in testo strutturato efficiente in termini di token. TSCG opera senza accesso al modello, senza fine-tuning e senza ricerca in runtime, funzionando come un compilatore pre-tokenizzazione.

2.1 La Pipeline

TSCG applica una pipeline a ordine fisso di 10 trasformazioni deterministiche organizzate in cinque fasi:

1. Analisi (Parse): Segmentazione dell'input JSON.
2. Compressione:
   • SDM (Massimizzazione della Densità Semantica): Rimuove i token di riempimento (marcatori di cortesia, attenuazioni, connettivi ridondanti).
   • TAS (Sintassi Allineata al Tokenizzatore): Seleziona varianti di delimitatore che minimizzano il conteggio dei token basandosi sui confini BPE (ad es., utilizzando -> invece di →).
   • DRO (Ottimizzazione del Ruolo del Delimitatore): Sostituisce le frasi strutturali verbose con delimitatori compatti.
3. Strutturale:
   • CFL (Layout a Vincoli Prioritari): Riposiziona i vincoli di output alla posizione 0 per sfruttare il fenomeno del "pozzo di attenzione".
   • CFO (Ordinamento Causale Avanzato): Riordina le operazioni multistep in ordine topologico per garantire che i prerequisiti siano causalmente accessibili.
4. Fragilità:
   • CAS (Punteggio di Accesso Causale): Assegna un punteggio agli atomi in base alla fragilità (importanza vs. accessibilità) e posiziona gli atomi ad alta fragilità all'inizio (pozzo di attenzione) e alla fine (bias di recenza).
   • SAD-F (Duplicazione Selettiva dell'Ancora): Duplica gli atomi critici entro un budget di token per rafforzare le informazioni chiave.
5. Chiusura:
   • CCP (Principio di Chiusura Causale): Aggiunge un blocco di riepilogo alla fine (sebbene i risultati empirici mostrino che ciò aggiunge sovraccarico senza guadagni di accuratezza coerenti).

2.2 Fondamenti Teorici

Gli operatori sono radicati in tre proprietà dei trasformatori causali autoregressivi:

• Attenzione Causale: I token iniziali non possono accedere a quelli successivi; pertanto, i prerequisiti devono precedere i passaggi dipendenti (CFO).
• Pozzo di Attenzione: La posizione 0 riceve un'attenzione sproporzionata; i vincoli critici dovrebbero essere posizionati lì (CFL).
• Non Monotonicità BPE: La lunghezza della stringa non correla linearmente con il conteggio dei token; le forme superficiali possono essere selezionate per allinearsi alle fusioni BPE apprese (TAS).

Il framework fornisce un limite formale di compressione, garantendo una riduzione dei token $\ge 51\%$ su schemi ben formati.

3. Contributi Chiave

1. Framework di Ottimizzazione Formale: Un sistema a otto operatori con specifiche matematiche collegate ai meccanismi dei trasformatori, soddisfacendo la consapevolezza del tokenizzatore e l'ancoraggio all'attenzione causale.
2. Decomposizione Meccanicistica: Un'analisi "formato-verso-compressione" che dimostra che il cambiamento di rappresentazione (da JSON a testo) è il meccanismo dominante per i modelli piccoli, mentre la compressione strutturale beneficia i modelli all'avanguardia.
3. Benchmark TAB: Il primo benchmark di compressione di schemi strumentali (TSCG-Agentic-Bench), comprendente circa 19.000 chiamate API su 12 modelli (4B–32B locali + 3 all'avanguardia) e 5 scenari.
4. Abilitazione dei Modelli Piccoli: Dimostrazione che TSCG ripristina l'accuratezza per i modelli piccoli (4B–14B) da livelli quasi nulli a livelli funzionali (65–90%), abilitando la distribuzione locale.
5. Matrice Operatore-Per-Modello: Identificazione di tre profili distinti di risposta agli operatori tra i modelli all'avanguardia (Affamato di Operatori, Sensibile agli Operatori, Robusto agli Operatori), dimostrando che non esiste una configurazione universale.
6. Caratterizzazione della Scalabilità: Dimostrazione che i vantaggi di accuratezza persistono su schemi MCP di produzione pesanti anche quando si saturano su cataloghi sintetici leggeri.
7. Implementazione: Un pacchetto TypeScript di 1.200 righe, senza dipendenze, eseguito in tempo inferiore al millisecondo.

4. Risultati Sperimentali

4.1 Recupero dei Modelli Piccoli

Sul benchmark TAB, TSCG ha migliorato drasticamente l'accuratezza dell'uso degli strumenti per i modelli piccoli:

• Phi-4 (14B): Recupero dallo 0% all'84,4% di accuratezza a 20 strumenti (90,3% a 50 strumenti).
• Mistral 7B & Gemma 3 4B: Hanno mostrato guadagni massicci (+17 a +63 punti percentuali) a 20–50 strumenti.
• Decomposizione: Per questi modelli, i guadagni sono stati guidati principalmente dalla Traduzione del Formato (conversione da JSON a testo strutturato) piuttosto che dalla compressione. Confrontati con una baseline testuale, il beneficio della "compressione" è svanito o si è invertito, confermando che il collo di bottiglia era il parsing JSON, non la lunghezza del contesto.

4.2 Prestazioni dei Modelli All'Avanguardia

Per i modelli all'avanguardia (Claude Sonnet 4, GPT-4o, GPT-5.2), TSCG ha fornito benefici genuini di compressione strutturale:

• Claude Sonnet 4: Ha raggiunto un'accuratezza dell'85,2% (vs 74,0% JSON nativo) con un risparmio di token del 50,1%.
• GPT-5.2: Ha mostrato guadagni significativi (+29,7 pp) nello Scenario A, sebbene le prestazioni variassero in base al profilo degli operatori.
• Rapporto Accuratezza-Ritenuta (ARR): TSCG ha raggiunto valori ARR di 108–181% sul benchmark di validazione esterna BFCL.

4.3 Archetipi di Sensibilità agli Operatori

Esperimenti di isolamento per operatore hanno rivelato tre profili comportamentali distinti:

• Affamato di Operatori (es., Opus 4.7): Beneficia di ogni operatore; la pipeline completa è ottimale.
• Sensibile agli Operatori (es., GPT-5.2): Operatori specifici (come CFO) possono degradare le prestazioni; richiede una configurazione selettiva.
• Robusto agli Operatori (es., Sonnet 4): Invariante rispetto alla maggior parte degli operatori; qualsiasi configurazione sicura funziona.

4.4 Scalabilità e Generalizzazione

• Schemi Pesanti: Su schemi MCP di produzione pesanti (~10.500 token di input), TSCG ha mantenuto un vantaggio di accuratezza di +5,0 pp, mentre i guadagni su cataloghi sintetici leggeri si sono saturati a 75–100 strumenti.
• Validità del Benchmark: Il benchmark sintetico TAB ha previsto le prestazioni MCP reali entro 0,1 punti di accuratezza.

5. Significato e Affermazioni

Il documento afferma che TSCG affronta un gap critico e non affrontato nell'infrastruttura degli LLM agentic: l'inefficienza degli schemi JSON per il consumo da parte dei modelli.

• Cambiamento Architettonico: TSCG posiziona la compressione degli schemi come una scelta architetturale (compilazione esterna) piuttosto che una tecnica di ingegneria dei prompt. Questo è necessario perché la tokenizzazione avviene pre-modello e il modello non può "ri-inquadrare" retroattivamente i suoi input.
• Guida alla Distribuzione: Il lavoro fornisce una tassonomia basata sui dati per la distribuzione. I modelli piccoli richiedono una traduzione del formato (spesso tramite un profilo "conservativo"), mentre i modelli all'avanguardia beneficiano della compressione strutturale.
• Impatto sull'Ecosistema: Gli autori propongono la creazione di un registro curato dalla comunità di schemi strumentali pre-compilati, analogo ai registri di pacchetti (npm/PyPI), per standardizzare l'efficienza in tutto l'ecosistema agentic.

Il documento conclude che TSCG abilita agenti di uso degli strumenti funzionali su hardware locale con vincoli di privacy, ottimizzando simultaneamente l'uso dei token per i modelli all'avanguardia, tutto attraverso un compilatore deterministico e senza dipendenze.