TSCG: Deterministic Tool-Schema Compilation for Agentic LLM Deployments

TSCG is een deterministische, zero-dependency tool-schema-compiler die de nauwkeurigheid van toolgebruik voor kleine en frontier LLM's in productiemilieus aanzienlijk verbetert door inefficiënte JSON-schema's om te zetten in token-efficiële gestructureerde tekst, waarmee de formatmismatch wordt opgelost die momenteel de meerderheid van de toolgebruiksfouten veroorzaakt.

De kern

Stel je voor dat je een reeks instructies geeft aan een zeer slimme, maar licht overweldigde assistent.

Het Probleem: De "JSON"-Taalbarrière
Op dit moment gebruiken computerprogramma's (zoals AI-agenten) wanneer ze met elkaar praten over welke tools ze hebben (zoals "zoek het web" of "controleer het weer"), een formaat genaamd JSON. JSON is als een stijf, technisch archiefsysteem dat is ontworpen om snel door computers te worden gelezen. Het zit vol met haakjes, aanhalingstekens en repetitieve labels.

Voor mensachtige AI-modellen, vooral de kleinere, snellere modellen, is het lezen van deze JSON als het proberen om een boek te lezen waarbij elk enkel woord is verpakt in een zware, verwarrende plastic hoes. De AI raakt zo verstrikt in de "plastic" (de extra symbolen en structuur) dat het de feitelijke instructies vergeet. Het artikel noemt dit een "protocolmismatch". De AI probeert een computerbestand te lezen, geen zin in natuurlijke taal.

De Oplossing: TSCG (De "Vertaler" en "Redacteur")
De auteur, Furkan Sakizli, bouwde een tool genaamd TSCG (Token-Context Semantic Grammar). Denk aan TSCG als een supersnelle, deterministische redacteur die tussen de computer en de AI zit.

Voordat de AI de instructies ooit te zien krijgt, neemt TSCG het rommelige JSON-bestand en herschrijft het direct in een schoon, natuurlijk klinkend tekstformaat. Het is als het nemen van een dichte juridische overeenkomst en het herschrijven als een duidelijke, met opsommingstekens voorziene lijst van instructies.

Hoe Het Werkt (De 8 "Redacteuren")
TSCG gebruikt geen magie of gokwerk. Het gebruikt een vast aantal van 8 specifieke regels (genaamd "operatoren") om de tekst op te schonen:

1. Het verwijdert de rommel: Het verwijdert beleefde woorden zoals "de volgende items" of overbodige zinsdelen die mensen niet hoeven te lezen.
2. Het verplaatst de meubels: Het verplaatst de belangrijkste delen van de instructie naar het allerbegin en het alleruiteinde, omdat AI-modellen de meeste aandacht besteden aan het begin en het einde van een zin (zoals de "boekensteunen" van een verhaal).
3. Het spreekt de taal van de AI: Het verandert symbolen in symbolen die de interne woordenlijst van de AI herkent als enkele "blokken" in plaats van meerdere gebroken stukken, wat ruimte bespaart.

De Resultaten: Een Wonder voor Kleine Modellen
Het artikel testte dit op 12 verschillende AI-modellen, van kleine modellen (4 miljard tot 14 miljard "hersencellen") tot de enorme, toptier-modellen.

• Voor de Kleine Modellen: De resultaten waren dramatisch. Zonder TSCG faalden kleine modellen bijna volledig (0% nauwkeurigheid) wanneer ze een lijst kregen van 20 tools, omdat de JSON te verwarrend was. Met TSCG steeg hun nauwkeurigheid naar 84%. Het is alsof de AI plotseling "wakker werd" en eindelijk de taak kon begrijpen.
• Voor de Grote Modellen: Zelfs de super-slimme modellen werden beter. Ze werden nauwkeuriger en gebruikten minder "tokens" (de valuta van AI-denktijd), wat geld en snelheid bespaart.

Het "Aha!"-Moment: Het Gaat Om Het Formaat, Niet Alleen Om Compressie
Een van de meest interessante bevindingen in het artikel is waarom dit werkt. De auteur besefte dat voor veel kleine modellen het probleem niet alleen was dat de tekst te lang was; het was dat het formaat (JSON) de vijand was.

Toen de auteur "JSON-tekst" vergeleek met "platte tekst" (zonder enige fancy compressie), loste de platte tekst alleen al het grootste deel van het probleem op. TSCG is de ultieme versie hiervan: het repareert het formaat én comprimeert de tekst.

De "Eén-Maat-Voor-Allen"-Mythe
Het artikel ontdekte ook dat niet alle AI-modellen op dezelfde manier reageren.

• Sommige modellen zijn "Hongerig": Ze houden van elke regel die TSCG toepast en worden slimmer met elke verandering.
• Sommige zijn "Gevoelig": Ze houden van sommige regels maar raken verward door andere. Als je ze te veel veranderingen geeft, worden ze eigenlijk slechter.
• Sommige zijn "Robuust": Ze geven niet veel om; ze werken goed wat er ook gebeurt.

Dit betekent dat er geen enkele "perfecte" instelling is voor elke AI. Je moet de redacteur afstemmen op welke AI je gebruikt.

In Het Korte Bestek
TSCG is een gratis, open-source tool die fungeert als een vertaler. Het neemt het stijve, alleen voor computers bestemde taal van tool-definities en converteert dit direct naar een formaat dat AI-modellen daadwerkelijk kunnen begrijpen. Hierdoor kunnen kleinere, goedkopere AI-modellen effectief werken in real-world toepassingen waar ze eerder faalden, en worden de grootste modellen sneller en nauwkeuriger. Het is een simpele oplossing voor een verwarrend probleem: stop met praten tegen de AI in computercode, en begin met praten tegen het in platte tekst.

Technische samenvatting

Technische Samenvatting: TSCG – Deterministische Tool-Schema Compilatie voor Agente LLM-Implementaties

1. Probleemstelling

Productie-agentframeworks (bijv. OpenAI Function Calling, Anthropic Tool Use, MCP) sturen tooldefinities door naar Large Language Models (LLM's) als JSON-schema's. Hoewel JSON geoptimaliseerd is voor deterministische machineparsing en menselijke leesbaarheid, is het suboptimaal voor interpretatie door autoregressieve taalmodellen.

Dit protocolmismatch creëert een "capaciteitsafgrond" voor kleine modellen (4B–14B parameters). Naarmate het volume aan JSON-schema-gegevens groeit, stort de tool-aanroepnauwkeurigheid in, dalend tot 0–49% voor catalogi met meer dan 15 tools. Deze kwestie brengt drie primaire kosten met zich mee:

1. Tokenkosten: Schema's introduceren pure structurele redundantie, wat 3.000–25.000 tokens per aanroep verbruikt.
2. Capaciteitskosten: Kleine modellen kunnen JSON-formaat schema's niet betrouwbaar parseren op schaal, waardoor agente-capaciteiten worden vergrendeld achter frontier-API's.
3. Schaalingskosten: De schema-overhead groeit lineair met de catalogusgrootte.

Het artikel presenteert dit niet louter als een compressieprobleem, maar als een protocol-aanpassingsprobleem dat een andere representatie vereist aan de API-grens.

2. Methodologie: Het TSCG Framework

De auteurs introduceren Token-Context Semantic Grammar (TSCG), een deterministische tool-schema-compiler die JSON-schema's transformeert in token-efficiënte gestructureerde tekst. TSCG werkt zonder modeltoegang, fine-tuning of runtime-zoekopdrachten en functioneert als een pre-tokenisatie-compiler.

2.1 De Pipeline

TSCG past een vaste volgorde toe van 10 deterministische transformaties, georganiseerd in vijf fasen:

1. Parse: Segmentatie van de invoer-JSON.
2. Compressie:
   • SDM (Semantic Density Maximization): Verwijdert vulwoorden (beleefdheidsmarkeringen, hedging, redundante voegwoorden).
   • TAS (Tokenizer-Aligned Syntax): Selecteert scheidingstekensvarianten die het tokenaantal minimaliseren op basis van BPE-grenzen (bijv. -> gebruiken in plaats van →).
   • DRO (Delimiter-Role Optimization): Vervangt uitgebreide structurele zinnen door compacte scheidingstekens.
3. Structureel:
   • CFL (Constraint-First Layout): Herpositioneert uitvoerbeperkingen naar positie 0 om het "attention sink"-fenomeen te benutten.
   • CFO (Causal-Forward Ordering): Herordeert meerstapsoperaties in topologische volgorde om ervoor te zorgen dat prerequisieten causaal toegankelijk zijn.
4. Fragiliteit:
   • CAS (Causal Access Score): Scoreert atomen op fragiliteit (belang versus toegankelijkheid) en plaatst atomen met hoge fragiliteit aan het begin (attention sink) en einde (recency bias).
   • SAD-F (Selective Anchor Duplication): Dupliceert kritieke atomen binnen een tokenbudget om sleutelinformatie te versterken.
5. Afsluiting:
   • CCP (Causal Closure Principle): Voegt een samenvattingsblok toe aan het einde (hoewel empirische resultaten aantonen dat dit overhead toevoegt zonder consistente nauwkeurigheidswinst).

2.2 Theoretische Grondslagen

De operatoren zijn gebaseerd op drie eigenschappen van causale autoregressieve transformers:

• Causale Aandacht: Vroege tokens kunnen latere niet bereiken; daarom moeten prerequisieten voorafgaan aan afhankelijke stappen (CFO).
• Attention Sink: Positie 0 ontvangt disproportioneel veel aandacht; kritieke beperkingen moeten daar worden geplaatst (CFL).
• BPE Non-Monotonie: Stringlengte correleert niet lineair met het tokenaantal; oppervlaktevormen kunnen worden geselecteerd om uit te lijnen met geleerde BPE-merges (TAS).

Het framework biedt een formele compressiegrens, waarbij gegarandeerd wordt dat er $\ge 51\%$ tokenreductie wordt bereikt op goed gevormde schema's.

3. Belangrijkste Bijdragen

1. Formeel Optimalisatieframework: Een systeem van acht operatoren met wiskundige specificaties die zijn gekoppeld aan transformer-mechaniek, voldoen aan tokenizer-bewustzijn en causale aandacht-gronding.
2. Mechanistische Decompositie: Een "formaat-versus-compressie"-analyse die aantoont dat representatieverandering (van JSON naar tekst) het dominante mechanisme is voor kleine modellen, terwijl structurele compressie ten goede komt aan frontier-modellen.
3. TAB Benchmark: De eerste tool-schema-compressiebenchmark (TSCG-Agentic-Bench), bestaande uit ongeveer 19.000 API-aanroepen over 12 modellen (4B–32B lokaal + 3 frontier) en 5 scenario's.
4. Small-Model Enablement: Aantonen dat TSCG de nauwkeurigheid voor kleine modellen (4B–14B) herstelt van bijna nul naar functionele niveaus (65–90%), wat lokale implementatie mogelijk maakt.
5. Per-Model Operator Matrix: Identificatie van drie verschillende operator-responsprofielen over frontier-modellen (Operator-Hungry, Operator-Sensitive, Operator-Robust), wat bewijst dat er geen universele configuratie bestaat.
6. Schaalingskarakterisering: Aantonen dat nauwkeurigheidsvoordelen aanhouden op zware productie-MCP-schema's, zelfs wanneer ze verzadigen op lichte synthetische catalogi.
7. Implementatie: Een TypeScript-pakket van 1.200 regels, zonder afhankelijkheden, dat in sub-milliseconden tijd wordt uitgevoerd.

4. Experimentele Resultaten

4.1 Herstel Kleine Modellen

Op de TAB-benchmark verbeterde TSCG de tool-gebruiknauwkeurigheid voor kleine modellen drastisch:

• Phi-4 (14B): Hersteld van 0% naar 84,4% nauwkeurigheid bij 20 tools (90,3% bij 50 tools).
• Mistral 7B & Gemma 3 4B: Toonden enorme winsten (+17 tot +63 procentpunten) bij 20–50 tools.
• Decompositie: Voor deze modellen werden de winsten voornamelijk gedreven door Formaatvertaling (conversie van JSON naar gestructureerde tekst) in plaats van compressie. Bij vergelijking met een tekst-baseline verdween de "compressie"-winst of keerde deze om, wat bevestigt dat de bottleneck JSON-parsing was, niet contextlengte.

4.2 Prestaties Frontier-modellen

Voor frontier-modellen (Claude Sonnet 4, GPT-4o, GPT-5.2) bood TSCG echte structurele compressievoordelen:

• Claude Sonnet 4: Bereikte 85,2% nauwkeurigheid (tegenover 74,0% native JSON) met 50,1% tokenbesparing.
• GPT-5.2: Toonde aanzienlijke winsten (+29,7 pp) in Scenario A, hoewel de prestaties varieerden per operatorprofiel.
• Accuracy-Retained Ratio (ARR): TSCG behaalde ARR-waarden van 108–181% op de BFCL externe validatiebenchmark.

4.3 Operator-Gevoeligheid Archetypen

Experimenten met per-operator isolatie onthulden drie verschillende gedragsprofielen:

• Operator-Hungry (bijv. Opus 4.7): Profiteert van elke operator; de volledige pipeline is optimaal.
• Operator-Sensitive (bijv. GPT-5.2): Specifieke operatoren (zoals CFO) kunnen de prestaties verslechteren; vereist selectieve configuratie.
• Operator-Robust (bijv. Sonnet 4): Invariant voor de meeste operatoren; elke veilige configuratie werkt.

4.4 Schaling en Generalisatie

• Zware Schema's: Op zware productie-MCP-schema's (~10.500 invoertokens) behield TSCG een nauwkeurigheidsvoordeel van +5,0 pp, terwijl winsten op lichte synthetische catalogi verzadigden bij 75–100 tools.
• Benchmark Validiteit: De synthetische TAB-benchmark voorspelde real-world MCP-prestaties binnen 0,1 nauwkeurigheidspunt.

5. Betekenis en Claims

Het artikel beweert dat TSCG een kritieke, onopgeloste kloof in de agente-LLM-infrastructuur aanpakt: de inefficiëntie van JSON-schema's voor modelconsumptie.

• Architecturale Verschuiving: TSCG positioneert schema-compressie als een architecturale keuze (externe compilatie) in plaats van een prompt-engineering-techniek. Dit is noodzakelijk omdat tokenisatie pre-model plaatsvindt en het model zijn invoer niet retroactief kan "herformuleren".
• Implementatiegids: Het werk biedt een datagedreven taxonomie voor implementatie. Kleine modellen vereisen formaatvertaling (vaak via een "conservatief" profiel), terwijl frontier-modellen profiteren van structurele compressie.
• Ecosysteem Impact: De auteurs stellen de creatie voor van een door de gemeenschap samengesteld register van vooraf gecompileerde tool-schema's, analoog aan pakketregisters (npm/PyPI), om efficiëntie in het agente-ecosysteem te standaardiseren.

Het artikel concludeert dat TSCG functionele tool-gebruik-agenten mogelijk maakt op lokale, privacy-beperkte hardware, terwijl het tegelijkertijd het tokengebruik optimaliseert voor frontier-modellen, allemaal via een deterministische, afhankelijkheidsvrije compiler.