🤖 AI

XGrammar-2: Efficient Dynamic Structured Generation Engine for Agentic LLMs

XGrammar-2 is een hoog-efficiënt gestructureerd generatie-engine ontworpen voor dynamische agentic LLM-werklasten, met tag-geactiveerde structuurwisseling en cross-grammar cache-hergebruik om meer dan 6x snellere compilatie en een bijna nihilende end-to-end overhead te bereiken in vergelijking met eerdere systemen.

Oorspronkelijke auteurs: Linzhang Li, Yixin Dong, Guanjie Wang, Ziyi Xu, Alexander Jiang, Tianqi Chen

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Linzhang Li, Yixin Dong, Guanjie Wang, Ziyi Xu, Alexander Jiang, Tianqi Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent (de AI) die probeert een zeer strikt recept te volgen. Soms is het recept simpel: "Maak een boterham." Maar in de wereld van AI-agenten is het recept vaak een complexe, veranderende set instructies zoals: "Schrijf een zin, schakel dan over naar een JSON-codeblok om een weer-tool aan te roepen, schakel dan terug naar het schrijven van een zin, schakel dan over naar een specifiek formaat voor een database-query."

Het probleem is dat traditionele "keukens" (AI-engines) uitstekend zijn in het volgen van één vast recept, maar moeite hebben wanneer het recept onderweg verandert of wanneer de chef-kok direct tussen tientallen verschillende complexe formaten moet schakelen. Ze moeten vaak stoppen, het hele receptenboek van scratch herschrijven voordat ze kunnen beginnen met koken, wat alles traag maakt.

XGrammar-2 is een nieuwe, super-efficiënte keuken-engine die specifiek is ontworpen voor deze chaotische, dynamische kooksituaties. Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Magische Schakelaar" (TagDispatch)

Het Probleem: Stel je een recept voor dat zegt: "Blijf normaal schrijven totdat je het woord 'STOP' ziet, schakel dan over naar een wiskundemodus, schakel dan terug." Dit doen met oude methoden is als proberen een massief, verward instructieboek te schrijven waarbij elk mogelijk woord leidt naar een andere pagina. Het wordt rommelig en enorm.

De XGrammar-2 Oplossing: Ze introduceerden een functie genaamd TagDispatch. Denk hierbij aan een magische schakelaar of een verkeerslicht.

De AI schrijft normaal (groen licht).
Het moment dat het een specifieke trigger ziet (zoals een tag <function=weather>), wordt het licht direct rood, en de engine weet precies welk "sub-recept" (het JSON-formaat voor weer) er moet worden overgeschakeld.
Zodra dat sub-recept klaar is, wordt het licht weer groen, en gaat de AI terug naar normaal schrijven.
Waarom het cool is: In plaats van een gigantisch, verwarrend boek te schrijven, volgt de engine gewoon de verkeerslichten. Het maakt het schakelen tussen vrij vloeiende tekst en strikte code direct en eenvoudig.

2. De "Gedeelde Bibliotheek" (Cross-Grammar Cache)

Het Probleem: Stel je voor dat je 100 verschillende maaltijden kookt. 90 daarvan gebruiken exact dezelfde stap "uijes snijden", maar de oude engine behandelt elke maaltijd als een gloednieuwe taak. Het leert opnieuw hoe je uien snijdt voor elke enkele maaltijd. Dit is een verspilling van tijd.

De XGrammar-2 Oplossing: Ze bouwden een Gedeelde Bibliotheek (Cross-Grammar Cache).

Zelfs als de eindgerechten (de volledige grammatica) verschillend zijn, zijn de ingrediënten en stappen (sub-structuren) vaak hetzelfde.
XGrammar-2 kijkt naar de stappen. Als het ziet: "Oh, ik heb al uitgezocht hoe je uien snijdt voor een vergelijkbaar gerecht", dan rekent het niet opnieuw. Het pakt gewoon de voorgesneden uien uit de bibliotheek.
Waarom het cool is: Het voorkomt dat de engine dezelfde wiskunde keer op keer doet. Het hergebruikt het "werk" dat het al heeft gedaan, zelfs als de algehele aanvraag anders is.

3. De "Just-in-Time" Chef (JIT Compilation)

Het Probleem: In de oude tijden, voordat je ook maar één hap kon koken, moest de engine het hele receptenboek lezen voor elke enkele aanvraag. Als het recept enorm was (zoals een tool-call-aanvraag met 500 mogelijke tools), zou de engine daar seconden zitten alleen maar het boek te lezen voordat het koken begon.

De XGrammar-2 Oplossing: Ze gebruiken een Just-in-Time (JIT) aanpak.

In plaats van eerst het hele boek te lezen, leest de chef alleen de pagina die hij nu nodig heeft.
Terwijl de AI nadenkt over de eerste paar woorden (de "prefill"-fase), bereidt de engine rustig de volgende paar pagina's van het recept voor.
Waarom het cool is: Het verbergt de voorbereidingstijd. Tegen de tijd dat de AI klaar is om het volgende woord te spreken, heeft de engine de volgende stap al voorbereid. Hierdoor verschijnt het "eerste woord" bijna direct, zelfs voor complexe taken.

4. De "Gecomprimeerde Kaart" (Repetition State Compression)

Het Probleem: Sommige recepten hebben repetitieve stappen, zoals "Herhaal deze actie 1.000 keer." Oude engines zouden proberen een kaart te tekenen met 1.000 aparte stippen voor elke stap. Deze kaart wordt enorm en vertraagt alles.

De XGrammar-2 Oplossing: Ze gebruiken Repetition State Compression.

In plaats van 1.000 stippen te tekenen, tekenen ze één grote "lus"-pijl en zeggen: "Ga hier 1.000 keer omheen."
Waarom het cool is: Het houdt de kaart klein en simpel, ongeacht hoe vaak de AI een stap moet herhalen. Dit voorkomt dat de engine vastloopt door lange lijsten of lussen.

De Resultaten: Wat Vonden Ze?

Het papier testte deze nieuwe engine tegen de huidige beste methoden:

Snelheid: Het compileert het "recept" (de grammatica) 6 keer sneller dan eerdere engines.
Efficiëntie: Het voegt bijna geen vertraging toe aan de responstijd van de AI. Het is zo snel dat de AI niet eens merkt dat het er is.
Compatibiliteit: Het werkt naadloos met populaire AI-systemen (zoals SGLang en vLLM) en behandelt complexe taken zoals het aanroepen van tools of het volgen van strikte antwoordformaten zonder zweet te breken.

Kortom, XGrammar-2 is als het upgraden van het brein van een AI van een trage, stijve bibliothecaris die elk boek opnieuw moet inplakken voordat hij een vraag beantwoordt, naar een supersnelle, flexibele assistent die precies weet waar het antwoord te vinden is, eerder kennis hergebruikt en direct van onderwerp wisselt zonder een moment te missen.

Technische Samenvatting: XGrammar-2

Probleemstelling

Moderne Large Language Model (LLM)-agenten vertrouwen steeds meer op dynamische gestructureerde generatie, met name voor tool-aanroepen en responsprotocollen. In tegenstelling tot traditionele gestructureerde generatietaken, waarbij het outputschema statisch en vooraf bekend is, vertonen agentische werklasten aanzienlijke structurele dynamiek:

Inter-request dynamiek: Elke aanvraag kan een andere set tools en schema's blootleggen (vaak met per-tool toegangscontrole), wat leidt tot een combinatorisch grote ruimte van mogelijke outputgrammatica's. Bestaande engines die volledige grammatica's op aanvraagniveau cachen, worden hierdoor inefficiënt, wat dure per-request voorverwerking forceert en de Time-to-First-Token (TTFT) verhoogt.
Intra-request dynamiek: Binnen een enkele aanvraag moet het model schakelen tussen vrij-vorm tekst en gestructureerde sub-grammatica's op basis van triggers (bijvoorbeeld een specifieke toolnaam of kanaal-tag). Het uitdrukken van deze conditionele schakelingen met standaard Backus-Naur Form (BNF) of Extended BNF (EBNF) is omstandig, inefficiënt en schaalt slecht met het aantal tools.

Bestaande methoden voor beperkte decoding (zoals XGrammar, Outlines, llguidance) hebben moeite met deze dynamiek. Ze vereisen óf volledige grammatica-compilatie vooraf (onhaalbaar voor dynamische toolsets) óf missen efficiënte mechanismen om de interleaving van vrije tekst en gestructureerde beperkingen binnen één generatiestroom te verwerken.

Methodologie

XGrammar-2 is een engine voor gestructureerde generatie die specifiek is ontworpen voor dynamische agentische werklasten. De architectuur is gebaseerd op twee kernontwerpprincipes: eersteklas ondersteuning voor tag-gedreven structuurwisseling en fijnmazig hergebruik tussen aanvragen met verschillende outputstructuren.

1. TagDispatch: Dynamische Dispatch-semantiek

Om intra-request dynamiek aan te pakken, introduceert XGrammar-2 TagDispatch, een grammatica-intrinsiek dat efficiënte schakeling tussen vrij-vorm tekst en gestructureerde sub-grammatica's mogelijk maakt.

Mechanisme: TagDispatch is geparametriseerd door een lijst van tag-grammatica-paren $(t_i, G_i)$ en een set stopstrings.
Operatie: De engine werkt in twee modi:
- Dispatch-modus: De engine accepteert gewone tekst terwijl een Aho–Corasick (AC) automaat wordt gebruikt om geregistreerde tags incrementeel te matchen met de gegenereerde tekst.
- Gedispatchte modus: Bij het matchen van een tag schakelt de engine over naar de bijbehorende sub-grammatica $G_i$ . Zodra $G_i$ voltooid is, keert de controle terug naar de dispatch-modus.
Voordeel: Dit elimineert de noodzaak om complexe conditionele logica te coderen in enorme EBNF-regels, wat de grammaticagrootte en compilatiecomplexiteit aanzienlijk vermindert.

2. Cross-Grammar Cache

Om inter-request dynamiek aan te pakken, implementeert XGrammar-2 een Cross-Grammar Cache om token-maskercaches te hergebruiken over verschillende grammatica's die gemeenschappelijke substructuren delen.

Uitdaging: Het bepalen of twee Finite State Machines (FSM's) equivalent zijn, is moeilijk wanneer ze regelreferenties en cycli bevatten. Bovendien hangen token-maskercaches niet alleen af van de FSM-structuur, maar ook van hoe die FSM wordt gerefereerd (contextuitbreiding).
Oplossing: Het systeem gebruikt een hiërarchisch hash-algoritme:
- Het construeert een FSM-referentiegrafiek.
- Voor acyclische delen worden structurele hashes bottom-up berekend, waarbij de hashes van gerferendeerde FSM's worden opgenomen.
- Voor cyclische referenties worden voorlopige hashes gebruikt, gevolgd door cyclus-hash-verfijning om unieke structurele identificatoren te garanderen.
Hergebruiksstrategie: Wanneer een nieuwe grammatica-toestand wordt aangetroffen, controleert het systeem de globale cachepool. Bij een perfecte match (zelfde FSM en lookahead) wordt de cache hergebruikt. Bij slechts een gedeeltelijke match (zelfde FSM, verschillende lookahead) controleert het systeem onzekere tokens opnieuw en werkt de cache bij.

3. Earley-gebaseerde Adaptieve Token Mask Cache

XGrammar-2 maakt, in tegenstelling tot Pushdown Automata (PDA) die in eerdere versies werden gebruikt, gebruik van een Earley-parser voor zijn adaptieve token-maskercache.

Redenering: PDA-toestanden kunnen exponentieel groeien in niet-deterministische grammatica's. De Earley-parser onderhoudt een set van gedeeltelijke parsing-toestanden (frontier) die efficiënter is voor complexe contextvrije grammatica's.
Implementatie: De cache wordt uitsluitend gebouwd voor scanbare toestanden (waar het volgende symbool een terminal is). Niet-scanbare toestanden worden tijdens runtime uitgebreid via predictie- en voltooiingsoperaties. Tokens worden gecategoriseerd als geaccepteerd, afgewezen of contextafhankelijk, waarbij laatstgenoemden runtime-contextcontroles vereisen.

4. Just-In-Time (JIT) Compilatie

Om de hoge compilatiekosten van grote, dynamische grammatica's te mitigeren:

Strategie: In plaats van de volledige token-maskercache vooraf te materialiseren, hanteert XGrammar-2 een configureerbaar JIT-systeem.
Uitvoering: Tijdens de prefill-fase schat het systeem de kosten in om caches voor specifieke toestanden te genereren. Het prioriteert het compileren van de $K$ meest tijdrovende toestanden tijdens prefilling, waarbij compilatie overlapt met prefilling. De resterende toestanden worden on-demand gecompileerd tijdens de decoding-fase, waarbij maskergeneratie overlapt met decoding. Dit heeft tot doel compilatielatentie te verbergen.

5. Repetitie-toestandcompressie

Om herhalingsstructuren die vaak voorkomen in JSON-schema's aan te pakken (bijvoorbeeld MinLength, MaxItems):

Probleem: Naïeve expansie van herhalingsregels leidt tot een lineaire toename van grammatica-toestanden ten opzichte van het herhalingsaantal.
Oplossing: De engine comprimeert herhalings-toestanden. Voor grote herhalingsbereiken transformeert het de structuur naar een reeks van een basisregel die $t$ keer wordt herhaald, gevolgd door een gecomprimeerde toestand die het resterende bereik vertegenwoordigt. Dit begrenst het aantal toestanden tot een constante, ongeacht het herhalingslimiet, wat de cachegrootte en onzekerheid aanzienlijk verkleint.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd met datasets zoals BFCL-v3 en JSONSchemaBench, waarbij XGrammar-2 werd vergeleken met state-of-the-art engines (XGrammar, llguidance, Outlines) op diverse modellen (Qwen, Llama-serie).

Compilatiesnelheid: XGrammar-2 bereikt meer dan 6× snellere compilatie in vergelijking met eerdere engines voor gestructureerde generatie in dynamische settings. Terwijl XGrammar bijvoorbeeld >1000ms nodig had om dynamische grammatica's te compileren, behaalde XGrammar-2 ~10ms.
End-to-End Overhead: Het systeem kent near-zero end-to-end overhead in moderne LLM-serving-systemen. In functietoepassingsscenario's was de latentie-kloof tussen beperkte generatie (XGrammar-2) en onbeperkte generatie minder dan 6%.
Throughput: XGrammar-2 toonde een superieure token-throughput in vergelijking met XGrammar over verschillende batchgroottes en modelschalen (bijvoorbeeld 2,5× throughputverbetering op Llama-3.2-1B met batchgrootte 16).
Schalbaarheid: De geheugenoverhead van de cross-grammar cache blijft laag en schaalt met het totale aantal unieke gebruikte tools in plaats van het aantal aanvragen, waardoor geheugenexplosie in dynamische omgevingen wordt voorkomen.
Ablatie: Het verwijderen van JIT verhoogde de voorverwerkingstijd met 8,1×; het verwijderen van de Cross-Grammar Cache verhoogde de maskergeneratietijd aanzienlijk; Repetitie-toestandcompressie verlaagde de voorverwerkingstijd met 99,6× voor long-tail herhalingsgevallen.

Betekenis en Claims

Het paper claimt dat XGrammar-2 een noodzakelijke evolutie biedt voor LLM-serving-systemen om agentische toepassingen te ondersteunen. Door de verwerking van dynamische toolsets te ontkoppelen van statische grammatica-compilatie, maakt het mogelijk:

Betrouwbaarheid: Strikte handhaving van structurele validiteit (bijvoorbeeld OpenAI Harmony Response Format, tool-aanroepschema's) zonder te vertrouwen op post-hoc correctie.
Efficiëntie: Het vermogen om dynamische werklasten te bedienen met compilatie- en runtimekosten die vergelijkbaar zijn met statische werklasten.
Adoptie: De engine is geïntegreerd in open-source frameworks zoals SGLang en vLLM, wat de praktische haalbaarheid in inferentiesystemen van productiekwaliteit aantoont.

De auteurs positioneren XGrammar-2 niet als vervanging voor modeltrainingsmethoden, maar als een complementaire engine voor inferentietijd die kan worden gecombineerd met bestaande fine-tuning- of promptingstrategieën om robuuste, gestructureerde output in complexe agentscenario's te garanderen.