Diagnosing CFG Interpretation in LLMs

Probleemstelling

Naarmate Large Language Models (LLMs) steeds vaker worden geïntegreerd in agentische systemen (zoals tool-calling en API-orkestratie), moeten ze outputs genereren die voldoen aan strikt gedefinieerde, machine-interpreteerbare interfaces. Deze interfaces worden vaak dynamisch gedefinieerd via een Context-Free Grammar (CFG) in de prompt.

De kernvraag van dit onderzoek is: Kunnen LLMs fungeren als "in-context grammatica-interpretatoren"? Dat wil zeggen: gegeven een nieuwe en onbekende CFG, kunnen ze outputs genereren die niet alleen syntactisch correct zijn, maar ook functioneel juist en semantisch trouw aan de bedoelde logica?

Huidige modellen vertonen vaak oppervlakkige vloeiheid, maar het is onduidelijk of ze de formele logica van een grammatica daadwerkelijk internaliseren of slechts oppervlakkige patronen uit hun pre-training herinneren. In real-world toepassingen is "bijna correct" onvoldoende; een enkele syntactische fout of logische misalignement kan leiden tot catastrofale uitvoeringsfouten.

Methodologie: ROBOGRID Framework

De auteurs introduceren ROBOGRID, een diagnostisch framework dat grammatica-interpretatie ontrafelt in drie lagen en gebruikmaakt van gecontroleerde stress-tests.

1. Omgeving: ROBOGRID is een deterministische grid-world waarin een robot objecten moet manipuleren. De instructies worden gegeven in een specifieke CFG (gespecificeerd via EBNF).
2. Drie-evaluatielagen:
   • Syntactische Validiteit (SVR): Voldoet de output aan de productieregels van de CFG?
   • Gedrags-equivalentie (BER): Bereikt de uitgevoerde code het beoogde doel (bijv. de juiste eindpositie van de robot)?
   • Semantische Correctheid (SCR): Is de gegenereerde Abstract Syntax Tree (AST) structureel identiek aan de grond-waarheid (ground-truth)? Dit is de strengste maatstaf.
3. Controleerbare Variabelen: Het framework synthetiseert data met variaties in:
   • Recursiediepte (D): Hoe diep geneste loops en conditionals.
   • Expressiecomplexiteit (E): Complexiteit van geneste wiskundige en booleaanse predicaten.
   • Oppervlakte-stijl: Verschillende syntactische formaten (Block, C-style, S-expr).
   • Lexicale Familiariteit: De introductie van "Alien" lexicons, waarbij bekende sleutelwoorden (zoals loop, if) worden vervangen door ondoorzichtige tokens (bijv. v_xkqm). Dit forceert het model om puur op de gegeven grammatica te vertrouwen in plaats van op semantische priors uit de training.
4. Taken:
   • Grammaticaliteitsbeoordeling (VALID/INVALID).
   • Doel-geconditioneerde generatie (code schrijven voor een specifiek doel).
   • Instructie-naar-code generatie (vertalen van natuurlijke taal naar code).

Belangrijkste Bijdragen

1. ROBOGRID Benchmark: Een nieuw diagnostisch benchmark dat gebruikmaakt van een drie-laags evaluatiehiërarchie om fouten in structureel redeneren lokaal te identificeren.
2. Formalisatie van In-Context Interpretatie: Het verschuiven van de evaluatiefocus van oppervlakkig patroonherkenning naar formele regel-inductie voor nieuwe grammatica's.
3. Karakterisering van Operationele Grenzen: Het blootleggen van de enorme kloof tussen syntactische adherentie en semantische uitlijning in state-of-the-art (SOTA) LLMs.

Resultaten en Bevindingen

De experimenten, uitgevoerd op diverse modellen (Qwen, DeepSeek, GPT-5, etc.), tonen een consistente hiërarchische degradatie aan: SCR < BER < SVR.

• Syntaxis vs. Semantiek: Modellen kunnen vaak syntactisch geldige code genereren (hoge SVR), maar falen om de onderliggende logica correct uit te voeren (lage BER en SCR). Zelfs bij sterke modellen daalt de semantische correctheid drastisch naarmate de complexiteit toeneemt.
• Invloed van Recursiediepte: Er is een scherpe, niet-lineaire afname in prestaties naarmate de recursiediepte toeneemt. Bij een diepte van 20 zakt de semantische correctheid (SCR) bijna tot 0%, terwijl de syntactische validiteit nog enigszins overeind blijft.
• Effect van "Alien" Lexicons: Wanneer bekende sleutelwoorden worden vervangen door onbekende tokens, stort de prestatie in. Dit bewijst dat LLMs sterk afhankelijk zijn van semantisch bootstrapping (het raden van betekenis op basis van bekende woorden) in plaats van puur symbolische inductie op basis van de gegeven regels.
• Chain-of-Thought (CoT): CoT is essentieel voor het behalen van enige prestatie bij nieuwe grammatica's. Zonder CoT zijn de resultaten verwaarloosbaar. Echter, zelfs met CoT en Few-Shot prompting, kunnen modellen de structurele complexiteit van diepe recursie niet volledig aan.
• Foutpatronen:
  • Syntactische broosheid: Fouten in delimiters en scope.
  • Gedragsmisalignement: Logische omkeringen of voortijdige beëindiging van uitvoering.
  • Semantische drift: Het model "echot" logica of vereenvoudigt geneste expressies te vroeg, waardoor het resultaat functioneel lijkt maar structureel incorrect is.

Betekenis en Conclusie

De studie concludeert dat huidige LLMs fundamenteel beperkt zijn in hun vermogen om diepe hiërarchische staten te volgen en formele regels te internaliseren zonder steun van semantische priors. Hoewel ze oppervlakkig kunnen voldoen aan grammaticale regels, falen ze bij het handhaven van logische trouw in complexe, diep geneste structuren.

Dit heeft grote implicaties voor de betrouwbaarheid van agentische systemen:

1. Betrouwbaarheid: "Almost correct" is onacceptabel voor machine-interpreteerbare interfaces.
2. Toekomstige Richting: Er is een noodzaak voor mechanismen die verder gaan dan oppervlakkige prompt-engineering. Er zijn robuuste methoden nodig voor symbolische inductie en state-tracking die onafhankelijk zijn van semantische kennis uit de training.
3. Beperkingen: Het huidige onderzoek gebruikt gesynthetiseerde data; toekomstig werk moet kijken naar de interactie tussen natuurlijke taal ambiguïteit en strikte formele interfaces in real-world scenario's.

Kortom, hoewel LLMs indrukwekkend zijn in taalverwerking, missen ze momenteel de robuustheid die nodig is om als betrouwbare, grammatica-onafhankelijke interpreten te fungeren in kritieke, dynamische systemen.