💬 NLP

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

Dit paper introduceert StructEval, een uitgebreide benchmark die de prestaties van grote taalmodellen evalueert bij het genereren van diverse gestructureerde outputformaten via generatie- en conversietaken, waarbij de resultaten aanzienlijke prestatiekloven tussen state-of-the-art en open-source modellen aantonen.

Oorspronkelijke auteurs: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu

Gepubliceerd 2026-04-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat Large Language Models (LLMs) zoals GPT-4 of Llama niet alleen slimme praters zijn, maar ook bouwmeesters. Tot nu toe hebben we vooral gekeken of ze mooie verhalen kunnen vertellen of moeilijke vragen kunnen beantwoorden. Maar in de echte wereld, in softwareontwikkeling en data-analyse, is het vaak niet genoeg om gewoon "iets" te zeggen. Je hebt precieze blauwdrukken nodig.

Deze paper introduceert StructEval, een nieuwe test die kijkt of deze AI's echt kunnen bouwen volgens de regels, en niet alleen maar klinken alsof ze het kunnen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Leuke Verhaaltjes" vs. De "Strakke Bouwplaat"

Stel je voor dat je een architect vraagt om een huis te ontwerpen.

De oude test: De architect schrijft een prachtig gedicht over het huis. Het klinkt mooi, maar als je erin gaat wonen, vallen de muren in elkaar omdat de balken niet op de juiste plek zitten.
De nieuwe test (StructEval): We vragen de architect niet om een gedicht, maar om een exacte bouwtekening in een specifieke taal (zoals JSON, HTML of React). De muren moeten op de centimeter precies staan, en de deur moet op de juiste plek zitten. Als de AI ook maar één haakje verkeerd zet, is het hele huis onbewoonbaar.

De auteurs zeggen: "Onze huidige AI's zijn geweldig in het schrijven van gedichten, maar ze struikelen vaak over de bouwplaten."

2. Wat is StructEval? De "Superkeuring"

StructEval is een enorme testbank met 44 verschillende soorten taken en 18 verschillende bouwstijlen (formaten). Het is verdeeld in twee hoofdkamers:

De "Stille" Kamer (StructEval-T): Hier moet de AI tekstuele data omzetten in strakke lijsten en tabellen, zoals JSON, YAML of CSV.
- Vergelijking: Het is alsof de AI een recept moet omzetten in een perfecte, gestructureerde boodschappenlijst. Als je "2 eieren" schrijft in plaats van "2", of de lijst niet alfabetisch sorteert, faalt de test.
De "Visuele" Kamer (StructEval-V): Hier moet de AI code schrijven die direct zichtbaar wordt, zoals HTML, React, SVG of LaTeX.
- Vergelijking: De AI moet niet alleen zeggen "maak een rode knop", maar daadwerkelijk de code schrijven zodat de knop op het scherm verschijnt, rood is, en op de juiste plek staat. Als de knop grijs is of uit het beeld valt, is het een mislukking.

3. Hoe testen ze dit? De "Twee-Deurs" Methode

De test kijkt op twee manieren of de AI het goed doet:

De Vertaaltaak (Conversion): Je geeft de AI een bestaande bouwplaat in het Nederlands en vraagt: "Zet dit om naar Engels."
- Resultaat: Dit gaat vaak goed. Het is als een tolk die een bestaand verhaal vertaalt.
De Creatie-taak (Generation): Je zegt: "Bouw een huis met een rode deur en een blauwe tuin."
- Resultaat: Dit is veel moeilijker. De AI moet zelf de blauwdruk bedenken. Hier zakken de meeste AI's door de bodem.

De "Visuele Vraagbaan" (VQA):
Voor de visuele taken gebruiken ze een slimme truc. Ze laten de gegenereerde code een plaatje maken, en dan sturen ze een andere AI (een "visuele detective") om vragen te stellen over dat plaatje.

Vraag: "Hoeveel rijen heeft de tabel?"
Antwoord: "3".
Check: Kijkt de detective naar het plaatje en ziet hij 3 rijen? Zo ja, goed gedaan! Zo nee, de AI heeft gelogen.

4. De Resultaten: De "Gouden Medaille" is nog ver weg

De test heeft 12 verschillende AI-modellen getest, van de goedkoopste open-source modellen tot de duurste, slimste commerciële modellen (zoals OpenAI's o1-mini).

De top: Zelfs de allerbeste AI (o1-mini) haalde maar 75,58 punten op 100. Dat klinkt hoog, maar in de wereld van software betekent 25 punten fouten vaak dat een hele website crasht.
De kloof: De beste open-source modellen (zoals Qwen3) zaten ongeveer 10 punten lager dan de dure commerciële modellen. Het is alsof de dure modellen een Ferrari hebben en de open-source modellen een fiets, terwijl ze beide dezelfde race moeten rijden.
De moeilijkste taken: Het bouwen van complexe diagrammen (zoals Mermaid of TikZ) of het omzetten van specifieke dataformaten (zoals CSV naar YAML) was voor bijna niemand goed te doen. Het was alsof je de AI vroeg om een kathedraal te bouwen terwijl ze net leren hoe je een huisje van blokken maakt.

5. Waarom is dit belangrijk?

Vandaag de dag gebruiken bedrijven AI om code te schrijven, data te verwerken en websites te bouwen. Als die AI's niet perfect kunnen bouwen volgens de regels, ontstaan er:

Websites die niet werken.
Data-pipelines die vastlopen.
Fouten in financiële rapporten.

Conclusie:
De auteurs zeggen met deze paper: "We moeten stoppen met alleen te kijken of AI's leuk praten. We moeten kijken of ze nuttig kunnen bouwen." De huidige AI's zijn nog niet klaar voor de zware bouwklus, maar met deze nieuwe test (StructEval) weten we precies waar ze moeten oefenen.

Kortom: StructEval is de rijbewijstest voor AI's om te zien of ze echt kunnen autorijden, en niet alleen maar toeteren.

Titel: StructEval: Benchmarking van de Vaardigheden van LLM's om Gestructureerde Outputs te Genereren

1. Het Probleem

Grote Taalmodellen (LLM's) hebben aanzienlijke vooruitgang geboekt in het genereren van mensachtige tekst en het uitvoeren van NLP-taken. Echter, veel real-world toepassingen (zoals softwareontwikkeling, datapiplines en UI-generatie) vereisen niet alleen semantische vlotheid, maar ook precieze controle over de structuur van de output.

LLM's moeten vaak output genereren in specifieke formaten zoals JSON, YAML, XML, CSV, of renderbare formaten zoals HTML, React, SVG en LaTeX.
Bestaande benchmarks richten zich voornamelijk op semantische kwaliteit of redeneervermogen, maar missen een systematische evaluatie van de structuurgetrouwheid (structural fidelity) over diverse formaten.
Er is een gebrek aan benchmarks die zowel tekstuele structuren (niet-renderbaar) als visuele rendering (renderbaar) omvatten, en die zowel generatie- als conversietaken testen.

2. Methodologie: StructEval Dataset

De auteurs introduceren StructEval, een uitgebreide benchmark die de capaciteit van LLM's om gestructureerde output te genereren, systematisch evalueert.

Dataset Samenstelling:
- 2.035 voorbeelden verdeeld over 44 taaktypes en 18 verschillende formaten.
- De dataset is onderverdeeld in twee subsets:
  1. StructEval-T: Beoordeelt het genereren van tekstuele structuren zonder rendering (bijv. JSON, YAML, TOML, XML, CSV, Markdown).
  2. StructEval-V: Beoordeelt het genereren van uitvoerbare code voor visuele rendering (bijv. HTML, React, SVG, Mermaid, Matplotlib, LaTeX, TikZ, Typst).
- Taahtypes:
  - Generatie: Omzetten van natuurlijke taal naar een gestructureerd formaat.
  - Conversie: Omzetten van het ene gestructureerde formaat naar een ander (bijv. JSON naar YAML).
Annotatie Pipeline:
- Een multi-stadia proces bestaande uit taakcuratie, synthese door een LLM (voor het genereren van initiële queries en metrics), en een twee-pass expert review om kwaliteit en juistheid te garanderen.
- Elke taak wordt geassocieerd met een set sleutelwoorden (keywords) en, voor visuele taken, Visual Question Answering (VQA) paren.
Evaluatiemetrics:
De evaluatie gebruikt een geautomatiseerde pipeline met drie kernmetrics:
1. Syntax Score: Controleert of de output syntactisch geldig is (bijv. via Python-parsers voor JSON/YAML of headless renderers voor HTML/SVG). Score: 1 (geldig) of 0 (ongeldig).
2. Keyword Matching Score: Evalueert of de vereiste structurele elementen aanwezig zijn. Voor tekstuele taken wordt gebruikgemaakt van dot-path referenties (bijv. authors[0].name) om geneste hiërarchieën te controleren.
3. VQA Score (alleen voor StructEval-V): Na het renderen van de output, wordt een Vision-Language Model (VLM, specifiek GPT-4.1-mini) gebruikt om een reeks visuele vragen te beantwoorden over de gegenereerde afbeelding. Dit controleert of de visuele inhoud overeenkomt met de specificaties.
De finale score is een gewogen som:
- Voor StructEval-T: $s = 0.2 \cdot s_{syntax} + 0.8 \cdot s_{keyword}$
- Voor StructEval-V: $s = 0.2 \cdot s_{syntax} + 0.1 \cdot s_{keyword} + 0.7 \cdot s_{VQA}$

3. Belangrijkste Resultaten

De benchmark is uitgevoerd op een reeks open-source en commerciële modellen (o.a. GPT-4o, o1-mini, Llama-3, Qwen3, Phi-3/4).

Algemene Prestaties:
- Zelfs de state-of-the-art modellen presteren niet perfect. GPT-4o behaalt de hoogste gemiddelde score van 76.02%.
- De beste open-source model, Qwen3-4B, scoort 67.04%, wat ongeveer 10 punten lager is dan de beste commerciële modellen.
- o1-mini scoort gemiddeld 75.58%, wat aantoont dat zelfs geavanceerde redeneringsmodellen moeite hebben met complexe structurele constraints.
Generatie vs. Conversie:
- Over het algemeen zijn generatietaken (van tekst naar structuur) moeilijker dan conversietaken (van structuur naar structuur).
- Commerciële modellen presteren significant beter op generatietaken binnen StructEval-T, terwijl het gat kleiner is bij conversietaken.
Tekst vs. Visueel:
- Het genereren van code die correcte visuele content produceert (StructEval-V) is moeilijker dan het genereren van tekst-only structuren.
- Modellen worstelen met specifieke, complexe formaten zoals TOML, SVG, Mermaid en TikZ. Sommige taken (zoals Text→Mermaid) hebben scores onder de 50% voor alle modellen.
Open-source vs. Commercieel:
- Er is een duidelijk prestatiegap tussen commerciële en open-source modellen, vooral bij generatietaken. Commerciële modellen profiteren van grotere parametergroottes en betere multimodale capaciteiten.

4. Bijdragen

Uitgebreide Benchmark: StructEval is de eerste benchmark die zowel niet-renderbare (data-serialisatie) als renderbare (visuele) formaten omvat, met een focus op 18 formaten en 44 taaktypes.
Robuste Evaluatie Framework: De introductie van een hybride evaluatie die syntactische validatie, keyword-matching via dot-paths en visuele verificatie (VQA) combineert. Dit lost het probleem op van het evalueren van visuele output zonder menselijke tussenkomst.
Gedetailleerde Analyse: Het paper biedt diepgaande inzichten in de specifieke zwaktes van huidige LLM's, zoals het handhaven van geneste hiërarchieën in conversietaken en het genereren van complexe diagrammen.
Open Data: De dataset en evaluatiecode zijn openbaar gemaakt om verdere research te stimuleren.

5. Betekenis en Toekomstperspectief

StructEval benadrukt dat hoewel LLM's uitstekend zijn in tekstgeneratie, er nog een aanzienlijke kloof bestaat in het betrouwbaar genereren van strakke, gestructureerde output die direct bruikbaar is in software-ontwikkelingsworkflows.

Impact: De resultaten tonen aan dat huidige modellen nog niet volledig betrouwbaar zijn voor kritieke toepassingen waar structuurgetrouwheid essentieel is (bijv. het genereren van configuratiebestanden of UI-componenten zonder handmatige correctie).
Toekomst: De auteurs pleiten voor toekomstige modellen die meer aandacht besteden aan het internaliseren van syntaxregels en hiërarchische schema-relaties. Ook wordt voorgesteld om de benchmark uit te breiden naar interactieve en dynamische rendering (bijv. animaties, knopinteracties), wat nu nog beperkt is tot statische weergave.

Samenvattend biedt StructEval een cruciale maatstaf voor de volgende generatie LLM's, waarbij de focus verschuift van "wat zegt het model?" naar "hoe goed past het model zich aan de vereiste structuur aan?".