💬 NLP

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

Die Arbeit stellt StructEval vor, ein umfassendes Benchmark zur Bewertung der Fähigkeit von Large Language Models, strukturierte Ausgaben in 18 verschiedenen Formaten zu generieren oder zu konvertieren, und zeigt dabei erhebliche Leistungsunterschiede zwischen den Modellen sowie die größere Schwierigkeit von Generierungs- und visuellen Aufgaben im Vergleich zu Konvertierungs- und rein textbasierten Aufgaben.

Ursprüngliche Autoren: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu

Veröffentlicht 2026-04-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen genialen Koch (das ist die KI oder das Large Language Model). Dieser Koch kann die köstlichsten Gerichte kochen, die wie echte Menschen schmecken. Er kann über alles reden, Witze erzählen und Rezepte erklären.

Aber es gibt ein Problem: Wenn du in einer echten Küche arbeitest, reicht es nicht, dass das Essen gut schmeckt. Es muss auch richtig serviert werden.

Wenn du eine Pizza bestellst, willst du nicht, dass der Koch sie einfach als Haufen Zutaten auf den Tisch wirft. Sie muss in einer runden Form sein, mit dem richtigen Rand.
Wenn du einen Burger bestellst, müssen die Zutaten in der richtigen Reihenfolge gestapelt sein (Bun, Patty, Salat, Bun), sonst fällt alles auseinander.
Wenn du eine Torte für eine Hochzeit willst, muss sie nicht nur lecker sein, sondern auch exakt so aussehen wie auf dem Foto, mit der richtigen Schriftart und den richtigen Dekorationen.

In der Welt der Computer nennt man diese „Servierregeln" strukturierte Ausgaben. Das können Dinge sein wie:

JSON oder CSV: Das sind wie strenge Listen oder Tabellen für Daten.
HTML oder React: Das sind die Baupläne für Webseiten, damit sie hübsch aussehen und funktionieren.
LaTeX oder SVG: Das sind Anweisungen für wissenschaftliche Dokumente oder Grafiken.

Das Problem: Der Koch ist verwirrt

Bisher haben wir nur getestet, ob der Koch das Essen schmackhaft macht (ob der Text Sinn ergibt). Aber wir haben selten geprüft, ob er die Pizza auch wirklich rund backt oder ob die Burger-Schichten sitzen.

Die Forscher von StructEval haben gesagt: „Halt! Wir müssen testen, ob unsere KIs auch die Form einhalten können."

Was ist StructEval?

Stell dir StructEval wie einen strengen Restaurantinspektor vor, der eine neue, riesige Prüfung für KI-Köche entwickelt hat.

Die Prüfung besteht aus zwei Teilen:
- Teil 1: Das „Text-Only"-Menü (StructEval-T): Hier muss die KI Listen, Tabellen oder Code-Blöcke schreiben, die perfekt formatiert sind. Stell dir vor, die KI soll eine Einkaufsliste schreiben, die genau so aussieht wie eine Excel-Tabelle. Wenn ein Komma fehlt oder eine Zeile falsch ist, ist die Note schlecht.
- Teil 2: Das „Visuelle"-Menü (StructEval-V): Hier muss die KI Code schreiben, der sich in ein Bild verwandelt. Die KI soll sagen: „Hier ist der Code für eine Webseite," und dann muss die KI (oder ein Computer) diesen Code tatsächlich in ein Bild umwandeln. Wenn die KI sagt „Hier ist ein roter Button", muss der Button im Bild auch wirklich rot sein und an der richtigen Stelle stehen.
Die Aufgaben:
- Erstellen (Generation): Die KI bekommt einen Auftrag wie „Schreib mir eine Liste von Planeten" und muss sie perfekt formatieren.
- Umwandeln (Conversion): Die KI bekommt eine Liste in einem Format (z. B. eine Excel-Tabelle) und muss sie in ein anderes Format (z. B. eine JSON-Datei) umschreiben, ohne dass etwas kaputtgeht.

Was haben sie herausgefunden? (Die Ergebnisse)

Der Restaurantinspektor hat viele Köche getestet, von kleinen, kostenlosen Köchen (Open-Source-Modelle) bis hin zu den teuersten, berühmtesten Köchen der Welt (wie GPT-4o oder o1-mini).

Die großen Köche sind gut, aber nicht perfekt: Selbst der beste KI-Koch der Welt (o1-mini) hat nur eine 75,58 von 100 Punkten erreicht. Das klingt hoch, aber in der Welt der KI bedeutet das: „Du kannst das Essen kochen, aber manchmal fällt der Teller runter."
Der Abstand ist groß: Die kostenlosen, kleinen Köche (Open Source) lagen etwa 10 Punkte hinter den teuren Köchen zurück. Sie machen öfter Fehler in der Struktur.
Das Schwierigste: Es ist viel schwerer, etwas zu erschaffen (z. B. eine neue Webseite aus dem Nichts zu bauen) als etwas zu übersetzen (z. B. eine Excel-Tabelle in eine andere Sprache zu schreiben).
Die Hürde: Besonders schwierig war es für die KIs, Dinge zu zeichnen, die man sieht (wie Diagramme oder Webseiten), im Vergleich zu reinen Text-Listen.

Warum ist das wichtig?

Stell dir vor, du programmierst eine App, die Bankdaten verarbeitet. Wenn die KI die Daten nicht in das exakte Format schreibt, das die Bank braucht, funktioniert die App nicht. Oder wenn du eine Webseite bauen willst und die KI den Code falsch formatiert, sieht die Seite auf dem Handy kaputt aus.

StructEval zeigt uns also: Unsere KIs werden immer klüger beim Reden, aber sie müssen noch viel üben, um ordentliche Handwerker zu werden, die ihre Arbeit sauber und strukturiert ausführen.

Kurz gesagt: Die KIs können jetzt gut reden, aber sie müssen noch lernen, ihre Hausaufgaben ordentlich abzuschreiben, damit die Lehrer (oder Computer) sie verstehen können.

1. Problemstellung

Große Sprachmodelle (LLMs) haben in den letzten Jahren enorme Fortschritte bei der Generierung von natürlichem Text und beim Lösen von reasoning-Aufgaben erzielt. Dennoch fehlt es bestehenden Benchmarks oft an einer umfassenden Bewertung der Fähigkeit von Modellen, strukturierte Ausgaben zu generieren. Viele reale Anwendungen (Softwareentwicklung, Datenpipelines, UI-Generierung, wissenschaftliches Publizieren) erfordern nicht nur semantische Korrektheit, sondern eine strikte Einhaltung spezifischer Syntax- und Strukturformate (z. B. JSON, YAML, HTML, React, SVG).

Bestehende Evaluierungen konzentrieren sich entweder nur auf Textstrukturen oder nur auf Code-Generierung, bieten aber keine ganzheitliche Analyse über diverse Formate hinweg. Zudem ist die Evaluierung schwierig aufgrund von:

Datensammlung: Hoher Bedarf an Domänenwissen für diverse Formate.
Metrik-Komplexität: Unterschiedliche Bewertungsansätze für textbasierte Strukturen (Syntax-Check) und visuelle Ausgaben (Rendering-Korrektur).
Technische Hürden: Notwendigkeit einer Integration verschiedener Interpreter und Visualisierungstools.

2. Methodik: StructEval

Die Autoren stellen StructEval vor, einen umfassenden Benchmark, der die Fähigkeiten von LLMs zur Generierung strukturierter Ausgaben systematisch bewertet.

Datenaufbau

Der Datensatz umfasst 2.035 Beispiele mit 44 verschiedenen Aufgabentypen über 18 Formate. Er ist in zwei Haupt-Subsets unterteilt:

StructEval-T (Text-only): Bewertung der Generierung nicht-renderbarer Formate (JSON, XML, YAML, Markdown, CSV, TOML).
StructEval-V (Visual): Bewertung der Generierung von Code, der visuell gerendert werden muss (HTML, React, SVG, Mermaid, LaTeX, Matplotlib, TikZ, etc.).

Jede Aufgabe wird als Generierung (Natürlichsprache $\to$ Struktur) oder Konvertierung (Struktur A $\to$ Struktur B) kategorisiert.

Annotations-Pipeline

Um hohe Qualität zu gewährleisten, wurde eine mehrstufige Pipeline entwickelt:

Task-Curation: Definition von 44 spezifischen Aufgaben über verschiedene Formate.
LLM-basierte Synthese: Ein LLM generiert initiale Beispiele, Abfragen und Evaluationsmetriken (Schlüsselwörter und Visual Question Answering-Paare).
Expert Review: Zwei Durchgänge menschlicher Überprüfung (Validierung und Konsistenzprüfung) mittels LabelStudio.
Qualitätssicherung: Eine Stichprobe der VQA-Fragen wurde von Experten als „fair" (beantwortbar nur durch das Bild) bewertet (88,92 % Fairness-Rate).

Evaluierungs-Framework

Die Bewertung erfolgt automatisch durch ein dreistufiges Metrik-System:

Syntax Score ( $s_s$ ): Prüft die syntaktische Validität (Parsing für Textformate, Headless-Rendering für visuelle Formate). Wert: 1 (gültig) oder 0 (ungültig).
Keyword Matching Score ( $s_k$ ): Prüft das Vorhandensein erforderlicher Strukturelemente (Schlüsselwörter, verschachtelte Pfade, Attributwerte) mittels Dot-Path-Notation und Regex.
VQA Score ( $s_v$ ): (Nur für StructEval-V) Ein Vision-Language-Model (GPT-4.1-mini) beantwortet visuelle Fragen zum gerenderten Bild, um die semantische und visuelle Korrektheit zu prüfen.

Gesamtscore-Berechnung:

Für StructEval-T: $s = 0,2 \cdot s_s + 0,8 \cdot s_k$
Für StructEval-V: $s = 0,2 \cdot s_s + 0,1 \cdot s_k + 0,7 \cdot s_v$

3. Wichtige Beiträge

Erster umfassender Benchmark: StructEval ist einer der ersten Benchmarks, der sowohl nicht-renderbare als auch renderbare Formate sowie Generierungs- und Konvertierungsaufgaben in einem einheitlichen Framework abdeckt.
Neue Metriken: Einführung eines hybriden Evaluierungsansatzes, der Syntax-Checks, Schlüsselwort-Matching und visuelle Frage-Antwort-Paare kombiniert.
Diverse Formatabdeckung: Inklusion von Nischenformaten wie Typst, Mermaid und TikZ, die über gängige Web- und Datenformate hinausgehen.
Öffentliches Dataset: Bereitstellung eines hochwertigen, manuell geprüften Datensatzes mit 2.035 Beispielen.

4. Ergebnisse

Die Evaluation umfasste 12 Modelle (Open-Source und kommerziell) in einem Zero-Shot-Setting.

Gesamtleistung: Selbst die besten Modelle erreichen keine perfekten Scores. Das führende kommerzielle Modell GPT-4o erzielt einen Durchschnittsscore von 76,02 %.
Open-Source vs. Kommerziell: Es besteht eine signifikante Lücke. Das beste Open-Source-Modell (Qwen3-4B) erreicht 67,04 % (ca. 9 Punkte hinter GPT-4o). Das schlechteste Modell (Phi-3-mini) liegt bei nur 40,79 %.
Generierung vs. Konvertierung: Generierungsaufgaben (Text $\to$ Struktur) sind generell schwieriger als Konvertierungsaufgaben (Struktur $\to$ Struktur).
Text vs. Visual: Die Generierung von Code für korrekte visuelle Inhalte (StructEval-V) ist schwieriger als die Generierung rein textbasierter Strukturen (StructEval-T).
Format-spezifische Schwierigkeiten:
- Einfache Aufgaben: JSON, HTML, CSV und Markdown werden von fast allen Modellen gut beherrscht (Scores > 90 %).
- Schwierige Aufgaben: Formate wie TOML, SVG, Mermaid und TikZ stellen auch die fortschrittlichsten Modelle vor große Herausforderungen (oft Scores < 50 %).
- Besonders auffällig ist die schlechte Leistung bei der Konvertierung von CSV zu JSON oder YAML zu XML bei kleineren Modellen.

5. Bedeutung und Ausblick

StructEval zeigt auf, dass aktuelle State-of-the-Art-Modelle zwar in der Lage sind, einfache strukturierte Daten zu generieren, aber bei komplexen, verschachtelten oder visuell anspruchsvollen Formaten noch erhebliche Defizite aufweisen.

Praktische Relevanz: Da strukturierte Ausgaben essenziell für die Integration von LLMs in Software-Workflows (APIs, Datenbanken, Frontend-Code) sind, ist die Verbesserung dieser Fähigkeiten kritisch für den praktischen Einsatz.
Forschungsrichtung: Die Ergebnisse deuten darauf hin, dass zukünftige Modelle mehr Training und Optimierung benötigen, um komplexe Schemata und visuelle Logik zu internalisieren.
Limitationen: Der Benchmark konzentriert sich derzeit auf statische, nicht-interaktive Ausgaben. Dynamisches Verhalten (Interaktionen, Animationen) wird noch nicht evaluiert.

Zusammenfassend liefert StructEval ein dringend benötigtes Werkzeug, um die Lücken in den Fähigkeiten von LLMs zur strukturierten Datengenerierung zu identifizieren und die Entwicklung robusterer Modelle für reale Anwendungen voranzutreiben.