💬 NLP

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

Le papier présente StructEval, un benchmark complet évaluant la capacité des grands modèles de langage à générer des sorties structurées (comme JSON, HTML ou SVG) via des tâches de génération et de conversion, révélant des lacunes significatives dans la fidélité structurelle même des modèles les plus avancés.

Auteurs originaux : Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu

Publié 2026-04-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Grand Test de "La Boîte à Outils" des IA

Imaginez que les grands modèles de langage (comme ceux qui écrivent des poèmes ou répondent à vos questions) sont comme des super-cuisiniers. Jusqu'à présent, on les a surtout jugés sur la délicatesse de leurs plats (la qualité du texte, la créativité, la logique).

Mais dans le monde réel, un chef ne doit pas seulement faire un bon plat ; il doit aussi respecter scrupuleusement le format de la commande.

Si le client demande une liste d'ingrédients, le chef ne doit pas écrire un roman, mais une liste précise.
Si le client demande un menu visuel, le chef ne doit pas juste décrire le plat, mais dessiner le menu exactement comme demandé.

C'est là que StructEval intervient. C'est un nouveau "concours de cuisine" qui ne regarde pas seulement si le plat est bon, mais si le chef sait respecter la forme demandée.

📦 De quoi parle ce papier ?

Les chercheurs de l'Université de Waterloo ont créé un banc d'essai (un "benchmark") appelé StructEval. Leur but ? Vérifier si les IA sont capables de générer des sorties structurées.

On peut diviser ces tâches en deux catégories, comme deux types de commandes :

Les "Listes de Courses" (StructEval-T) :
- L'IA doit écrire du code ou des données dans des formats stricts comme JSON, YAML, CSV ou XML.
- L'analogie : C'est comme si on demandait à l'IA de remplir un formulaire administratif. Si elle met une virgule au mauvais endroit ou oublie une parenthèse, le formulaire est rejeté par la machine. C'est "non-réversible" : on ne peut pas le voir, on doit juste le lire par ordinateur.
Les "Dessins et Maquettes" (StructEval-V) :
- L'IA doit écrire du code pour créer quelque chose de visuel : une page web (HTML, React), un graphique (Matplotlib), ou un diagramme (SVG, Mermaid).
- L'analogie : Ici, l'IA est un architecte. On lui dit "Fais-moi une maison avec 3 fenêtres et une porte bleue". Elle doit non seulement écrire les plans, mais la maison construite doit ressembler exactement à ce qui a été demandé. Si la porte est rouge ou s'il n'y a que 2 fenêtres, c'est un échec.

🏆 Comment ont-ils jugé les candidats ?

Au lieu de demander à des humains de lire des milliers de lignes de code (ce qui serait trop long), ils ont créé un système de notation automatique très intelligent :

Le Test de Syntaxe : "Est-ce que le code fonctionne ?" (Comme vérifier si une clé tourne bien dans la serrure).
Le Test des Mots-Clés : "Est-ce que tous les éléments demandés sont là ?" (Comme vérifier sur une liste de courses si on a bien acheté le lait, les œufs et le pain).
Le Test Visuel (VQA) : Pour les dessins, ils utilisent une autre IA (qui a des "yeux") pour regarder l'image générée et répondre à des questions : "Combien de fenêtres y a-t-il ?", "Quelle est la couleur du toit ?".

📉 Les Résultats : Qui gagne ?

Le verdict est sans appel, mais il y a une surprise :

Même les meilleurs sont imparfaits : Les modèles les plus avancés (comme o1-mini d'OpenAI) obtiennent une moyenne d'environ 75/100. C'est bien, mais loin d'être parfait. Imaginez un élève qui rate 25 % de ses devoirs de mathématiques !
Le fossé entre les géants et les petits : Les modèles commerciaux (payants, comme GPT-4 ou Gemini) battent largement les modèles "Open Source" (gratuits, comme Llama ou Qwen). L'écart est d'environ 10 points. C'est comme si les pros avaient une meilleure équipe de cuisine que les amateurs.
La difficulté varie :
- C'est facile pour l'IA de faire une liste JSON simple ou une page HTML basique.
- C'est très dur pour elle de créer des diagrammes complexes (comme des graphiques scientifiques) ou de convertir un format bizarre vers un autre.
- Le plus dur ? Créer du contenu visuel correct. Il est plus difficile pour une IA de "dessiner" une page web parfaite que de simplement écrire un texte bien formaté.

💡 Pourquoi est-ce important ?

Aujourd'hui, on utilise de plus en plus l'IA pour construire des applications, des sites web et des bases de données. Si l'IA génère du code qui ne respecte pas la structure, tout le système peut s'effondrer.

Si un contrat juridique généré par IA a une mauvaise structure, il pourrait être illégal.
Si un site web généré par IA a un bouton mal placé, personne ne pourra l'utiliser.

StructEval nous dit : "Attention, nos IA sont brillantes pour parler, mais elles doivent encore apprendre à être des artisans précis." C'est un appel à améliorer ces modèles pour qu'ils deviennent de véritables assistants de développement, capables de construire des choses solides et fiables, pas juste de belles phrases.

En résumé

Ce papier nous dit que l'IA est comme un étudiant brillant mais parfois étourdi. Elle comprend très bien ce qu'on lui demande, mais elle a encore du mal à respecter les règles strictes de la "maçonnerie" numérique (les formats de fichiers et le code visuel). Le monde de demain a besoin d'IA qui ne se contentent pas de rêver, mais qui savent aussi construire sans faire d'erreurs de structure.

1. Problématique

Bien que les Grands Modèles de Langage (LLM) aient démontré des capacités exceptionnelles dans la génération de texte naturel, la résolution de problèmes de raisonnement et la génération de code, leur capacité à produire des sorties structurées fiables reste un défi critique pour les applications réelles.

Dans des domaines tels que le développement logiciel, les pipelines de données, la génération d'interfaces utilisateur et la publication scientifique, les modèles doivent souvent générer des formats stricts (JSON, YAML, XML, HTML, React, SVG, etc.) ou convertir un format structuré vers un autre. Une erreur de syntaxe ou de structure peut entraîner l'échec de l'exécution du code, la rupture de pipelines de données ou des rendus visuels incorrects.

Les benchmarks existants se concentrent principalement sur la qualité sémantique ou la capacité de raisonnement, ou se limitent à des modalités spécifiques (comme la génération de code pure). Il manque une évaluation holistique couvrant à la fois les structures textuelles non rendables et les structures visuelles rendables, avec des métriques automatisées robustes.

2. Méthodologie : StructEval

Les auteurs proposent StructEval, un benchmark complet conçu pour évaluer systématiquement les capacités des LLMs à générer des sorties structurées.

A. Composition du Dataset

Le dataset comprend 2 035 exemples répartis en 44 types de tâches couvrant 18 formats distincts. Il est divisé en deux sous-ensembles complémentaires :

StructEval-T (Text-only) : Évalue la génération de structures textuelles sans rendu visuel (ex: JSON, YAML, CSV, TOML, XML, Markdown).
StructEval-V (Visual) : Évalue la génération de code exécutable pour le rendu visuel (ex: HTML, React, SVG, Matplotlib, LaTeX, Mermaid, TikZ, Angular, Vue).

Chaque tâche est classée en deux catégories :

Génération : Produire une sortie structurée à partir d'une description en langage naturel.
Conversion : Traduire un format structuré vers un autre (ex: JSON vers YAML, HTML vers React).

B. Pipeline d'Annotation

Pour garantir la qualité et la diversité, les auteurs ont mis en place un pipeline en trois étapes (illustré dans la Figure 2 du papier) :

Curation des tâches : Définition des contraintes de format et des scénarios d'utilisation réelle.
Synthèse par LLM : Utilisation d'un LLM pour générer une première ébauche de requêtes et de métriques (mots-clés et paires Question-Réponse Visuelle).
Revue par des experts : Un processus de double validation humaine pour affiner les requêtes, corriger les erreurs et s'assurer de la faisabilité de l'évaluation.

C. Métriques d'Évaluation

L'évaluation repose sur une pipeline automatisée combinant trois scores :

Score de Syntaxe (Syntax Score) : Vérifie la validité syntaxique (parsing pour JSON/XML, rendu sans tête pour HTML/SVG). Score de 1 si valide, 0 sinon.
Score de Correspondance de Mots-clés (Keyword Matching) : Vérifie la présence d'éléments structurels attendus (clés, valeurs, hiérarchie) via des règles de chemin (dot-paths) et des expressions régulières.
Score de Question-Réponse Visuelle (VQA Score) : Uniquement pour StructEval-V. Un modèle Vision-Langage (VLM, ici GPT-4.1-mini) analyse l'image rendue pour répondre à des questions factuelles sur le contenu visuel (ex: "Quelle est la couleur du bouton ?", "Combien de lignes contient le tableau ?").

Le score final est une combinaison pondérée :

Pour StructEval-T : $Score = 0.2 \times Syntaxe + 0.8 \times Mots-clés$
Pour StructEval-V : $Score = 0.2 \times Syntaxe + 0.1 \times Mots-clés + 0.7 \times VQA$

3. Contributions Clés

Premier benchmark unifié couvrant à la fois les formats textuels (données) et visuels (rendu), avec une distinction claire entre génération et conversion.
Métriques hybrides innovantes : Combinaison de vérification syntaxique, de matching structurel et d'évaluation visuelle par VLM pour une mesure précise de la fidélité structurelle.
Couverture large : 18 formats allant des standards de données (JSON, CSV) aux langages de rendu complexes (TikZ, Mermaid, React).
Analyse approfondie des lacunes : Identification de tâches spécifiques où les modèles échouent, au-delà des moyennes globales.

4. Résultats Principaux

L'évaluation a porté sur 12 modèles, incluant des modèles open-source (Llama-3, Phi, Qwen) et commerciaux (GPT-4o, o1-mini, Gemini).

Performance Globale : Même les modèles les plus avancés comme o1-mini n'atteignent qu'un score moyen de 75,58. Le meilleur modèle open-source (Qwen3-4B) obtient 67,04, soit un écart d'environ 10 points avec les modèles commerciaux.
Génération vs Conversion : Les tâches de génération (Texte $\to$ Structure) sont généralement plus difficiles que les tâches de conversion (Structure $\to$ Structure).
Texte vs Visuel : La génération de contenu visuel correct (StructEval-V) est plus difficile que la génération de structures textuelles pures.
Écarts Modèles :
- Les modèles commerciaux surpassent systématiquement les modèles open-source, particulièrement sur les tâches de génération complexe.
- Phi-3-mini montre des performances faibles (40,79 %), principalement dues à des erreurs structurelles récurrentes (balises mal fermées, échec à capturer les relations hiérarchiques).
Tâches Saturées vs Difficiles :
- Saturées : JSON, HTML, Markdown (scores > 90 % pour la plupart des modèles).
- Difficiles : Text $\to$ TOML, Text $\to$ SVG, Text $\to$ Mermaid, et conversions comme Matplotlib $\to$ TikZ (scores souvent < 50 %).

5. Signification et Implications

L'article StructEval met en lumière que, malgré les progrès rapides des LLMs, la génération de sorties structurées fiables reste un goulot d'étranglement majeur pour leur adoption industrielle.

Fiabilité : Les erreurs de formatage ne sont pas de simples fautes de style ; elles rendent les sorties inutilisables dans des pipelines automatisés.
Biais de taille et de modèle : L'écart de performance entre les modèles commerciaux (souvent plus grands et mieux entraînés sur des données structurées) et les modèles open-source suggère que la maîtrise des schémas complexes nécessite des capacités de raisonnement et de mémorisation des règles syntaxiques que les petits modèles peinent à acquérir.
Futur de la recherche : Le benchmark fournit une base solide pour entraîner et affiner les futurs modèles, en ciblant spécifiquement les faiblesses identifiées (formats niche, rendus visuels complexes, conversions inter-langages).

En conclusion, StructEval établit un nouveau standard pour l'évaluation des capacités structurelles des LLMs, soulignant la nécessité d'améliorer la précision syntaxique et la fidélité visuelle pour débloquer le plein potentiel des modèles dans des applications logicielles réelles.