StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

1. Problema e Contesto

Nonostante i recenti progressi dei Large Language Models (LLM) nella generazione di testo fluido e nel ragionamento, molte applicazioni reali nel software development, nelle pipeline di dati e nella pubblicazione scientifica richiedono non solo coerenza semantica, ma anche rigoroso rispetto della struttura.
I modelli devono essere in grado di generare output in formati strutturati specifici (come JSON, YAML, XML, CSV, TOML) o codici renderizzabili visivamente (HTML, React, SVG, LaTeX, Mermaid, ecc.). Errori in questi output possono portare a pipeline interrotte o interfacce utente non funzionali.
Tuttavia, i benchmark esistenti si concentrano prevalentemente sulla qualità semantica o sul ragionamento logico, trascurando la capacità dei modelli di aderire a schemi complessi e di generare contenuti visivi corretti. Esistono lacune significative nella valutazione sistematica di queste capacità attraverso una vasta gamma di formati e modalità.

2. Metodologia: StructEval Dataset e Pipeline

Gli autori introducono StructEval, un benchmark completo progettato per valutare le capacità degli LLM nella generazione di output strutturati.

A. Composizione del Dataset

Il dataset comprende 2.035 esempi distribuiti su 44 tipi di task e 18 formati strutturati. È suddiviso in due sottoinsiemi principali:

• StructEval-T (Testo): Valuta la generazione di strutture non renderizzabili (es. JSON, XML, YAML, Markdown, CSV, TOML).
• StructEval-V (Visivo): Valuta la generazione di codice eseguibile per il rendering visivo (es. HTML, React, Matplotlib, Canvas, LaTeX, SVG, Mermaid, TikZ, Typst, Vega, Vue, Angular).

Ogni task è classificato in due categorie:

1. Generazione: Produzione di un output strutturato partendo da un prompt in linguaggio naturale.
2. Conversione: Trasformazione di un formato strutturato in un altro (es. da JSON a YAML, da HTML a React).

B. Pipeline di Annotazione

Per garantire qualità e diversità, è stata implementata una pipeline multi-fase:

1. Curation dei Task: Identificazione di scenari reali che coprono 18 formati.
2. Sintesi basata su LLM: Utilizzo di modelli linguistici per generare una prima bozza di query e metriche di valutazione (parole chiave e coppie domanda-risposta visive).
3. Revisione Esperta: Un processo di revisione umana in due passaggi (tramite Label Studio) per validare, correggere e perfezionare le query e le metriche, assicurando chiarezza e valutabilità.

C. Metriche di Valutazione

Il framework di valutazione è automatizzato e combina tre metriche principali:

1. Syntax Score: Verifica la validità sintattica (parsabilità per formati testo, rendering riuscito per formati visivi).
2. Keyword Matching Score: Valuta la presenza di elementi strutturali richiesti utilizzando percorsi "dot-path" (es. authors[0].name) e regole regex. Per i task di conversione, lo schema strutturale di input viene analizzato per generare le regole di corrispondenza.
3. VQA Score (Visual Question Answering): Specifico per StructEval-V. Dopo il rendering dell'immagine generata, un modello Vision-Language (VLM, GPT-4.1-mini) risponde a domande visive per verificare la correttezza del contenuto renderizzato (es. "Quante righe ha la tabella?", "Qual è il testo nell'header?").

Il punteggio finale è una combinazione ponderata:

• Per StructEval-T: $s = 0.2 \cdot \text{Syntax} + 0.8 \cdot \text{Keyword}$
• Per StructEval-V: $s = 0.2 \cdot \text{Syntax} + 0.1 \cdot \text{Keyword} + 0.7 \cdot \text{VQA}$

3. Risultati Sperimentali

Il benchmark è stato testato su 12 modelli, inclusi modelli open-source (Llama-3, Phi, Qwen) e commerciali (GPT-4o, o1-mini, Gemini).

• Performance Generale: Anche i modelli più avanzati mostrano limiti significativi. Il modello commerciale GPT-4o ottiene il punteggio medio più alto (76.02%), mentre il miglior modello open-source, Qwen3-4B, raggiunge il 67.04%, con un divario di circa 10 punti. Il modello o1-mini ottiene un punteggio medio di 75.58%.
• Generazione vs. Conversione: In generale, i task di conversione sono più semplici di quelli di generazione. Tuttavia, nei task di generazione strutturale (StructEval-T), i modelli commerciali superano nettamente quelli open-source, specialmente in formati complessi come TOML.
• Testo vs. Visivo: La generazione di contenuti visivi corretti (StructEval-V) è più difficile rispetto alla generazione di strutture testuali.
• Task Critici: Alcuni task risultano estremamente difficili per tutti i modelli (punteggi < 0.5), tra cui la generazione di **Text→Mermaid**, **Text→SVG**, **Text→TOML** e la conversione **Matplotlib→TikZ**. Al contrario, formati comuni come JSON e Markdown sono ormai saturi (punteggi > 0.95).
• Analisi degli Errori: I modelli open-source più piccoli (es. Phi-3-mini) falliscono frequentemente nella gestione di tag di chiusura errati e nelle relazioni gerarchiche complesse durante le conversioni.

4. Contributi Chiave

1. Benchmark Olistico: StructEval è il primo benchmark a coprire sistematicamente sia formati non renderizzabili che renderizzabili, unificando task di generazione e conversione.
2. Framework di Valutazione Ibrido: Introduce una metodologia che combina controllo sintattico, matching di parole chiave basato su percorsi strutturati e valutazione visiva tramite VQA, superando i limiti dei controlli puramente testuali.
3. Dataset Diversificato: La creazione di un dataset di alta qualità con 18 formati e 44 task, che include formati di nicchia ma espressivi (Typst, TikZ, Mermaid), offre una visione più completa delle capacità dei modelli.
4. Analisi delle Lacune: Dimostra empiricamente che, nonostante i progressi, esiste un divario significativo tra modelli commerciali e open-source nella generazione strutturata, e che la capacità di renderizzare contenuti visivi corretti rimane una sfida aperta.

5. Significato e Implicazioni

Il lavoro di StructEval evidenzia che la capacità di generare output strutturati è un collo di bottiglia critico per l'integrazione degli LLM nei flussi di lavoro reali (sviluppo software, automazione dati, UI generation).
I risultati suggeriscono che:

• I modelli attuali non sono ancora affidabili al 100% per compiti che richiedono una precisione strutturale rigorosa, specialmente in formati meno comuni o visivamente complessi.
• C'è un bisogno urgente di ottimizzare i modelli non solo per la coerenza semantica, ma per la conformità sintattica e strutturale.
• Il benchmark fornisce una base solida per guidare lo sviluppo futuro di modelli capaci di gestire schemi complessi e interazioni multimodali, essenziale per l'adozione degli LLM in ambienti produttivi dove gli errori di formato hanno costi elevati.

In sintesi, StructEval sposta il focus dalla semplice "intelligenza" del modello alla sua affidabilità operativa nella produzione di dati strutturati, fornendo gli strumenti necessari per misurare e migliorare questa capacità fondamentale.