💬 NLP

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

El artículo presenta StructEval, un benchmark integral que evalúa la capacidad de los modelos de lenguaje grandes para generar y convertir diversos formatos estructurados, revelando brechas significativas en el rendimiento incluso en los modelos más avanzados.

Autores originales: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu

Publicado 2026-04-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que las Inteligencias Artificiales (como los modelos de lenguaje o LLMs) son como chefas de cocina muy talentosas. Hasta ahora, hemos estado impresionados por lo bien que pueden escribir recetas, contar historias o explicar conceptos complejos. Pero, en el mundo real, a veces no solo queremos que nos digan qué ingredientes usar, sino que nos entreguen la lista de compras perfectamente organizada en una hoja de cálculo, o que nos dibujen el plano de la cocina en un formato que el contratista pueda entender.

Aquí es donde entra StructEval.

¿Qué es StructEval?

Piensa en StructEval como un examen de cocina muy estricto. No le preguntamos al chef: "¿Qué harías si tuvieras huevos?". Le decimos: "Aquí tienes una lista de ingredientes desordenada. Ahora, escríbela en un formato JSON perfecto, o dibújala como un gráfico SVG, o conviértela de una hoja de cálculo a un código HTML".

El problema es que, aunque las IAs son geniales hablando, a menudo fallan cuando tienen que seguir reglas de formato estrictas. Si un chef te da una receta, pero te dice "pon un poco de sal" en lugar de "3 gramos de sal", la receta no funciona. Con las IAs, si el formato no es perfecto (por ejemplo, falta una coma en un código JSON), el programa se rompe y no sirve para nada.

Los dos tipos de pruebas del examen

Los creadores de este examen dividieron las pruebas en dos grandes categorías, como si fueran dos tipos de cocina:

La Cocina de Texto (StructEval-T): Aquí, la IA tiene que escribir datos organizados. Imagina que le pides que convierta una historia en una tabla de Excel, o que tome una lista de compras y la convierta en un archivo JSON (un formato que usan las computadoras para hablar entre ellas).
- La analogía: Es como pedirle a un escritor que no solo escriba una carta, sino que la escriba en un formato de código de barras específico que una máquina pueda leer.
La Cocina Visual (StructEval-V): Aquí, la IA tiene que escribir código que se "dibuje" en la pantalla. Le pides que cree una página web (HTML), un gráfico de barras (Matplotlib) o un diagrama de flujo (Mermaid).
- La analogía: Es como pedirle al chef que no solo te diga cómo se ve el pastel, sino que escriba el código para que un robot lo hornee y lo presente visualmente. Si el código tiene un error, el robot quema el pastel o lo deja ladeado.

¿Cómo se califica? (El sistema de puntuación)

Antes, los exámenes de IA eran como un profesor que solo leía la respuesta y decía: "Suena bien". Con StructEval, es como un inspector de calidad con una lupa y un escáner:

El Escáner de Sintaxis: Primero, comprueba si el código está "bien escrito". ¿Hay paréntesis cerrados? ¿Faltan comas? Si el código no se puede abrir, reprueba automáticamente.
El Buscador de Palabras Clave: Luego, revisa si incluyó lo que pediste. Si dijiste "necesito una lista de 3 autores", el sistema busca si hay exactamente 3 nombres.
El Ojo Humano (Simulado): Para las partes visuales (como una página web), usan otra IA muy avanzada (como un "ojos de robot") que mira la imagen generada y hace preguntas: "¿El título dice 'Viaje'? ¿Hay 3 filas en la tabla?". Si la imagen no coincide con lo que se pidió, baja la nota.

¿Qué descubrieron? (Los resultados)

Los resultados del examen fueron reveladores, como cuando descubres que tu mejor amigo es genial cocinando, pero se le quema el arroz si no lo vigila:

Todavía hay mucho que aprender: Incluso las IAs más famosas y potentes (como las de OpenAI o Google) obtuvieron un promedio de 75.58 sobre 100. Eso significa que, aunque son buenas, todavía cometen errores importantes en formatos complejos.
La brecha entre "Pro" y "Amateur": Las IAs de pago (como las de OpenAI) suelen ir un paso adelante de las versiones de código abierto (gratuitas). Es como la diferencia entre un chef con estrella Michelin y un chef talentoso de un restaurante local; ambos son buenos, pero el primero es más consistente en tareas difíciles.
Crear es más difícil que transformar: A las IAs les cuesta más inventar una estructura desde cero (decirte "dame una página web sobre gatos") que convertir algo que ya existe (decirte "cambia esta página web de HTML a React").
Lo visual es el gran reto: Hacer que el código se vea bien en la pantalla (como un gráfico o una web) es mucho más difícil que solo escribir texto ordenado. Es como si el chef pudiera escribir la receta perfecta, pero cuando intenta hornear el pastel, este sale chueco.

¿Por qué importa esto?

Hoy en día, las IAs se usan para construir aplicaciones, analizar datos científicos y crear interfaces de usuario. Si la IA no puede generar un formato estructurado perfecto, todo el sistema falla.

StructEval es como un mapa de ruta para los ingenieros. Les dice: "Oigan, aquí es donde fallan. Necesitan entrenar más en formatos como SVG o Mermaid". Es un paso crucial para que, en el futuro, podamos pedirle a una IA: "Crea una app completa para mí", y que no solo nos dé un texto bonito, sino el código real, organizado y listo para funcionar.

En resumen: StructEval nos recuerda que para que las IAs sean verdaderamente útiles en el mundo real, no basta con que sean buenas conversadoras; deben ser excelentes organizadoras y constructoras de datos.

1. El Problema

A pesar de los avances significativos en la generación de texto natural y el razonamiento por parte de los Modelos de Lenguaje Grande (LLMs), existe una brecha crítica en su capacidad para generar salidas estructuradas con alta fidelidad. Muchas aplicaciones del mundo real (desarrollo de software, pipelines de datos, generación de interfaces de usuario y publicación científica) requieren que el modelo no solo sea semánticamente correcto, sino que estrictamente respete formatos sintácticos específicos (JSON, YAML, XML, HTML, React, SVG, etc.).

Los desafíos principales identificados son:

Falta de Benchmarks Integrales: Las evaluaciones existentes se centran en la calidad semántica o en tareas de código específicas, pero carecen de una cobertura amplia que abarque tanto formatos no renderizables (datos) como renderizables (visuales).
Complejidad de Evaluación: Es difícil diseñar métricas unificadas para evaluar tanto la corrección estructural de datos (ej. JSON anidado) como la fidelidad visual de código (ej. HTML que se renderiza correctamente).
Barreras Técnicas: Crear un marco que soporte la ejecución y validación en múltiples entornos de renderizado y lenguajes de programación es complejo.

2. Metodología: StructEval

Los autores presentan StructEval, un benchmark exhaustivo diseñado para evaluar sistemáticamente la capacidad de los LLMs para generar y convertir formatos estructurados.

A. Diseño del Dataset

El dataset consta de 2,035 ejemplos distribuidos en 44 tipos de tareas que cubren 18 formatos distintos. Se divide en dos subconjuntos complementarios:

StructEval-T (Texto): Evalúa la generación de estructuras de texto sin renderizado (JSON, XML, YAML, Markdown, CSV, TOML).
StructEval-V (Visual): Evalúa la generación de código ejecutable para renderizado visual (HTML, React, Matplotlib, Canvas, LaTeX, SVG, Mermaid, TikZ, etc.).

Cada tarea se clasifica en dos paradigmas:

Generación: Convertir una descripción en lenguaje natural a un formato estructurado.
Conversión: Traducir un formato estructurado a otro (ej. JSON a YAML, HTML a React).

B. Pipeline de Anotación

Para garantizar la calidad, se utilizó un pipeline de tres etapas:

Curación de Tareas: Definición de restricciones de formato y reglas de conversión.
Síntesis Basada en LLM: Uso de un LLM para generar un conjunto inicial de consultas y métricas (palabras clave y pares Pregunta-Respuesta Visual).
Revisión de Expertos: Un proceso de doble paso donde expertos humanos validan y refinan las consultas, asegurando claridad y completitud. Se utilizó Label Studio para la anotación.

C. Métricas de Evaluación

El marco de evaluación utiliza un enfoque automatizado que combina tres métricas principales:

Puntuación de Sintaxis ( $s_s$ ): Verifica si el código es válido (parseo exitoso para datos) o si se renderiza correctamente (para visuales). Puntuación binaria (0 o 1).
Puntuación de Coincidencia de Palabras Clave ( $s_k$ ): Evalúa la presencia de elementos estructurales requeridos (nombres de campos, valores, atributos) utilizando rutas de puntos (dot-path) y expresiones regulares.
Puntuación de Pregunta-Respuesta Visual (VQA) ( $s_v$ ): Exclusiva para StructEval-V. Un modelo de visión (VLM, GPT-4.1-mini) analiza la imagen renderizada para responder preguntas sobre el contenido visual (ej. "¿Cuántas filas tiene la tabla?").

Cálculo de la Puntuación Final:

Para tareas de texto (T): $s = 0.2 \cdot s_s + 0.8 \cdot s_k$
Para tareas visuales (V): $s = 0.2 \cdot s_s + 0.1 \cdot s_k + 0.7 \cdot s_v$

3. Contribuciones Clave

Primer Benchmark Unificado: StructEval es la primera evaluación que cubre simultáneamente formatos de datos (no renderizables) y de código visual (renderizables) con un marco de métricas automatizado.
Métricas Híbridas: Introduce un sistema de evaluación que integra validación sintáctica, coincidencia de estructura y verificación visual mediante VLMs, superando las limitaciones de los benchmarks anteriores que dependían de la verificación humana o solo de sintaxis plana.
Análisis de Brechas de Desempeño: Proporciona una visión granular de dónde fallan los modelos actuales, diferenciando entre capacidades de generación y conversión, y entre formatos simples y complejos.

4. Resultados Principales

Se evaluaron 12 modelos, incluyendo opciones de código abierto (Llama-3, Phi, Qwen) y comerciales (GPT-4o, o1-mini, Gemini).

Rendimiento General: Incluso los modelos más avanzados tienen dificultades. GPT-4o obtuvo la puntuación promedio más alta (76.02%), seguido por o1-mini (75.58%).
Brecha Open-Source vs. Propietario: Los modelos comerciales superan consistentemente a los de código abierto. El mejor modelo de código abierto, Qwen3-4B, obtuvo 67.04%, quedando aproximadamente 10 puntos porcentuales por detrás de los líderes comerciales.
Generación vs. Conversión:
- En general, los modelos rinden mejor en tareas de conversión que en generación.
- Sin embargo, en tareas de generación de texto (StructEval-T), los modelos comerciales muestran una ventaja significativa sobre los de código abierto.
Dificultad por Formato:
- Fácil: Formatos comunes como JSON, HTML, CSV y Markdown tienen puntuaciones altas (>90% en muchos casos).
- Difícil: Formatos complejos o menos frecuentes como TOML, SVG, Mermaid, TikZ y Vega presentan puntuaciones muy bajas (a menudo <50% para todos los modelos).
- La generación de contenido visual correcto es significativamente más difícil que la generación de estructuras de texto.
Análisis de Errores: Se identificaron fallos recurrentes en modelos pequeños (como Phi-3) relacionados con etiquetas de cierre malformadas y la incapacidad de capturar relaciones jerárquicas en conversiones complejas (ej. CSV a JSON).

5. Significado e Impacto

El trabajo de StructEval es fundamental para el futuro de la integración de LLMs en flujos de trabajo de ingeniería de software y ciencia de datos.

Diagnóstico Preciso: Revela que, aunque los LLMs son excelentes en tareas de texto plano, aún luchan con la rigidez sintáctica y la complejidad estructural requerida para aplicaciones reales.
Dirección para la Investigación: Sugiere que los futuros modelos deben optimizarse específicamente para la adherencia a esquemas complejos y la generación de código visual, no solo para la coherencia semántica.
Herramienta de Evaluación: Proporciona a la comunidad una herramienta estandarizada y automatizada para medir el progreso en la generación de salidas estructuradas, un componente crítico para la automatización de tareas técnicas.

En conclusión, StructEval demuestra que la capacidad de generar estructuras complejas y renderizables sigue siendo un cuello de botella importante para los LLMs actuales, marcando una nueva dirección para el desarrollo de modelos más robustos y fiables en entornos de producción.