PlotChain: Deterministic Checkpointed Evaluation of Multimodal LLMs on Engineering Plot Reading

1. Definición del Problema

La práctica de la ingeniería depende críticamente de la interpretación de gráficos técnicos (como curvas de Bode, respuestas al escalón, diagramas de tensión-deformación, curvas de bombas, etc.) para validar diseños y diagnosticar sistemas. Aunque existen benchmarks para la comprensión de gráficos generales, estos presentan limitaciones significativas para la ingeniería:

• Falta de especificidad: Se centran en gráficos de infografía genéricos en lugar de familias de gráficos de ingeniería canónicos.
• Ausencia de "Ground Truth" auditable: Muchos benchmarks dependen de tablas de datos subyacentes o anotaciones humanas, lo que introduce ruido y no garantiza que la respuesta sea consistente con el renderizado visual real.
• Evaluación de "caja negra": La mayoría evalúa solo la respuesta final, sin aislar si el error proviene de la lectura visual (percepción) o del razonamiento matemático posterior.

El objetivo de PlotChain es llenar esta brecha proporcionando un entorno de evaluación determinista para modelos de lenguaje grandes multimodales (MLLMs) que requiera recuperar valores cuantitativos precisos de gráficos de ingeniería, diferenciando entre errores de percepción y errores de razonamiento.

2. Metodología y Diseño del Benchmark

Generación Determinista

PlotChain no utiliza gráficos reales escaneados ni anotaciones manuales. En su lugar, emplea un generador congelado que:

• Mapea parámetros conocidos (semilla, familia, índice) a un gráfico renderizado (PNG).
• Calcula la verdad fundamental (ground truth) directamente desde los mismos parámetros de generación utilizando fórmulas analíticas y numéricas explícitas.
• Esto elimina el ruido de anotación y permite una verificación exacta.

Estructura del Dataset

• Cobertura: 15 familias de gráficos de ingeniería (ej. respuesta al escalón, magnitud/fase de Bode, espectro FFT, curvas I-V, tensión-deformación, etc.).
• Volumen: 450 ítems en total (30 por familia).
• Dificultad: Los ítems se distribuyen en tres niveles: limpio (40%), moderado (30%) y borde (30%). Los niveles "borde" eliminan ayudas visuales (líneas de cuadrícula, marcas de eje) para simular desafíos de lectura realistas, pero mantienen la legibilidad humana.
• Formato: Cada ítem consiste en una imagen, una pregunta en lenguaje natural y un esquema de salida JSON estricto que requiere valores numéricos.

Evaluación con Puntos de Control (Checkpointing)

La contribución metodológica central es la introducción de campos de diagnóstico intermedio (cp_*):

• Además del objetivo final (ej. "ancho de banda"), el modelo debe predecir valores intermedios (ej. "frecuencia de corte", "magnitud en el pico").
• Esto permite localizar fallos: ¿El modelo falló al leer el gráfico o falló al calcular la derivación matemática a partir de la lectura correcta?
• Protocolo de Evaluación: Se utiliza temperatura = 0 (decodificación determinista) y un esquema de salida JSON estricto. La puntuación se basa en tolerancias numéricas (absolutas y relativas) diseñadas para reflejar la precisión humana al leer gráficos, en lugar de una coincidencia exacta de cadenas.

3. Contribuciones Clave

1. Benchmark de Gráficos de Ingeniería Determinista: Un conjunto de datos generado proceduralmente con verdad fundamental exacta derivada de parámetros, no de OCR o anotación.
2. Diagnóstico Basado en Puntos de Control: Campos intermedios (cp_*) que descomponen la tarea en sub-habilidades verificables, permitiendo una atribución fina de errores (percepción vs. razonamiento).
3. Protocolo de Evaluación Estandarizado: Uso de decodificación determinista, esquemas JSON estrictos y políticas de tolerancia alineadas con la lectura humana.
4. Reproducibilidad Total: Liberación del generador, datos, salidas crudas de los modelos y scripts de puntuación con checksums, permitiendo re-evaluaciones sin volver a consultar las APIs.

4. Resultados Experimentales

Se evaluaron cuatro modelos de vanguardia: Gemini 2.5 Pro, GPT-4.1, Claude Sonnet 4.5 y GPT-4o.

• Rendimiento General (Tasa de Aprobación Estricta por Ítem):

  • Gemini 2.5 Pro: 72.0% (Líder).
  • GPT-4.1: 68.4%.
  • Claude Sonnet 4.5: 61.3%.
  • GPT-4o: 32.4% (Significativamente inferior).
  • Nota: En la tasa de aprobación a nivel de campo (valores individuales), los tres modelos líderes se agrupan entre el 78% y el 80%, pero la métrica estricta (todos los campos de un ítem correctos) revela diferencias mayores debido a errores compuestos.

• Análisis por Familia de Gráficos:

  • Alto Rendimiento: Familias con estructuras geométricas claras o lecturas únicas, como curvas I-V de resistores (100% de éxito para todos) y magnitud de Bode.
  • Cuellos de Botella: Las tareas de dominio de frecuencia y cantidades derivadas siguen siendo difíciles. La respuesta de banda de paso tiene tasas muy bajas (≤23%) y el espectro FFT sigue siendo desafiante (25-50%). Esto indica que pequeños errores en lecturas intermedias invalidan los resultados derivados bajo criterios estrictos.

• Diagnóstico de Puntos de Control:

  • Modelos como GPT-4o y Claude tienden a tener mejor rendimiento en campos de control (lectura intermedia) que en campos finales, sugiriendo dificultades en la derivación multi-paso.
  • Gemini 2.5 Pro y GPT-4.1 muestran mayor robustez en los campos finales, indicando menos errores de propagación.

• Compensación Latencia-Accuracia:

  • GPT-4.1 ofrece un buen equilibrio con baja latencia (~2s).
  • Gemini 2.5 Pro tiene la mayor precisión pero alta latencia (~20s).
  • GPT-4o es rápido pero poco preciso en esta tarea.

5. Significado e Impacto

• Herramienta de Diagnóstico: PlotChain no solo clasifica modelos, sino que identifica dónde fallan (percepción visual vs. razonamiento matemático), guiando el desarrollo futuro de MLLMs.
• Superación del "Ruido" de Evaluación: Al eliminar la ambigüedad de la verdad fundamental mediante generación determinista, establece un estándar de oro para la evaluación de capacidades cuantitativas visuales.
• Relevancia para la Ingeniería: Demuestra que, aunque los modelos de vanguardia pueden leer gráficos individuales con alta precisión, aún luchan con la consistencia en tareas complejas que requieren múltiples lecturas y derivaciones, un requisito crítico en aplicaciones de ingeniería reales.
• Reproducibilidad: El enfoque en la liberación de artefactos y scripts fomenta la transparencia y permite la comparación justa y la re-evaluación bajo diferentes políticas de tolerancia.

En conclusión, PlotChain establece un nuevo paradigma para la evaluación de MLLMs en tareas de razonamiento visual cuantitativo, destacando que la precisión en la lectura de gráficos de ingeniería sigue siendo un desafío abierto, especialmente en tareas que involucran dominios de frecuencia y cálculos derivados.