Resumen Técnico: DIAGFLOWBENCH

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) se están implementando cada vez más como sistemas de asesoría de mantenimiento, fundamentados en documentación procedimental (por ejemplo, diagramas de flujo) para restringir las salidas a pasos aprobados y prevenir la alucinación. Si bien los benchmarks existentes evalúan la capacidad de un modelo para seguir estos procedimientos con entradas limpias y mapeables, no abordan un factor crítico del mundo real: los operadores frecuentemente se desvían de la ruta documentada. En la práctica, los operadores reportan síntomas novedosos, plantean preguntas a mitad de la inspección o utilizan una jerga específica del dominio que no se mapea limpiamente con los bordes del procedimiento.

Los paradigios de evaluación actuales tratan el reconocimiento de "fuera de procedimiento" como una tarea de abstención separada de un solo turno. Sin embargo, en un diálogo de diagnóstico en vivo, un modelo debe avanzar simultáneamente a través de turnos conformes y reconocer entradas no conformes dentro de la misma conversación. El artículo argumenta que los benchmarks existentes no evalúan adecuadamente la capacidad de un modelo fundamentado para manejar estas entradas "fuera de procedimiento", particularmente el riesgo de que un modelo seleccione un paso real pero contextualmente inapropiado en lugar de fabricar un hecho.

Metodología

Los autores introducen DIAGFLOWBENCH, un benchmark diseñado para evaluar modelos fundamentados en diagramas de flujo bajo condiciones cooperativas y fuera de procedimiento.

Construcción del Conjunto de Datos

• Fuente: 50 diagramas de flujo de diagnóstico industrial anonimizados de un fabricante de consumo, que cubren clases de fallas como el seguimiento de cintas transportadoras y la colocación robótica.
• Estructura: Los grafos contienen entre 7 y 60 nodos (media de 31) con factores de ramificación de decisión de 2 a 4.
• Conversaciones: Estos diagramas de flujo fueron renderizados en 1,676 conversaciones de múltiples turnos.
  • Cooperativa: 838 conversaciones donde el operador sigue estrictamente el procedimiento.
  • Mixta: 838 conversaciones donde se inyectan turnos fuera de procedimiento en posiciones no terminales.
• Categorías de Inyección: Las entradas fuera de procedimiento están estratificadas en tres tipos según su relación con el procedimiento:
  1. Brecha de Cobertura (Coverage Gap): Un síntoma para el cual el procedimiento no tiene una rama.
  2. Mal funcionamiento No Documentado (Undocumented Malfunction): Una falla fuera de cualquier condición de rama en el nodo actual.
  3. Pregunta No Relacionada (Unrelated Question): Una consulta totalmente ajena a la tarea de diagnóstico.
• Perturbación de Ruido: Una pasada de robustez introduce errores tipográficos, frases telegráficas y abreviaturas características del texto de las órdenes de trabajo de mantenimiento.

Protocolo de Evaluación

El estudio evalúa diez modelos comerciales y de pesos abiertos (incluyendo variantes de Gemini, GPT-4o, Llama 4, Qwen3, Mistral y Nemotron). La evaluación define modos de falla específicos para los turnos fuera de procedimiento:

• Abstención Correcta (CA): El modelo reconoce que la entrada está fuera de alcance y declina o redirige.
• Fabricación (FA): El modelo devuelve un paso ausente del procedimiento (alucinación estándar).
• Mapeo Forzado (FM): El modelo devuelve un nodo genuino del grafo del procedimiento, pero ningún borde hacia ese nodo es entrelazado por la expresión del operador. Este es el modo de falla central investigado.

Las métricas incluyen Precisión de Paso (SA) y Reconocimiento de Terminación (TR) para los turnos dentro de procedimiento, y las tasas de CA, FA y FM para los turnos fuera de procedimiento. Un juez de modelo de lenguaje (Claude Haiku) clasifica las respuestas fuera de procedimiento, validado contra anotadores humanos.

Contribuciones Clave

1. Conjunto de Datos DIAGFLOWBENCH: Un conjunto de datos de 50 diagramas de flujo industriales convertido en 1,676 conversaciones de múltiples turnos que contrastan explícitamente diálogos conformes con contrapartes fuera de procedimiento.
2. Evaluación Exhaustiva: Una evaluación de diez modelos diversos en categorías comerciales y de pesos abiertos, analizando el desempeño a través de diferentes arquitecturas y escalas.
3. Identificación del "Mapeo Forzado": El artículo identifica y define un modo de falla específico donde los modelos asignan forzosamente una consulta fuera de procedimiento a un paso inaplicable. A diferencia de la fabricación, estos pasos son estructuralmente válidos y están fundamentados en el manual, lo que los hace difíciles de detectar mediante verificaciones de fundamentación basadas en similitud estándar.

Resultados

• Competencia Dentro de Procedimiento: Los modelos generalmente se desempeñan bien en entradas conformes, con una Precisión de Paso (SA) que oscila entre el 70.1% y el 85.0%. Sin embargo, el Reconocimiento de Terminación (TR) es significativamente más volátil (del 38.8% al 98.5%).
• Competencia Fuera de Procedimiento:
  • La Fabricación (FA) es baja: La fundamentación evita con éxito que los modelos inventen pasos (tasas de FA entre 2.2% y 8.6%).
  • El Mapeo Forzado (FM) es dominante: Las tasas de FM son sustancialmente más altas y volátiles (15.7% a 67.4%), emergiendo como el principal modo de falla.
  • La Abstención es inconsistente: Las tasas de Abstención Correcta (CA) varían ampliamente y no son predichas de manera confiable por la escala del modelo, la arquitectura o el nivel de acceso. Notablemente, modelos más antiguos (Llama 3.3 70B) a veces superan a las generaciones más nuevas (Llama 4) en el manejo fuera de procedimiento.
• Recuperación: Un solo error de FM o FA causa un colapso catastrófico en el desempeño subsecuente. La tasa de recuperación (identificar correctamente el siguiente paso después de un fallo) cae entre el 1.0% y el 9.1%, en comparación con la línea base del 70–85% para conversaciones limpias.
• Impulsores de FM: El mapeo forzado está fuertemente gobernado por la similitud léxica entre la consulta fuera de procedimiento y el texto del procedimiento. Los modelos tienen más probabilidades de forzar el mapeo de entradas de "Brecha de Cobertura" (que comparten vocabulario con el manual) que de preguntas no relacionadas.

Significado y Reivindicaciones

El artículo sostiene que los mecanismos de restricción diseñados para prevenir la alucinación (fundamentar los modelos en un conjunto cerrado de pasos procedimentales) pueden crear inadvertidamente un "punto ciego". Al forzar a los modelos a seleccionar de un conjunto válido de nodos, el sistema puede camuflar errores contextuales como pasos válidos.

Los autores argumentan que:

1. La confiabilidad no puede inferirse de bajas tasas de FA: Un modelo con bajas tasas de fabricación aún puede ser altamente poco confiable debido a altas tasas de mapeo forzado.
2. Las salvaguardas estándar son insuficientes: Debido a que los pasos de FM son trazables al manual y estructuralmente válidos, evaden la detección de alucinación estándar.
3. La evaluación debe medir la seguridad ante el fallo: Evaluar sistemas de asesoría requiere medir no solo el cumplimiento, sino qué tan seguro falla un modelo cuando la realidad diverge del manual.
4. La selección de modelos no es una solución definitiva: Ni la escala del modelo ni una arquitectura orientada al razonamiento predicen definitivamente la confiabilidad fuera de procedimiento; en algunos casos, los modelos de razonamiento exhiben una tendencia inusualmente baja a abstenerse.

El estudio concluye que un despliegue robusto requiere capas de verificación externas capaces de evaluar la implicación contextual, en lugar de confiar únicamente en modelos generativos para distinguir entre entradas ambiguas y genuinamente fuera de procedimiento.