Human-Centered Evaluation of an LLM-Based Process Modeling Copilot: A Mixed-Methods Study with Domain Experts

Este estudio de métodos mixtos con expertos en dominio evalúa un copiloto de modelado de procesos basado en LLM, revelando una tensión crítica entre una usabilidad aceptable y una baja confianza debido a problemas de fiabilidad y calidad de salida, lo que subraya la necesidad de evaluaciones centradas en el humano que complementen las pruebas automatizadas.

Lo esencial

Imagina que tienes un asistente de cocina muy inteligente (una Inteligencia Artificial) al que puedes pedirle que prepare un plato complejo, como un "pastel de cumpleaños con capas de chocolate". Tú le das las instrucciones en voz normal, y él intenta dibujar el plano del pastel para que un pastelero lo haga.

Este artículo de investigación es como una reunión de críticos gastronómicos (expertos en procesos de negocio) que probaron a este asistente para ver si realmente sirve en una cocina profesional.

Aquí tienes la explicación de lo que descubrieron, usando analogías sencillas:

1. El Problema: ¿Es el asistente un buen ayudante?

Los investigadores querían saber si una Inteligencia Artificial (IA) podía ayudar a crear diagramas de procesos de negocio (que son como mapas de cómo funciona una empresa) solo con escuchar descripciones de texto.

Hicieron una prueba con 5 expertos (gente que sabe mucho de estos mapas). No les preguntaron solo "¿funciona?", sino "¿te fías de él?".

2. Lo que salió bien: El "Sabor" de la experiencia

• La analogía: El asistente es amable y fácil de usar. Es como un camarero que te saluda con una sonrisa, te da el menú y te explica cómo pedir.
• El resultado: A los expertos les gustó la interfaz. Era intuitivo, no se trababa y parecía fácil de usar. Si solo miráramos la "facilidad de uso", el asistente tendría una nota de 67 sobre 100 (bastante buena).

3. Lo que salió mal: La "Confianza" en el plato

• La analogía: Aquí está el truco. Aunque el camarero es muy amable, no te fías de que el pastel que te va a traer esté bien hecho. ¿Y si le falta azúcar? ¿Y si quema el horno?
• El resultado: La confianza fue muy baja (48 sobre 100). Los expertos dijeron: "Es fácil de usar, pero no confío en que el dibujo que hace sea correcto".
  • El mayor miedo: La fiabilidad. A veces, el asistente hacía cosas que no tenían sentido o se olvidaba de partes importantes del proceso.

4. Los problemas específicos (Los "Sabores Raros")

Los expertos encontraron varios problemas al intentar cocinar con este asistente:

• El "Dilema de la Receta" (Prompting Paradox): Sabes que puedes pedirle que haga un pastel, pero no sabes exactamente cómo pedirlo para que salga bien. Si das muchas instrucciones, se confunde; si das pocas, olvida cosas. Es como intentar dar instrucciones a un chef que no sabe cocinar: si no eres muy específico, el resultado es un desastre.
• El "Corte en Trozos" (Chunking): Para que el asistente no se maree con un proceso largo, los expertos tuvieron que dividir la receta en trozos pequeños y dársela paso a paso. Esto cansa mucho la mente (carga cognitiva), porque tienes que recordar en qué parte del pastel estabas.
• Falta de preguntas: Si le dices "haz un pastel", el asistente no te pregunta "¿con o sin nueces?". Asume cosas y te da un pastel que quizás no querías. Un buen asistente debería preguntar: "¿Estás seguro de que quieres esto?".
• Reglas del restaurante: A veces, el asistente usaba ingredientes o técnicas que la empresa no permite (como usar un tenedor en lugar de una cuchara). No seguía las reglas estrictas de la empresa.

5. ¿Para qué sirve entonces? (Los usos imaginados)

A pesar de los problemas, los expertos vieron un futuro brillante si se arreglan estos detalles. Imaginaron 5 formas de usarlo:

1. El "Borrador Rápido": Para gente que no es experta en dibujar mapas, pero necesita un primer boceto para empezar.
2. El "Inspector de Calidad": Usar la IA para revisar los mapas que ya existen y decir: "Oye, aquí hay un error".
3. El "Traductor de Bocetos": Poder tomar una foto de un dibujo hecho a mano en una servilleta y convertirlo en un mapa digital.
4. El "Experto Interno": Entrenar a la IA con los documentos de tu propia empresa para que hable el "idioma" de tu negocio.
5. El "Consultor de Mejoras": Que la IA no solo dibuje, sino que diga: "Oye, este proceso es muy lento, ¿por qué no lo cambiamos así?".

6. La Conclusión Final

La lección principal del estudio es esta: No basta con que una IA sea "técnicamente buena" o que sus dibujos sean correctos al 100% en una prueba de computadora.

Para que los profesionales la usen en el trabajo real, necesitan confiar en ella. Si la IA es amable pero hace errores, nadie la usará.

En resumen: Tienen un asistente muy simpático y fácil de hablar, pero aún necesita aprender a ser más preciso, a hacer preguntas cuando no entiende, y a seguir las reglas de la casa. Solo cuando los expertos confíen plenamente en sus "platos", este asistente será realmente útil.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Evaluación Centrada en el Humano de un Copiloto de Modelado de Procesos Basado en LLM: Un Estudio de Métodos Mixtos con Expertos del Dominio

1. Problema de Investigación

La integración de Modelos de Lenguaje Grande (LLM) en herramientas de Gestión de Procesos de Negocio (BPM) promete democratizar el modelado de procesos (BPMN) para no expertos. Sin embargo, las evaluaciones actuales se centran casi exclusivamente en benchmarks automatizados que miden la calidad sintáctica, semántica y pragmática de los modelos generados.

El problema identificado es la falta de una evaluación centrada en el humano que aborde factores críticos como la confianza, la usabilidad real y la alineación con las prácticas profesionales. Existe un riesgo de que, aunque los modelos sean técnicamente correctos, los expertos no confíen en ellos o encuentren barreras cognitivas (como el "foso de ejecución" en la formulación de prompts) que impidan su adopción efectiva en entornos laborales.

2. Metodología

Los autores realizaron un estudio de métodos mixtos para evaluar "KICoPro", un prototipo de copiloto conversacional basado en LLM para generar y refinar modelos BPMN.

• Participantes: 5 expertos en modelado de procesos (todos de la misma organización), con experiencia profesional significativa en BPMN y familiaridad con sistemas de chatbot. La muestra se seleccionó deliberadamente entre expertos (no novatos) para identificar sutilezas de calidad y necesidades de integración en el flujo de trabajo.
• Diseño del Estudio:
  1. Kickoff Remoto (1 hora): Introducción a la herramienta y captura de expectativas iniciales.
  2. Exploración Práctica (2 semanas): Los participantes modelaron procesos con descripciones textuales de complejidad variable y realizaron modificaciones iterativas.
  3. Grupo Focal Presencial (3.5 horas): Discusión semiestructurada sobre usabilidad, calidad del modelo BPMN, limitaciones y casos de uso.
  4. Cuestionarios Estandarizados:
     • Chatbot Usability Questionnaire (CUQ): Para medir la usabilidad percibida (escala 0-100).
     • Trust Scale for the AI Context (TAI): Adaptado para medir la confianza en sistemas de IA (escala 0-100%).
     • Evaluación de Calidad Específica: Cuestionario de 8 ítems sobre la calidad del modelo BPMN generado.
• Análisis: Se utilizaron estadísticas descriptivas para los datos cuantitativos (dado el tamaño de muestra pequeño, $n=5$) y análisis temático (según Braun y Clarke) para los datos cualitativos.

3. Contribuciones Clave

• Identificación de la Brecha Usabilidad-Confianza: Demostración empírica de que una interfaz fácil de usar no garantiza la confianza en la fiabilidad de los resultados para uso profesional.
• Marco de Evaluación Híbrido: Propuesta de que la evaluación de agentes de modelado con LLM debe combinar benchmarks automatizados con evaluación centrada en el humano para capturar la experiencia real del usuario.
• Descubrimiento de Estrategias de Afrontamiento: Identificación de cómo los expertos desarrollan estrategias (como la "fragmentación" o chunking) para compensar las limitaciones del modelo, lo que paradójicamente aumenta su carga cognitiva.
• Definición de Casos de Uso y Limitaciones: Delimitación clara de escenarios donde la herramienta es útil (ej. borradores iniciales) versus donde falla (ej. procesos complejos largos o modificaciones precisas).

4. Resultados Principales

Cuantitativos:

• Usabilidad (CUQ): Puntuación media de 67.2/100, ligeramente por debajo del umbral de referencia (68). Los usuarios encontraron la interfaz intuitiva y fácil de usar, pero hubo incertidumbre sobre la transparencia del sistema y la gestión de errores.
• Confianza: Puntuación media de 48.8%, significativamente por debajo del umbral aceptable sugerido (60%).
• Calidad de la Tarea: Puntuación media de 54.4%, con una alta variabilidad.
• Hallazgo Crítico: La fiabilidad fue la dimensión de confianza más baja (Media: 1.8/5), indicando que los expertos no podían depender consistentemente de la corrección de los outputs.

Cualitativos (7 Temas Principales):

1. Paradoja del Prompting: La interfaz es intuitiva, pero los usuarios no saben cómo formular prompts efectivos para obtener resultados útiles (foso de ejecución).
2. Latencia de Respuesta: Los tiempos de espera interrumpen el flujo cognitivo y la iteración rápida necesaria en el modelado profesional.
3. Calidad Variable del Output: Los modelos generados a menudo son insuficientes, especialmente con descripciones largas, capturando solo subconjuntos del proceso.
4. Estrategia de Fragmentación (Chunking): Los usuarios se ven obligados a dividir sus procesos en partes pequeñas para obtener mejores resultados, lo que incrementa la carga cognitiva.
5. Modificaciones Imprecisas: Las solicitudes de modificación a menudo fallan o introducen conexiones no deseadas; faltan elementos BPMN clave (como carriles o anotaciones).
6. Diálogo de Aclaración Ausente: El LLM no hace preguntas aclaratorias ante entradas ambiguas, asumiendo suposiciones implícitas en lugar de dialogar, lo cual es vital en el modelado profesional.
7. Violación de Convenciones: El sistema no respeta estándares BPMN 2.0 ni convenciones específicas de la organización (ej. etiquetado), lo cual es crítico para la consistencia empresarial.

Casos de Uso Envisionados:
Los expertos propusieron 5 escenarios: soporte a expertos de dominio (no modeladores), agente de aseguramiento de calidad, conversión de imágenes/bocetos a BPMN, despliegue local integrado con el portafolio de procesos de la empresa, y optimización de procesos.

5. Significado e Implicaciones

El estudio concluye que la evaluación puramente técnica es insuficiente para la adopción de herramientas de IA en dominios profesionales críticos como el BPM.

• Implicaciones de Diseño:
  • Se requiere guía explícita para la redacción de prompts (plantillas, ejemplos).
  • Implementación de disclosure progresivo y soporte para la construcción incremental de modelos para reducir la carga cognitiva.
  • El sistema debe ser capaz de hacer preguntas aclaratorias proactivamente ante la ambigüedad.
  • Necesidad de configuración de convenciones empresariales y validación de salidas contra estas normas.
  • Comunicación de confianza: El sistema debe indicar su nivel de certeza y señalar posibles errores para calibrar la confianza del usuario.

En resumen, el trabajo subraya que para que los copilotos de modelado de procesos sean adoptados en la industria, deben evolucionar de ser meros generadores de texto a asistentes colaborativos que entiendan el contexto, gestionen la incertidumbre y respeten los estándares profesionales, algo que solo una evaluación centrada en el humano puede revelar.