Human-Centered Evaluation of an LLM-Based Process Modeling Copilot: A Mixed-Methods Study with Domain Experts

Cette étude à méthodes mixtes évalue un copilote de modélisation de processus basé sur les LLM auprès d'experts du domaine, révélant une tension critique entre une utilisabilité perçue acceptable et un faible niveau de confiance dû à des problèmes de fiabilité, ce qui souligne la nécessité d'évaluations centrées sur l'humain complétant les benchmarks automatisés.

L'essentiel

🎭 Le Titre : Un Assistant IA pour les Dessins de Processus

Imaginez que vous devez dessiner un plan complexe pour une usine ou un bureau (ce qu'on appelle un modèle BPMN). Habituellement, il faut être un expert en dessin technique pour le faire.

Les chercheurs ont créé un copilote IA (un robot assistant) qui promet de faire ce travail à votre place. Vous lui parlez simplement en langage courant (comme "Le client commande un produit, puis on l'envoie"), et il devrait dessiner le schéma pour vous.

L'objectif de l'article est de vérifier si cet assistant est vraiment utile pour des vrais experts, ou s'il est juste une gadget sympa mais peu fiable.

---

🧪 L'Expérience : Le Test avec 5 Experts

Les chercheurs ont invité 5 experts (des gens qui dessinent ces plans tous les jours) pour tester l'outil pendant quelques semaines. C'est un peu comme inviter 5 chefs cuisiniers étoilés à tester un nouveau robot qui promet de préparer le dîner.

Ils ont utilisé deux méthodes :

1. Une discussion de groupe (pour raconter leurs histoires et leurs frustrations).
2. Des questionnaires (pour noter l'outil sur une échelle de 1 à 100).

---

📊 Les Résultats : Le Paradoxe "Sympa mais Méfiant"

Voici ce qu'ils ont découvert, avec des analogies simples :

1. L'Interface est "Sympa" (Note : 67/100)

L'outil est facile à utiliser. C'est comme une application de chat bien faite. On peut écrire, voir le dessin, et demander des changements.

• L'analogie : C'est comme une voiture très confortable avec un volant doux et un tableau de bord clair. On se sent bien en s'asseyant dedans.

2. La Confiance est "Basse" (Note : 48/100)

C'est le gros problème. Même si l'outil est facile à utiliser, les experts ne lui font pas confiance.

• L'analogie : C'est comme conduire cette voiture confortable, mais avec la peur constante que le moteur s'arrête au milieu de la route ou que les freins ne fonctionnent pas. On aime le confort, mais on a peur de la destination.

3. Le Problème du "Prompt" (La question mal posée)

Les experts savaient quoi demander, mais pas comment le demander pour obtenir un bon résultat.

• L'analogie : Imaginez que vous commandez un plat dans un restaurant. Vous savez que vous voulez un steak, mais le chef ne comprend que si vous lui donnez la recette exacte (température, épaisseur, assaisonnement). Si vous dites juste "Je veux un steak", il vous sert un steak brûlé. Les experts ont dû apprendre à "parler la langue du robot" pour obtenir quelque chose de correct.

4. La Fatigue Mentale (Le "Chunking")

Quand le processus était long, l'IA se perdait. Les experts ont dû apprendre à découper leur demande en petits morceaux (comme manger un gros gâteau bouchée par bouchée).

• L'analogie : Au lieu de donner un seul ordre à un stagiaire pour ranger toute la maison, vous devez lui dire : "Ranger la cuisine", puis "Ranger le salon", etc. C'est efficace, mais cela demande beaucoup plus d'effort à l'humain que prévu.

5. Le Manque de "Questions de Clarification"

C'est le point le plus critique. Si l'IA ne comprenait pas quelque chose, elle inventait une réponse au lieu de demander : "Attends, tu veux dire ça ou ça ?".

• L'analogie : C'est comme un architecte qui dessine votre maison sans jamais vous demander si vous voulez 3 chambres ou 4. Il suppose et construit. Quand vous arrivez sur le chantier, vous réalisez que ce n'est pas ce que vous vouliez. Un bon assistant devrait poser des questions avant de dessiner.

---

💡 Les Idées pour l'Avenir (Ce que les experts imaginent)

Malgré les défauts, les experts voient un avenir brillant si l'outil s'améliore :

1. Le "Brouillon Intelligent" : L'IA pourrait faire le premier dessin pour un débutant, qui le corrigera ensuite.
2. Le "Contrôleur de Qualité" : L'IA pourrait vérifier si les dessins existants respectent les règles de l'entreprise (comme un correcteur orthographique pour les processus).
3. Le "Dessinateur de Croquis" : Pouvoir prendre une photo d'un dessin fait sur un coin de nappe, et transformer cela en un schéma officiel.
4. L'Expert Local : Un robot qui connaît spécifiquement les règles de votre entreprise (et pas juste les règles générales).

---

🏁 La Conclusion Simple

Cette étude nous dit une chose importante : Ce n'est pas parce qu'un outil est facile à utiliser qu'il est fiable.

Pour que l'IA soit vraiment utile dans le monde professionnel, elle ne doit pas seulement être "sympa" ou "rapide". Elle doit être prévisible, honnête (dire quand elle ne sait pas), et capable de poser des questions pour clarifier les choses.

Les chercheurs concluent qu'on ne peut pas se fier uniquement aux tests automatiques (qui disent "le dessin est techniquement correct"). Il faut écouter les humains pour savoir s'ils ont confiance en ce dessin. C'est la différence entre un outil qui fonctionne sur le papier et un outil qui fonctionne dans la vraie vie.

Résumé technique

1. Problématique

L'intégration des Modèles de Langage (LLM) dans les outils de gestion des processus métier (BPM) vise à démocratiser la modélisation en BPMN (Business Process Model and Notation) pour les non-experts. Des systèmes existants (comme ProMoAI, BPMN Chatbot) permettent de générer des modèles à partir de descriptions textuelles.

Cependant, les évaluations actuelles se concentrent principalement sur des benchmarks automatisés mesurant la qualité syntaxique et sémantique. Elles négligent les facteurs humains critiques tels que la confiance, l'utilisabilité et l'alignement avec les pratiques professionnelles. Les auteurs soulignent un risque de créer un « fossé d'exécution » (gulf of execution), où les utilisateurs doivent inférer comment formuler leurs requêtes pour atteindre leurs objectifs, augmentant ainsi la charge cognitive et compromettant la fiabilité des modèles générés pour une utilisation collaborative.

2. Méthodologie

L'étude adopte une approche à méthodes mixtes combinant une évaluation qualitative et quantitative auprès d'experts du domaine (modélisateurs de processus), plutôt que de novices, afin d'identifier des problèmes subtils de qualité et d'intégration professionnelle.

• Participants : 5 experts en modélisation de processus (travaillant au sein de la même organisation), ayant une expérience régulière avec BPMN et les chatbots.
• Outil évalué : KICoPro, un prototype web de modélisation conversationnelle BPMN. Il permet de générer et d'affiner itérativement des modèles via le langage naturel.
• Procédure :
  1. Kickoff (Remote) : Présentation de l'outil et recueil des attentes.
  2. Exploration autonome (2 semaines) : Les experts ont utilisé l'outil sur des descriptions de processus réelles et variées.
  3. Groupe de discussion (Focus Group, 3h30) : Discussion semi-structurée sur l'expérience, l'interface, la qualité des modèles et les cas d'usage.
  4. Questionnaires : Évaluation standardisée post-expérience.
• Instruments :
  • CUQ (Chatbot Usability Questionnaire) : Pour mesurer l'utilisabilité perçue (16 items).
  • Échelle de confiance (TAI) : Pour évaluer la confiance dans l'IA (8 items).
  • Questionnaire spécifique : Évaluation de la qualité des modèles BPMN générés et des capacités spécifiques à la tâche.
• Analyse : Statistiques descriptives pour les données quantitatives (compte tenu de la petite taille de l'échantillon, $n=5$) et analyse thématique (Braun & Clarke) pour les données qualitatives.

3. Résultats Clés

A. Résultats Quantitatifs : Le fossé Utilisabilité-Confiance

Les résultats révèlent une tension critique entre une utilisabilité acceptable et une confiance faible :

• Utilisabilité (CUQ) : Score moyen de 67,2/100, légèrement en dessous du benchmark de 68 pour les chatbots. Les utilisateurs trouvaient l'interface intuitive et facile à utiliser.
• Confiance : Score moyen de 48,8 %, nettement inférieur au seuil de 60 % jugé acceptable.
• Fiabilité (Reliability) : C'est le point le plus critique, avec un score moyen très bas de 1,8/5. Les experts ne pouvaient pas compter sur la constance des sorties.
• Qualité de la tâche : Score moyen de 54,4 %, indiquant une qualité perçue modérée des modèles BPMN générés.

B. Résultats Qualitatifs : Thèmes et Défis

L'analyse thématique a identifié sept thèmes majeurs :

1. Paradoxe du Prompting : L'interface est intuitive, mais les utilisateurs peinent à formuler les prompts pour obtenir des résultats fiables (fossé d'exécution). Ils ne savent pas équilibrer le détail et la concision.
2. Latence de réponse : Les temps de réponse longs perturbent le flux de travail itératif et le rythme cognitif des modélisateurs.
3. Qualité variable des sorties : La qualité des modèles générés diminue avec la longueur des descriptions textuelles.
4. Stratégie de « Chunking » (Découpage) : Les experts ont dû découper manuellement leurs descriptions en fragments pour obtenir de meilleurs résultats, ce qui a augmenté leur charge cognitive.
5. Modifications imprécises : Les demandes de modification sont souvent mal exécutées (connexions inattendues, éléments non supportés comme les couloirs ou les annotations).
6. Absence de dialogue de clarification : Le LLM ne pose pas de questions pour clarifier les entrées ambiguës, générant des hypothèses implicites au lieu d'itérer avec l'utilisateur.
7. Violations des conventions : Le système ne respecte pas toujours les standards BPMN 2.0 ni les conventions spécifiques à l'entreprise (étiquetage, structure).

C. Cas d'usage envisagés

Les experts ont identifié cinq scénarios d'utilisation potentiels :

1. Support aux experts métier (non-modélisateurs) : Génération de brouillons initiaux.
2. Agent d'assurance qualité : Validation et correction automatique des modèles existants.
3. Conversion Image-to-BPMN : Numérisation de croquis manuscrits.
4. Déploiement local intégré : Un LLM entraîné sur le portefeuille de processus de l'entreprise pour assurer la cohérence.
5. Optimisation des processus : Analyse proactive pour identifier les inefficacités.

4. Contributions et Implications de Conception

L'article démontre la nécessité d'une évaluation centrée sur l'humain complétant les benchmarks automatisés. Les implications de conception proposées incluent :

• Guidage du Prompting : Fournir des exemples, des modèles et des explications transparentes sur ce qui fonctionne.
• Support au découpage progressif : Le système devrait gérer la décomposition des processus complexes plutôt que de la laisser à l'utilisateur.
• Clarification proactive : Le LLM doit poser des questions pour lever les ambiguïtés avant de générer.
• Configuration des conventions : Capacité à encoder et valider selon les normes de l'entreprise.
• Communication de la confiance : Le système doit indiquer son niveau de certitude et signaler les zones potentiellement erronées.
• Gestion de la latence : Indicateurs de progression pour maintenir le flux cognitif.

5. Signification

Cette étude met en lumière que l'utilisabilité d'une interface ne garantit pas la confiance dans les résultats générés par une IA, surtout dans des contextes professionnels exigeants comme la modélisation de processus. La fiabilité et la capacité du système à respecter les conventions métier sont des prérequis essentiels à l'adoption.

Les auteurs concluent qu'une évaluation complète des agents de modélisation basés sur les LLM doit impérativement combiner des benchmarks techniques automatisés (pour la scalabilité et la syntaxe) et une investigation pratique centrée sur l'humain (pour la confiance, les interactions et l'alignement organisationnel). Sans cette approche hybride, le déploiement de ces outils dans des environnements professionnels risque d'échouer en raison d'un manque de confiance et d'adaptation aux flux de travail réels.