Human-Centered Evaluation of an LLM-Based Process Modeling Copilot: A Mixed-Methods Study with Domain Experts

Deze mixed-methods studie met domeinexperts onthult dat, hoewel een LLM-gestuurde BPMN-copilot bruikbaar is, het gebrek aan vertrouwen en betrouwbaarheid een kritieke uitdaging vormt die mensgerichte evaluatie boven puur automatische benchmarking vereist.

De kern

Titel: De Slimme, Maar Onzekere Bureaubladassistent: Een Verhaal over een Nieuwe AI voor Bedrijfsprocessen

Stel je voor dat je een zeer ervaren architect bent die bouwtekeningen maakt voor fabrieken. Je hebt jarenlang geleerd hoe je deze tekeningen (die in het vakjargon 'BPMN-modellen' heten) moet maken. Nu komt er een nieuwe, slimme assistent op de markt: een AI die je kunt vertellen wat je wilt, en die de tekening voor je maakt.

De onderzoekers in dit paper hebben deze assistent, genaamd KICoPro, getest met een groep van vijf echte experts. Ze wilden niet alleen kijken of de AI technisch goed werkt, maar vooral: voelen de experts zich veilig en vertrouwd met deze nieuwe collega?

Hier is wat ze ontdekten, vertaald in alledaags taal:

1. De Eerste Indruk: "Hij is aardig, maar ik vertrouw hem niet"

De experts vonden het praten met de AI best leuk en makkelijk. Het leek op een normale chat-app.

• De Analogie: Het is alsof je een nieuwe, vriendelijke stagiair krijgt die altijd "hallo" zegt en snel antwoordt. De interface is fijn.
• Het Probleem: Maar zodra de stagiair de blauwdrukken (de tekeningen) oplevert, beginnen de experts te twijfelen. Ze zeggen: "Hij ziet er aardig uit, maar ik durf zijn werk niet te gebruiken zonder dat ik het eerst zelf controleer."
• De cijfers: De 'vriendelijkheid' (gebruiksgemak) scoorde een 6,7 op 10. Maar het 'vertrouwen' zakte naar een 4,9. Dat is een groot gat. Je vindt de tool leuk, maar je vertrouwt zijn werk niet.

2. De "Gijzelaars" van de Prompting (De Vraag die je moet stellen)

De experts merkten een raar fenomeen op. Ze wisten wat ze wilden, maar ze wisten niet hoe ze het moesten vragen.

• De Analogie: Stel je voor dat je een chef-kok bent die een gerecht wil laten koken. Je weet dat je een "lasagne" wilt, maar de AI is zo verlegen dat hij niet vraagt of je kaas of vlees wilt. Als je niet precies zegt "lasagne met veel kaas, maar geen ui", maakt hij een rommeltje.
• Het Resultaat: De experts moesten zelf hun gedachten in heel kleine stukjes hakken (een strategie die ze 'chunking' noemen) om de AI niet in de war te brengen. Dit kostte ze veel mentale energie. De AI vroeg nooit: "Bedoel je dit of dat?" Hij maakte gewoon een gok.

3. De "Grote Tekening" Probleem

Als je de AI een heel lang en complex verhaal gaf over hoe een fabriek werkt, raakte hij de draad kwijt.

• De Analogie: Het is alsof je iemand vraagt om een heel boek te tekenen in één keer. De AI begint met tekenen, maar halverwege vergeet hij de eerste pagina's of tekent hij de deuren op de verkeerde plek.
• De Oplossing: De experts leerden dat ze het verhaal in stukjes moesten geven. Eerst de ingang, dan de machine, dan de uitgang. Maar dat maakte het werk juist moeilijker voor hen, omdat ze zelf de regie moesten houden in plaats van dat de AI hen hielp.

4. Wat wilden de experts eigenlijk? (De Droomtoekomst)

Ondanks de problemen zagen de experts wel enorme potentie. Ze dachten aan vijf manieren waarop deze AI hen echt zou kunnen helpen:

1. De "Lege Pagina" Oplosser: Voor experts die niet zo goed kunnen tekenen, kan de AI een eerste schets maken zodat ze niet met een blanco vel zitten.
2. De Kwaliteitscontroleur: De AI kan als een strenge leraar fungeren die kijkt of de tekeningen voldoen aan de regels van het bedrijf.
3. De Foto-vertaler: Je maakt een foto van een krabbel op een whiteboard, en de AI maakt er een officiële tekening van.
4. De Lokale Expert: Een versie van de AI die alleen in het bedrijf werkt en alle oude tekeningen kent, zodat hij weet hoe jullie het altijd doen.
5. De Verbeteraar: De AI die niet alleen tekent, maar zegt: "Hé, hier is een stap die jullie twee keer doen, dat kan sneller."

5. De Grote Les: "Leuk praten is niet genoeg"

De belangrijkste conclusie van dit onderzoek is dat we niet alleen moeten kijken of een AI technisch goed werkt (zoals of de lijnen kloppen). We moeten ook kijken naar het menselijke gevoel.

• De Metafoor: Je kunt een auto bouwen die 200 km/u rijdt en perfect reageert op de rem (technisch perfect). Maar als de bestuurder bang is dat de remmen soms niet werken, zal hij die auto nooit gebruiken.
• De Oplossing: De AI moet niet alleen antwoorden, maar ook vragen. Als iets onduidelijk is, moet hij zeggen: "Bedoel je dit?" Hij moet ook eerlijk zeggen: "Ik ben hier niet zeker van."

Kortom:
Deze AI-assistent is een veelbelovende stagiair die snel leert en aardig is, maar die nog niet klaar is om alleen te werken. Hij heeft meer begeleiding nodig, moet leren om vragen te stellen, en moet de experts meer vertrouwen geven voordat ze hem echt kunnen gebruiken in het echte werk. De onderzoekers zeggen: "Laten we niet alleen kijken naar de cijfers van de computer, maar ook naar het hoofd en het hart van de mens die ermee werkt."

Technische samenvatting

Probleemstelling

De integratie van Large Language Models (LLM's) in Business Process Management (BPM) tools belooft de modellering van BPMN (Business Process Model and Notation) te democratiseren voor niet-experts. Bestaande systemen, zoals KICoPro, kunnen tekstuele procesbeschrijvingen omzetten in BPMN-modellen. Echter, de huidige evaluaties richten zich voornamelijk op geautomatiseerde benchmarks voor syntactische, semantische en pragmatische kwaliteit. Deze methoden missen cruciale menselijke factoren zoals vertrouwen (trust), gebruiksgemak en de uitlijning met professionele workflows. Er bestaat een risico op een "gulf of execution", waarbij gebruikers moeite hebben om de juiste prompts te formuleren om hun modelleringstaken te voltooien, wat leidt tot een hoge cognitieve belasting en twijfel over de betrouwbaarheid van de gegenereerde modellen.

Methodologie

De auteurs hebben een mixed-methods evaluatie uitgevoerd om deze kloof te dichten. Het onderzoek combineerde kwalitatieve inzichten met kwantitatieve metingen:

• Deelnemers: Vijf procesmodelleringsexperts (n=5) uit dezelfde organisatie, met diverse ervaringen en leeftijden. De keuze voor experts (in plaats van novices) was strategisch om subtiele kwaliteitsproblemen en integratiebehoeften in de professionele praktijk te identificeren.
• Proces:
  1. Kick-off: Introductie van de tool en verwachtingen.
  2. Zelfexploratie (2 weken): Deelnemers werkten met de tool (KICoPro) om procesbeschrijvingen te modelleren en aanpassingen te vragen.
  3. Focusgroep (3,5 uur): Semi-gestructureerde discussie over gebruikservaring, interface, kwaliteit en beperkingen.
  4. Vragenlijsten: Standaardiseerde metingen na de sessie.
• Instrumenten:
  • Chatbot Usability Questionnaire (CUQ): 16 items om gebruiksgemak te meten (schaal 0-100).
  • Trust Assessment: Aangepaste Trust Scale for the AI Context (TAI) om vertrouwen in AI-systemen te meten (schaal 0-100%).
  • Tool-specifieke kwaliteitsbeoordeling: Een eigen vragenlijst van 8 items gericht op de kwaliteit van de gegenereerde BPMN-modellen.
• Data-analyse: Beschrijvende statistieken voor de kwantitatieve data (vanwege de kleine steekproef) en thematische analyse (volgens Braun & Clarke) voor de kwalitatieve data.

Belangrijkste Resultaten

1. Kwantitatieve Bevindingen

• Gebruiksgemak (Usability): De gemiddelde CUQ-score was 67,2/100, wat net onder de gevestigde benchmark van 68 ligt. De interface werd ervaren als intuïtief en eenvoudig, maar er was onduidelijkheid over de systemdoelstellingen.
• Vertrouwen (Trust): De gemiddelde vertrouwensscore was significant lager: 48,8%. Dit ligt onder de aanbevolen drempel van 60% voor acceptabel vertrouwen.
  • Betrouwbaarheid werd als het grootste probleem gezien (gemiddelde score: 1,8/5).
  • Deelnemers waren niet argwanend over kwaadaardige intenties, maar twijfelden sterk aan de consistentie en juistheid van de output.
• Kwaliteit van de Tool: De tool-specifieke kwaliteit scoorde gemiddeld 54,4%. Er was grote variatie, met name bij het begrijpen van complexe tekstuele beschrijvingen en het correct verwerken van modificaties.

2. Kwalitatieve Bevindingen (7 Thema's)

• Prompting Paradox: De interface is intuïtief, maar gebruikers wisten niet hoe ze prompts moesten formuleren om betrouwbare resultaten te krijgen (gulf of execution).
• Latentie: De responsietijd werd als te lang ervaren, wat de iteratieve workflow van professionele modellering verstoort.
• Variërende Outputkwaliteit: Langere procesbeschrijvingen leverden vaak onvolledige of slechte BPMN-modellen op.
• Chunking als Coping-strategie: Gebruikers ontwikkelden de strategie om lange teksten in stukjes op te delen om de kwaliteit te verbeteren, maar dit verhoogde de cognitieve belasting aanzienlijk.
• Onnauwkeurige Modificaties: Verzoeken om aanpassingen werden vaak onjuist uitgevoerd, met name bij niet-ondersteunde BPMN-elementen (zoals 'lanes' of annotaties).
• Afwezigheid van Verhelderende Dialoog: Het LLM stelde geen verhelderende vragen bij ambiguïteiten, maar maakte impliciete aannames, wat leidde tot onvolledige modellen.
• Schending van Conventies: De tool hield zich niet strikt aan BPMN 2.0-standaarden of organisatie-specifieke richtlijnen.

3. Gevisualiseerde Gebruiksscenario's

Deelnemers schetsten vijf potentiële use-cases:

1. Ondersteuning voor domeinexperts (niet-modellers) voor het genereren van eerste concepten.
2. Een "Quality Assurance Bot" voor het valideren van bestaande modellen.
3. Conversie van visuele inputs (foto's van schetsen) naar BPMN.
4. Lokale, enterprise-geïntegreerde implementatie voor consistentie en patroonherkenning.
5. Procesoptimalisatie en ondersteuning door het identificeren van inefficiënties.

Bijdragen en Significatie

De belangrijkste bijdrage van dit onderzoek is het aantonen dat geautomatiseerde benchmarks onvoldoende zijn om de bruikbaarheid van LLM-gestuurde modelleringstools in de praktijk te beoordelen.

• De "Usability-Trust Gap": Het paper identificeert een kritieke discrepantie: een systeem kan gebruiksvriendelijk aanvoelen (hoge usability), maar toch niet worden vertrouwd voor professioneel gebruik door gebrek aan betrouwbaarheid (lage trust).
• Design Implicaties: De studie levert concrete richtlijnen voor toekomstige systemen, waaronder:
  • Prompting Guidance: Duidelijke instructies en voorbeelden om de "gulf of execution" te overbruggen.
  • Proactieve Verduidelijking: Het systeem moet vragen stellen bij ambiguïteiten in plaats van aannames te doen.
  • Vertrouwenscommunicatie: Het systeem moet de betrouwbaarheid van de output communiceren (bijv. waarschuwingen bij onzekerheid).
  • Aanpassing aan Conventies: Mogelijkheid om organisatie-specifieke BPMN-regels te configureren.

Conclusie:
Voor de succesvolle adoptie van LLM-based process modeling agents in professionele domeinen is een mensgerichte evaluatie essentieel die de technische prestaties aanvult met inzichten in vertrouwen, interactieproblemen en workflow-integratie. Zonder deze menselijke factor blijven deze tools beperkt tot experimentele toepassingen en kunnen ze geen betrouwbare partner zijn voor procesexperts.