🤖 AI

Human-AI Agent Interaction in a Business Context

Deze studie hanteert een mixed-methods benadering om principes, criteria en ontwerpelementen te identificeren en te evalueren voor het optimaliseren van interacties tussen mens en AI-agent in zakelijke contexten, met als doel de gebruikerservaring te verbeteren, vertrouwen op te bouwen en adoptie te faciliteren.

Oorspronkelijke auteurs: Kathrin Paimann, Elizangela Valarini, Sebastian Juhl

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kathrin Paimann, Elizangela Valarini, Sebastian Juhl

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe werknemer aanneemt voor je bedrijf. Dit is geen gewoon mens, maar een superintelligente, onvermoeibare robotassistent (een "AI-agent") die zijn eigen dag kan plannen, beslissingen kan nemen en natuurlijk met je kan praten.

Het paper van Paimann, Valarini en Juhl stelt een eenvoudige maar cruciale vraag: Hoe ontwerpen we deze robot zodat mensen hem echt vertrouwen, graag met hem willen samenwerken en niet bang zijn de controle te verliezen?

Dit is het verhaal van hun onderzoek, uitgelegd aan de hand van eenvoudige concepten.

1. Het Probleem: Oude Regels Passen Niet bij Nieuwe Robots

In het verleden was software als een rekenmachine: je drukte op een knop en kreeg een antwoord. Jij was altijd de baas. Maar deze nieuwe AI-agenten zijn meer een co-piloot. Ze kunnen een tijdje zelf het vliegtuig besturen, maar ze kunnen fouten maken of in de war raken.

De auteurs ontdekten dat de oude regels voor het ontwerpen van software (User Experience of UX) hier niet werken. Je kunt de robot niet alleen mooi maken; je moet uitzoeken hoe je het een veilig en betrouwbaar gevoel geeft wanneer hij zelfstandig beslissingen neemt.

2. Het Detectivewerk: Hoe Ze Het Bestudeerd Hadden

Om dit op te lossen, werkten de onderzoekers als detectives met een "mixed-methods" aanpak (het gebruik van verschillende methoden om het volledige plaatje te krijgen). Ze gokten niet zomaar; ze verzamelden bewijs via:

Workshops: Samen met experts (zoals softwarearchitecten en productmanagers) brainstormen over wat een goede robotpartner maakt.
Enquêtes: Honderden mensen vragen wat zij het belangrijkste vinden.
Interviews: Diepgaande gesprekken voeren om te begrijpen waarom mensen zich op een bepaalde manier voelden.
Experimenten: Mensen verschillende versies van een robotinterface laten zien om te zien welke zij de voorkeur gaven.

3. De Grote Bevindingen: De 8 Verkeersregels

Na al hun detectivewerk identificeerden ze 8 Gouden Regels voor het laten slagen van een mens-AI-relatie in een zakelijke omgeving. Zie deze als de "verkeerswetten" voor AI-agenten.

Hier zijn ze, gerangschikt op basis van hoe belangrijk de zakelijke gebruikers ze vonden:

Menselijke Controle (De "Rode Knop"): Dit was de absolute prioriteit nummer 1. Mensen moeten altijd het gevoel hebben dat zij de kapitein zijn. De robot kan sturen, maar de mens moet de macht hebben om te remmen, een beslissing te overrulen of op elk moment "stop" te zeggen.
Betrouwbaarheid & Veiligheid (De "Autogordel"): De robot moet accuraat zijn. Als de robot dingen gaat verzinnen (hallucinaties) of verkeerd advies geeft, is het vertrouwen direct weg. Het moet zo betrouwbaar zijn als een autogordel.
Privacy & Governance (De "Kluis"): De robot moet geheimen respecteren. Hij mag alleen informatie tonen waar jij toestemming voor hebt, en hij moet bedrijfsgegevens fel beschermen.
Contextbewustzijn (Het "Geheugen"): Een goede robot onthoudt wie je bent en wat je aan het doen bent. Hij moet een CEO niet hetzelfde advies geven als een stagiair, en hij moet weten of je naar een verzendrapport of een salarisstrook kijft.
Transparantie (De "Zaklamp"): De robot moet kunnen uitleggen waarom hij iets heeft gedaan. Als hij een beslissing neemt, moet hij kunnen zeggen: "Ik deed dit vanwege X, Y en Z."
Ecosysteem Integratie (Het "Zwitserse Zakmes"): De robot mag niet in een vacuüm leven. Hij moet naadloos samenwerken met alle andere apps en tools die het bedrijf al gebruikt, zodat mensen niet constant gegevens moeten kopiëren en plakken.
Collaboratieve Partner (De "Teamgenoot"): De robot moet aanvoelen als een partner die je helpt, niet als een vervanging. Hij moet weten wanneer hij om jouw goedkeuring moet vragen voordat hij een grote stap zet.
Responsiviteit (De "Beleefdheid"): Het moet gemakkelijk in gebruik zijn en snel reageren. Hoewel dit belangrijk is, vonden de onderzoekers dat dit de "basislijn" is: als het traag is, zul je het niet gebruiken, maar als het snel is, zorgt dat niet automatisch voor meer vertrouwen dan de bovenstaande veiligheidsregels.

4. Het Experiment: Wat Laat Mensen Écht op "Ja" Klikken?

De onderzoekers stopten niet bij het vragen wat mensen wilden. Ze voerden een specifiek experiment uit om te zien wat mensen er daadwerkelijk voor lieten kiezen tussen verschillende robotontwerpen.

Ze creëerden een fictief scenario: een medewerker in de logistiek die een AI gebruikt om te bepalen hoe vrachtwagens geladen moeten worden. Ze lieten de medewerker verschillende versies van het scherm zien:

Versie A: De robot doet gewoon zijn ding.
Versie B: De robot legt zijn redenering uit en laat de bronnen van zijn gegevens zien.
Versie C: De robot heeft een grote "Pauze"-knop.

De Verrassende Resultaat:
De onderzoekers verwachtten dat de "Pauze/Stop"-knop de populairste functie zou zijn. Echter, de data lieten iets anders zien: Transparantie was de echte winnaar.

Wanneer de robot zijn werk liet zien — door uit te leggen hoe hij tot een conclusie kwam, te laten zien waar hij zijn gegevens vandaan haalde en de volgende stappen op te sommen — kozen mensen 37% vaker voor die versie.

Interessant genoeg had de mogelijkheid om de robot simpelweg te "pauzeren" een veel kleiner effect. Waarom? Omdat mensen beseften dat als ze niet kunnen zien wat de robot denkt, het opdrukken van "pauze" hen niet helpt om het probleem te begrijpen. Ze hebben de "Zaklamp" (transparantie) nodig voordat ze de "Rem" (pauze) nodig hebben.

5. De Kern van het Verhaal

Het paper concludeert dat bedrijven, om succesvolle AI-agenten voor het bedrijfsleven te bouwen, zich niet alleen moeten richten op het slimmer maken van de AI. Ze moeten zich richten op het uitlegbaar en controleerbaar maken van de AI.

Bouw geen black box. Bouw een robot die een zaklamp vasthoudt zodat je zijn werk kunt zien.
Bouw niet alleen een hulpmiddel. Bouw een partner die weet wanneer hij om jouw toestemming moet vragen.
Vertrouwen wordt gebouwd op begrip. Als een mens de logica achter de acties van de robot kan zien, zullen ze de robot veel eerder toevertrouwen met belangrijke zakelijke taken.

Kortom: Als je wilt dat mensen met AI-agenten samenwerken, zorg dan dat de agent zijn huiswerk kan uitleggen, en zorg dat de mens altijd de gum vasthoudt.

Technische Samenvatting: Interactie tussen Mens en AI-Agent in een Zakelijke Context

Probleemstelling

De snelle integratie van agentic AI—autonome, doelgerichte systemen die in staat zijn tot het plannen van meerstapsacties en interactie via natuurlijke taal—in bedrijfsworkflows heeft de ontwikkeling van passende User Experience (UX) frameworks ingehaald. Traditionele UX-praktijken, ontworpen voor statische, door mensen gecontroleerde tools, zijn ontoereikend voor het beheren van de complexiteit, autonomie en adaptieve aard van AI-agents. Hoewel bestaande literatuur conceptuele kaders biedt voor Human-Centered AI (HCAI) en algemene AI-ethiek (bijv. controleerbaarheid, verklaarbaarheid), is er een kritiek gebrek aan empirisch gevalideerde, bedrijfsspecifieke ontwerpprincipes en meetbare criteria voor mens-agent-interactie. Huidige richtlijnen richten zich vaak op consumentenproducten in plaats van op enterprise-workflows, waardoor er een gat is in het begrip van hoe agents te ontwerpen die voldoen aan gebruikersvereisten, vertrouwen opbouwen en besluitvorming ondersteunen in organisatorische omgevingen.

Methodologie

De studie maakt gebruik van een mixed-methods onderzoeksontwerp om UX-principes voor zakelijke AI-agents te ontwikkelen, te valideren en te prioriteren. Het onderzoek verloopt via vijf afzonderlijke fasen met een totale steekproef van 210 deelnemers uit diverse rollen (ontwikkelaars, architecten, product owners, data scientists en business analisten) en sectoren (IT, productie, gezondheidszorg, financiën, etc.):

Participatory Design Workshop: Een sessie van 60 minuten met 21 domeinexperts om vroege principes, behoeften en waargenomen risico's met betrekking tot AI-agents te verkennen.
Expert Review en Meta-analyse: Vijf AI-domeinexperts beoordeelden de bevindingen uit de workshop, gevolgd door een kwalitatieve meta-analyse van een corpus van wetenschappelijke publicaties en standaarden (bijv. NIST, HCAI-frameworks) om een theoretisch kader te synthetiseren.
Paper-and-Pencil Survey: Een zelfadministrerende enquête met 28 deelnemers om het gesynthetiseerde framework te valideren en de geïdentificeerde UX-principes te prioriteren op basis van hun belang in een zakelijke context.
In-depth Interviews: 12 semi-gestructureerde interviews met deelnemers uit de enquête om hun prioritering te contextualiseren, waarbij de redenen, waarden en organisatorische factoren achter hun oordelen werden verkend.
Conjoint Experiment: Een online choice-based conjoint experiment met 107 respondenten om de causale impact van specifieke ontwerpelementen (UX-criteria) op gebruikersvoorkeuren te kwantificeren. Deze fase richtte zich specifiek op het hoogst geprioriteerde principe, Human Control (Menselijke Controle), waarbij drie criteria werden geoperationaliseerd: Het vermogen om agents te stoppen/pauzeren, Transparantie van de redenering van de agent, en Menselijke verantwoordelijkheid/besluitvorming.

Belangrijkste Bijdragen

De studie levert drie primaire bijdragen aan het veld van Human-Computer Interaction (HCI) en Human-Centered AI:

Een gevalideerd framework: Het identificeert en structureert acht kern-UX-principes specifiek voor mens-AI-agentinteractie in zakelijke omgevingen.
Meetbare criteria: Het leidt specifieke, actiegerichte criteria af voor elk principe, waardoor abstracte concepten worden vertaald naar ontwerpvereisten.
Evidence-Based Design Guidelines: Het biedt empirisch bewijs voor het relatieve belang van deze principes en de causale impact van specifieke designkenmerken op gebruikersvoorkeur, waarmee de stap wordt gezet van conceptuele theorie naar praktische begeleiding voor productontwikkeling.

Resultaten

1. De Acht Gevalideerde UX-principes

Het onderzoek heeft de volgende principes geïdentificeerd en gerangschikt op basis van hun belang in een zakelijke context (Tabel 4 in het artikel):

Human Control (Menselijke Controle): Gerangschikt als de hoogste prioriteit. Gebruikers vereisen betekenisvol toezicht, de mogelijkheid om in te grijpen/overrulen en duidelijke mechanismen voor verantwoording.
Betrouwbaarheid, Veiligheid en Robuustheid: Beschouwd als een niet-onderhandelbare basislijn. Agents moeten accurate, actuele outputs leveren zonder hallucinaties.
Data Privacy en Governance: Zeer kritisch, vooral in gereguleerde sectoren. Vereist toegangsbeheer op basis van rollen en strikte handhaving van privacy.
Contextbewustzijn: Agents moeten de rol van de gebruiker, permissies en de huidige taakcontext begrijpen om relevante assistentie te bieden.
Transparantie en Verklaarbaarheid: Essentieel voor verificatie en vertrouwen, hoewel de diepgang van de benodigde uitleg varieert per taakcomplexiteit en gebruikerservaring.
Ecosysteem Integratie: Agents moeten naadloos integreren met bestaande enterprise-applicaties en workflows.
Collaboratieve Partner: Agents moeten fungeren als teamgenoten die workflows orkestreren terwijl zij de grenzen van menselijke goedkeuring respecteren.
Responsiviteit en Intuïtiviteit: Beschouwd als een basisvereiste voor bruikbaarheid; een slechte interactiekwaliteit ondermijnt adoptie, ongeacht de kwaliteit van de output.

2. Bevindingen Conjoint Experiment

Bij het focussen op het principe Human Control, onthulde het conjoint experiment (1.139 keuze-taken) de volgende causale effecten op de voorkeur voor prototype-schermen:

Agent Transparantie (Sterkste Impact): Het verhogen van transparantie van "laag" (eenvoudige laadindicator) naar "hoog" (gedetailleerde redenering, databronnen, vervolgstappen) verhoogde de waarschijnlijkheid dat een prototype werd gekozen met 37,79 procentpunt (95% CI: [31,93; 41,94]).
Menselijke Verantwoordelijkheid (Human Accountability): Het toevoegen van een waarschuwingsbericht voor aanbevelingen met een laag vertrouwen verhoogde de selectiekans met 22,46 procentpunt (95% CI: [15,92; 28,17]).
Vermogen om te Stoppen/Pauzeren: Het toestaan dat gebruikers agent-acties pauzeren had een kleiner, maar positief effect, wat de selectiekans met 5,11 procentpunt verhoogde (95% CI: [0,00; 10,12]). Dit resultaat miste net de 95% significantieniveaus ( $p=0,0502$ ).

De studie merkt op dat hoewel transparantie cruciaal is, de behoefte aan gedetailleerde uitleg kan afnemen naarmate het vertrouwen toeneemt, wat wijst op een dynamische relatie tussen vertrouwen en de vereisten voor transparantie.

Betekenis en Claims

De auteurs stellen dat deze studie een fundamenteel, empirisch gevalideerd framework biedt voor het ontwerpen van mens-AI-agentinteracties in zakelijke settings. Door over te stappen van conceptuele kaders naar meetbare criteria, biedt het onderzoek een roadmap voor development teams om:

Ontwerpelementen te Prioriteren: De bevindingen suggereren dat hoewel basisbruikbaarheid als gegeven wordt beschouwd, transparantie (met name met betrekking tot redenering, status en databronnen) en verantwoordelijkheids-signalen de belangrijkste drijfveren zijn voor gebruikersvo Preference in de bestudeerde zakelijke scenario's.
Autonomie en Controle te Balanceren: De resultaten ondersteunen een ontwerpfilosofie waarbij agents krachtige assistenten zijn, maar binnen sociaal-technische verantwoordelijkheidsstructuren blijven, waarbij mensen de uiteindelijke autoriteit en het toezicht behouden.
Governance te Informeren: De studie benadrukt dat privacy en governance niet louter backend-infrastructuurzaken zijn, maar kritieke interactie-niveau ontwerpzorgen die direct invloed hebben op het vertrouwen en de adoptie door gebruikers.

De auteurs blijven bescheiden over hun claims en erkennen dat de bevindingen specifiek zijn voor gebruikers die al met AI-tools werken in zakelijke contexten, en dat de externe validiteit afhangt van het begrip van respondenten voor de hypothetische scenario's. Zij stellen expliciet dat de studie geen rekening houdt met heterogene behandelingseffecten over subgroepen (bijv. per industrie of rol) en dat verder onderzoek nodig is om deze variaties en alternatieve ontwerpimplementaties te verkennen.