AI-assisted Script Management for Requirements Elicitation Interviews
Dit artikel presenteert en evalueert een door AI ondersteunde scriptbeheerworkflow voor vereistenopname-interviews, waarbij via een quasi-experimentele studie wordt aangetoond dat deze training-alleen benaderingen overtreft door kwalitatief betere scripts te genereren, diepere vervolgvragen mogelijk te maken en meer verfijnde doelmodellen te produceren, ondanks het behandelen van minder onderwerpen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, interview je een getuige om te achterhalen wat deze persoon nodig heeft van een nieuwe videogame of een winkel-app. In de wereld van software engineering wordt dit detectivewerk "requirements elicitation" genoemd. Het doel is om de juiste vragen te stellen om precies te ontdekken wat de gebruiker wil voordat de programmeurs beginnen met bouwen. Als je een aanwijzing mist of de verkeerde vraag stelt, kan het eindproduct kapot, verwarrend of gewoon nutteloos zijn.
Om dit goed te doen, bereiden interviewers meestal een "script" voor—een lijst met vragen die ontworpen is om alle belangrijke aspecten te dekken. Maar hier is het lastige deel: echte gesprekken zijn rommelig. De getuige kan een zijpad inslaan, of de detective kan zo nerveus worden dat hij de belangrijkste vraag vergeet te stellen. Het is een evenwichtsoefening tussen het volgen van het plan en luisteren naar wat de persoon daadwerkelijk zegt. Lange tijd hebben experts geprobeerd mensen te trainen om beter te worden in dit proces, maar wat als we de detective een slimme, onzichtbare assistent konden geven die hints in zijn oor fluistert terwijl hij praat? Dat is de grote vraag die dit artikel onderzoekt: Kan kunstmatige intelligentie (AI) mensen helpen om betere vragen te stellen en betere antwoorden te krijgen tijdens deze interviews?
De onderzoekers aan de Carnegie Mellon University besloten dit te testen door een digitale "co-piloot" voor interviewers te bous. Ze creëerden een tweestapsysteem. Eerst fungeert de AI als een planner, die de grote zakelijke doelen van een bedrijf leest (zoals "laat mensen meer video's kijken") en deze omzet in een slimme lijst met interviewvragen. Ten tweede fungeert de AI tijdens het eigenlijke interview als een live assistent. Het luistert naar het gesprek, houdt bij welke vragen uit de lijst zijn gesteld, en verschijnt op het scherm met suggesties voor vervolgvragen als de interviewer vastloopt of dieper moet graven.
Om te zien of dit werkte, organiseerden ze een confrontatie tussen twee groepen interviewers. De ene groep bestond uit een groep slimme promovendi die een cursus over het interviewen van mensen hadden gevolgd (de "Training-Only"-groep). De andere groep bestond uit een vergelijkbare groep studenten die geen speciale training hadden gekregen, maar wel de AI-co-piloot ter ondersteuning kregen (de "AI-Assisted"-groep). Het was alsoals het vergelijken van een ervaren detective die alle regels kent met een rookie-detective die een super slimme GPS en een naslagwerk heeft.
De resultaten waren verrassend en lieten zien dat de AI de interviews niet alleen hielp, maar ook de hele stijl van het interview veranderde. De door AI gegenereerde scripts waren van veel hogere kwaliteit en scoorden 92,8 van de 100, vergele met 74,8 voor de door mensen geschreven scripts. Maar de echte magie gebeurde tijdens de interviews. De door AI-ondersteunde interviewers probeerden niet gehaast een lange lijst met onderwerpen af te werken. In plaats daarvan concentreerden ze zich op minder onderwerpen, maar gingen ze veel dieper in op de inhoud. Ze stelden ongeveer 3,4 vervolgvragen voor elk onderwerp dat ze bespraken, terwijl de getrainde mensen er slechts 1,15 stelden.
Denk aan het zoeken naar schatten. De getrainde mensen waren als mensen met een breed net, die het over een groot gebied uitwerpen en op veel verschillende plekken een paar visjes vangen. De door AI-ondersteunde interviewers waren als mensen met één diep gat; ze bleven op één plek en groeven diep naar beneden, waardoor ze veel meer gedetailleerde en specifieke "schatten" (die de onderzoekers "low-level requirements" noemen) blootlegden. Omdat ze dieper groeven, was de uiteindelijke kaart van wat de gebruikers wilden gedetailleerder en nuttiger.
Het artikel waarschuwt echter dat AI geen toverstaf is die alles oplost. De onderzoekers ontdekten dat de suggesties van de AI voor "vervolgvragen" niet altijd perfect waren; de interviewers negeerden vaak de specifieke woorden die de AI voorstelde omdat ze die een beetje afgezaagd of traag vonden. In plaats daarvan was de echte kracht van de AI de "topic tracker". Het was als een vriendelijk dashboard dat de interviewer vertelde: "Hé, je hebt nog niet naar het inlogscherm gevraagd," of "Je bent al een tijdje bezig met betalingen, misschien moet je hier dieper op ingaan?" De interviewers vonden dit een geweldig kenmerk en beoordelden het als het meest nuttige onderdeel van het systeem.
Dus, wat is de kern van het verhaal? De studie suggereert dat het geven van een slimme AI-assistent aan een ongetrainde persoon daadwerkelijk betere resultaten kan opleveren dan het geven van geen hulp aan een getrainde persoon. De AI hielp de interviewers om gefocust te blijven, meer vervolgvragen te stellen en diepere details te ontdekken over wat gebruikers echt nodig hebben. Maar het toonde ook aan dat AI geen vervanging is voor menselijk oordeel; de beste resultaten kwamen voort uit het feit dat de AI het zware werk van het bijhouden en plannen deed, terwijl de menselijke interviewer deze ondersteuning gebruikte om een natuurlijker, dieper gesprek te voeren. Het gaat er niet om dat de AI het werk voor je doet; het gaat erom dat de AI de zaklamp vasthoudt zodat jij de aanwijzingen duidelijker kunt zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.