AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
Dit ervaringsverslag toont aan dat door AI uitgevoerde, zelfgestuurde interviews operationeel levensvatbaar zijn en goed worden ontvangen door deelnemers voor korte, laag-risico empirische software engineering-studies, hoewel ze momenteel het beste dienen als een aanvullende tool voor door mensen geleide interviews vanwege beperkingen in diepgang, sensitiviteit en privacy.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van software engineering voor als een enorme, levendige bouwplaats waar teams digitale wolkenkrabbers bouwen. Om te begrijpen hoe deze bouwers werken, komen onderzoekers vaak langs met klembordjes en stellen ze vragen, een methode die "interviews" wordt genoemd. Het is als een detective die met een getuige praat om te achterhalen hoe een misdaad is gepleegd, maar in plaats van misdaden onderzoeken ze hoe programmeurs bugs oplossen, hun dagen organiseren of nieuwe tools gebruiken. Traditioneel vereist dit een menselijke onderzoeker die gaat zitten, vragen stelt en aantekeningen maakt, wat tijdrovend is en lastig wanneer iedereen in verschillende tijdzones zit of verschillende talen spreekt.
Onlangs is er een nieuw soort "digitale detective" gearriveerd: Kunstmatige Intelligentie (AI). Denk aan AI als een super slimme robot die miljoenen boeken kan lezen en heeft geleerd om te praten als een mens. Omdat deze robots steeds beter worden in gesprekken, begonnen onderzoekers zich af te vragen: "Kunnen we de robot het interview laten doen in plaats van een mens?" Dit is de grote vraag die dit artikel aanpakt. Het vraagt of een robot succesvol met softwareontwikkelaars kan chatten, hen over hun werk kan bevragen en nuttige verhalen kan verzamlen zonder dat een mens ooit de telefoon opneemt. De onderzoekers proberen niet te bewijzen dat de robot beter is dan een mens, maar eerder of het een mogelijk hulpmiddel is dat goed genoeg werkt om nuttig te zijn.
Het Experiment: De Microfoon Overdragen aan de Robot
In deze studie besloten de onderzoekers uit Brazilië dit idee uit te proberen. Ze creëerden twee aangepaste "AI-interviewers" (die ze MyGPTs noemden) en stuurden ze uit om met softwareprofessionals te praten. De ene robot was ontworener om vragen te stellen over "refactoring" — een chique woord voor het opruimen van rommelige code om het beter te laten draaien. De andere robot vroeg naar het gebruik van AI-tools binnen "Scrum", een populaire manier waarop teams hun werk organiseren.
In plaats van een videocall in te plannen, stuurden de onderzoekers een link. De deelnemers klikten erop, openden de chat op hun eigen telefoon of computer en begonnen te praten. Ze konden zelfs hun stem gebruiken om tegen de robot te praten, net als bij een slimme assistent. De robot stelde een reeks vragen, luisterde naar de antwoorden en schreef aan het einde automatisch een nette samenvatting van het gesprek. De deelnemer moest vervolgens op een knop klikken om die samenvatting naar de onderzoekers te sturen. Het was een self-service interview: geen menselijke onderzoeker in de kamer, geen planningsconflicten, en het hele proces vond plaats wanneer de deelnemer dat wilde.
Wat Ze Vonden: Het Goede, Het Vreemde en Het Glitchy
De onderzoekers bekeken 66 van deze voltooide interviews. Hier is wat de data hen vertelde, onderverdeeld in het goede nieuws en de zaken die gerepareerd moeten worden.
Het Goede Nieuws: Mensen Vonden Het Leuk
De meeste mensen die het interview voltooiden, vonden het een vrij leuke ervaring.
- Comfort: Ongeveer 91% voelde zich comfortabel bij het beantwoorden van de vragen.
- Duidelijkheid: Bijna 96% zei dat de vragen van de robot gemakkelijk te begrijpen waren.
- Snelheid: Meer dan 97% vond dat het gesprek in een goed tempo verliep.
- Bereidheid: Bijna 90% gaf aan bereid te zijn dit opnieuw te doen.
Het blijkt dat veel mensen het idee leuk vonden om met een robot te praten. Sommigen voelden minder druk dan bij een mens en ze waardeerden het om op hun eigen tempo te kunnen antwoorden zonder dat iemand op zijn horloge keek.
De "Wacht, Wat?" Momenten
Het was echter niet perfect. Wanneer ze gevraagd werd om de robot te vergelijken met een menselijke interviewer, waren de resultaten wat gemengd. Ongeveer 42% vond dat ze er precies tussenin zaten — noch beter, noch slechter. Ongeveer 38% gaf de voorkeur aan een gesprek met een mens, terwijl slechts ongeveer 20% de voorkeur gaf aan de robot.
De grootste klachten waren dat de robot soms vragen stelde die te algemeen aanvoelden of niet diep genoeg in de antwoorden inging. Ongeveer 29% van de mensen vond dat de robot niet gevoelig genoeg was voor hun specifieke verhalen, en een ander 27% vond dat het gesprek niet diep genoeg ging. Sommige mensen misten de menselijke connectie en vonden het een beetje vreemd om met een machine te praten in plaats van met een persoon.
De Technische Haperingen
Er waren ook praktische problemen.
- De Verkeerde Samenvatting: In ongeveer 9% van de gevallen (6 van de 66) stuurde de deelnemer het verkeerde terug. In plaats van de nette samenvatting die de robot genereerde, plakten ze willekeurige delen van de chat of ongestructureerde tekst terug.
- Het Verkeerde Onderwerp: In 2 gevallen beantwoordden deelnemers vragen over "Scrum", maar stuurden ze een samenvatting over "refactoring" terug, wat laat zien dat de link tussen de vraag en het antwoord in de war kan raken wanneer een mens dit alleen doet.
- Stemproblemen: Omdat mensen hun stem gebruikten, begreep de robot soms geluiden verkeerd. Eén persoon merkte op dat een hoestje per ongeluk als antwoord werd opgenomen, wat de flow van het interview verstoende.
De Grote Conclusie: Een Nuttige Bijrijder, Geen Vervanging
Het belangrijkste wat dit artikel ons vertelt, is wat de AI-interviewers wel en niet kunnen doen.
De onderzoekers zijn heel duidelijk: Ze hebben niet bewezen dat robots menselijke interviewers kunnen vervangen. Ze hebben niet gecontroleerd of de samenvattingen van de robot even accuraat, diepgaand of rijk waren als de aantekeningen van een mens. Ze controleerden alleen of het proces werkte en of mensen er oké mee waren.
De conclusie is dat AI-interviews een complementair hulpmiddel zijn. Ze zijn perfect voor snelle, korte, laag-risico gesprekken waarbij je alleen een algemeen idee wilt krijgen van wat mensen denken. Ze zijn fantastisch om tijd te besparen op het inplannen en om mensen de kans te geven wanneer zij willen te praten. Maar, als je diep moet graven in complexe emoties, met zeer gevoelige geheimen moet omgaan, of een superdiep begrip nodig hebt van een lastig probleem, dan blijft een menselijke interviewer de beste keuze.
Beschouw de AI-interviewer als een zelfscankassa bij een supermarkt. Het is snel, handig en werkt prima voor een paar artikelen. Maar als je een vreemde kortingsbon hebt, een zware zak aardappelen, of een vraag hebt over de groenten, dan wil je nog steeds een menselijke kassier. Deze studie laat zien dat voor softwareonderzoekers de "zelfscan" klaar is voor gebruik, maar dat ze nog steeds een mens in de loop moeten houden om te zorgen dat de data van goede kwaliteit is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.