GenAI Is No Silver Bullet for Qualitative Research in Software Engineering

Dit paper betoogt dat generatieve AI geen alomvattende oplossing is voor kwalitatief onderzoek in software engineering, maar dat de toepassing ervan zorgvuldig moet worden afgestemd op specifieke onderzoekstrategieën en data om de beloften en valkuilen van deze technologie te begrijpen.

De kern

GenAI is geen magische toverstaf voor kwalitatief onderzoek in softwareontwikkeling

Stel je voor dat softwareontwikkeling een enorme, complexe stad is. In deze stad werken duizenden mensen samen aan gebouwen (software), maar ze praten ook constant met elkaar, maken plannen, en hebben ruzies. Kwalitatief onderzoek is zoals een journalist die deze stad bezoekt om te begrijpen hoe mensen zich voelen, waarom ze bepaalde keuzes maken en wat de sfeer is. Het gaat niet om het tellen van bakstenen (dat is kwantitatief), maar om het begrijpen van de verhalen erachter.

Nu is er een nieuwe technologie opgedoken: GenAI (zoals ChatGPT). Sommige mensen zeggen: "Wauw, deze AI kan al die verhalen voor ons lezen en samenvatten! We hoeven nooit meer zelf te werken!"

De auteurs van dit artikel, Neil en Christoph, zeggen echter: "Nee, wacht even. GenAI is geen wondermiddel." Het is een handig hulpmiddel, maar het kan de menselijke onderzoeker niet vervangen.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. De stad van de software (De context)

Softwareontwikkeling is niet alleen code. Het is een mix van code, e-mails, vergadernotities, en interviews met developers.

• De uitdaging: Een onderzoeker moet al die losse stukjes informatie samenvoegen tot één groot verhaal. Het is alsof je een puzzel moet leggen waarbij de stukjes niet alleen tekst zijn, maar ook tekeningen, geluiden en geheime codes.
• De rol van de mens: De onderzoeker moet niet alleen lezen, maar ook voelen wat er gebeurt. Waarom was die developer boos? Waarom werd die beslissing genomen? Dat vereist menselijk inzicht.

2. Wat kan GenAI wel? (De snelle assistent)

GenAI is geweldig in specifieke, saaie taken. Stel je voor dat GenAI een super-snelle fotokopieer-machine is die ook kan samenvatten.

• Deductief coderen: Als je al precies weet wat je zoekt (bijvoorbeeld: "Zoek alle zinnen waarin iemand 'boos' is"), kan de AI dat heel snel doen. Het is als een robot die in een berg papier zoekt naar het woord "rood".
• Samenvatten: Het kan een uur durend interview in twee minuten samenvatten.
• Vertalen: Het kan tekst van het Engels naar het Nederlands vertalen.

Maar: Dit werkt alleen als de regels heel strak zijn. De AI is als een zeer gehoorzame stagiair die precies doet wat je zegt, maar niet begrijpt waarom je het vraagt.

3. Wat kan GenAI NIET? (De menselijke ziel)

Hier wordt het lastig. Kwalitatief onderzoek gaat vaak over het vinden van nieuwe dingen die je nog niet wist (inductief onderzoek).

• Het ontbrekende inzicht: Stel je voor dat je een detective bent. De AI kan je alle bewijsstukken tonen, maar het kan niet snuffelen in de hoekjes waar de waarheid verborgen zit. Het mist de "sociale context". Het begrijpt niet waarom een developer een grapje maakt in een chat, of waarom een stilte in een vergadering zwaar weegt.
• De "Hallucinaties": Soms verzint de AI feiten. Het kan een verhaal bedenken dat logisch klinkt, maar helemaal niet waar is. In onderzoek is dit gevaarlijk, want je bouwt je conclusies op die leugens.
• De filosofische clash: Kwalitatief onderzoek is vaak gebaseerd op het idee dat kennis samen wordt gemaakt door mensen (constructivisme). Een AI is een statistisch model; het "denkt" niet mee, het berekent alleen. Het is alsof je een robot vraagt om mee te doen aan een diep gesprek over de zin van het leven. De robot kan woorden voorspellen, maar hij heeft geen ziel.

4. De valkuilen (Waar we op moeten passen)

• Te veel vertrouwen: Als we de AI te veel vertrouwen, verliezen we de nuance. Het is alsof je een kaart gebruikt die alleen de hoofdstraten laat zien, maar de smalle steegjes waar het echte leven zich afspeelt, negeert.
• Bias (Vooroordelen): De AI is getraind op bestaande data. Als die data vooroordelen bevat, zal de AI die ook overnemen.
• Geheimhouding: Als je vertrouwelijke bedrijfsgegevens in een openbare AI stopt, is dat een risico. Het is alsof je je geheime recepten in een openbaar boek zet.

5. De conclusie: Samenwerking, geen vervanging

De boodschap van het artikel is duidelijk: GenAI is een geweldig gereedschap, maar geen meester.

• Goed gebruik: Gebruik de AI om saaie taken te doen, zoals het transcriberen van audio of het markeren van bekende termen. Laat de AI de "schoonmaak" doen.
• Slecht gebruik: Laat de AI niet de "onderzoeker" zijn die de conclusies trekt. De mens moet de regie houden, de vragen stellen en de diepere betekenis interpreteren.

Kortom:
Stel je voor dat je een tuin wilt begrijpen. De GenAI kan alle bloemen tellen, hun namen opzoeken en de grond analyseren. Maar alleen een mens kan voelen hoe de wind door de bladeren waait, begrijpen waarom die ene plant verwelkt, en het verhaal van de tuin vertellen.

De toekomst ligt in een hybride team: de AI doet het zware, snelle werk, en de mens doet het creatieve, diepzinnige denken. Als we denken dat de AI alles kan, verliezen we de menselijke ziel van het onderzoek.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "GenAI Is No Silver Bullet for Qualitative Research in Software Engineering" van Ernst en Treude, in het Nederlands.

Probleemstelling

Kwalitatief onderzoek in Software Engineering (SE) is essentieel om de menselijke, sociaal-technische aspecten van softwareontwikkeling te begrijpen. Deze methoden omvatten diverse strategieën zoals veldstudies, interviews, grondtheorie (grounded theory) en thematische analyse. De data is complex en heterogeen, bestaande uit een mix van technische artefacten (broncode, issue trackers, commit logs) en mensgerichte data (interviewtranscripten, observaties).

Met de opkomst van Generatieve AI (GenAI) en Large Language Models (LLMs) doen er claims de ronde dat kwalitatieve analyse geautomatiseerd kan worden. De auteurs stellen echter dat deze claims gebaseerd zijn op overgeneralisaties van smalle successen. Het probleem is dat de huidige toepassing van GenAI vaak de epistemologische nuances (de filosofische grondslagen) van kwalitatief onderzoek negeert, met name bij constructivistische benaderingen waar betekenis gezamenlijk wordt geconstrueerd. Er bestaat een risico dat onderzoekers GenAI als een "zilveren kogel" zien, terwijl de technologie beperkt is in het begrijpen van context, nuance en de menselijke interpretatie die nodig is voor diepgaand SE-onderzoek.

Methodologie

Het artikel hanteert een conceptuele en empirisch onderbouwde benadering om de rol van GenAI in kwalitatief SE-onderzoek te analyseren:

1. Conceptueel Kader: De auteurs gebruiken het bestaande spectrum van kwalitatieve onderzoekstrategieën in SE (zoals beschreven door Storey et al.), onderscheidend tussen respondentenstrategieën (enquêtes/interviews), veldstrategieën (ethnografie) en lab/data-strategieën. Ze analyseren hoe GenAI past bij verschillende epistemologische oriëntaties (post-positivisme vs. constructivisme) en coderingsstrategieën (inductief vs. deductief).
2. Empirische Review (Preliminary Report): Om het huidige gebruik te kwantificeren, hebben de auteurs een systematische screening uitgevoerd van conferentiedocumenten uit 2025 (ICSE, CHASE, en CSCW).
   • Ze filterden papers op trefwoorden gerelateerd aan kwalitatieve codering.
   • Ze gebruikten een LLM (ChatGPT gpt-5.1-codex-max) om te scannen welke papers daadwerkelijk GenAI gebruikten voor codering.
   • Ze handmatig de methodesecties van de papers door om de aard van het gebruik te verifiëren.
3. Literatuursynthese: De auteurs synthetiseren bestaand empirisch bewijs uit andere studies over GenAI in kwalitatief onderzoek (o.a. over deductieve codering, samenvattingen en vertalingen) en vergelijken dit met de eisen van SE-specifiek onderzoek.

Belangrijkste Bijdragen

De paper biedt een genuanceerd overzicht van de mogelijkheden en beperkingen van GenAI in kwalitatief SE-onderzoek:

• Definitie van het Spectrum: Een duidelijke indeling van kwalitatief onderzoek in SE, waarbij wordt benadrukt dat GenAI het beste past bij post-positivistische, deductieve benaderingen, maar fundamenteel in strijd is met constructivistische principes (zoals reflexiviteit en gezamenlijke betekenisvorming).
• Empirische Status Quo: Een data-gedreven analyse van het daadwerkelijke gebruik van GenAI in recente SE-publicaties, wat aantoont dat het gebruik nog zeer beperkt en specifiek is.
• Kwaliteitscriteria herdefiniëren: Een heroverweging van traditionele kwaliteitscriteria (betrouwbaarheid, validiteit, ethiek) in de context van GenAI, met name met betrekking tot hallucinaties, bias en transparantie.
• Onderzoeksagenda: Een concreet plan voor toekomstig werk om de rol van GenAI te benchmarken en te integreren in mens-AI workflows.

Resultaten

De analyse levert de volgende kernbevindingen op:

1. Beperkt Huidig Gebruik: In de onderzochte conferenties (ICSE, CHASE, CSCW 2025) gebruikte slechts een klein percentage van de kwalitatieve papers (3,3% bij CSCW, 0% bij ICSE/CHASE) GenAI voor daadwerkelijke kwalitatieve analyse. Waar GenAI wel werd gebruikt, was dit voornamelijk voor:
   • Deductieve codering (toepassen van bestaande codeboeken).
   • Samenvattingen en vertalingen.
   • Meta-studies over hoe GenAI zou kunnen worden gebruikt.
   • Er was geen bewijs voor inductieve, thematische analyse of grondtheorie met GenAI.
2. Sterke Punten (Beloften):
   • GenAI is effectief voor het versnellen van deductieve codering bij goed gedefinieerde labels.
   • Het is nuttig voor het samenvatten van grote hoeveelheden tekst (transcripten, chatlogs) en vertaling.
   • Het kan helpen bij het identificeren van patronen in grote datasets als startpunt voor menselijke analyse.
3. Zwakke Punten (Valkuilen):
   • Contextgebrek: GenAI faalt bij taken die diepe contextuele kennis vereisen, zoals het interpreteren van causale relaties in socio-technische workflows of het begrijpen van impliciete betekenissen.
   • Epistemologisch Conflict: Het gebruik van GenAI als "coder" is problematisch voor constructivistisch onderzoek, waar de onderzoeker zijn eigen positie en bias moet reflecteren. Een neurale netwerk kan dit niet.
   • Hallucinaties en Bias: GenAI kan plausibele maar onjuiste codes genereren en inherits biases uit trainingsdata, wat de validiteit van het onderzoek ondermijnt.
   • Reproduceerbaarheid: De output is gevoelig voor prompt-woordkeuze en willekeurige zaden (seeds), wat consistentie in vraagstukken met meerdere coderen bemoeilijkt.
4. Kwaliteitsimplicaties: De introductie van GenAI vereist nieuwe protocollen voor transparantie (documentatie van prompts, modelversies) en ethische governance (privacy van broncode en interne communicatie).

Betekenis en Conclusie

De paper concludeert dat GenAI geen vervanging is voor de menselijke onderzoeker in kwalitatief SE-onderzoek, maar wel een waardevol hulpmiddel kan zijn als het correct wordt ingezet binnen een hybride workflow.

• Rol van GenAI: Het moet worden gezien als een assistent voor specifieke, goed gedefinieerde taken (zoals deductieve annotatie of samenvatting), niet als een autonome onderzoeker.
• Toekomstvisie: De auteurs pleiten voor een onderzoekagenda die zich richt op het benchmarken van GenAI tegen meerdere menselijke coderen, het ontwikkelen van mens-AI workflows die reflexiviteit behouden, en het creëren van standaarden voor rapportage.
• Waarschuwing: Er is een groot risico dat de schaalbaarheid van GenAI leidt tot een verlies van de nuance, creativiteit en diepgang die kenmerkend zijn voor hoogwaardig kwalitatief onderzoek. De SE-gemeenschap moet waakzaam zijn om de menselijke interpretatie en ethische verantwoordelijkheid niet uit handen te geven.