LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda

1. Probleemstelling

Empirische Software Engineering (ESE) staat voor toenemende uitdagingen op het gebied van dataschaal, methodologische complexiteit en reproduceerbaarheid. Hoewel Large Language Models (LLM's) zijn opgekomen als krachtige hulpmiddelen voor software-engineeringstaken (bijvoorbeeld codegeneratie), blijft hun toepassing als methodologische instrumenten om het onderzoeksproces zelf te ondersteunen (bijvoorbeeld datacollectie, analyse, synthese) gefragmenteerd.

De huidige literatuur mist een systematische synthese van:

• Welke specifieke ESE-onderzoekstaken en levenscyclusfasen LLM's ondersteunen.
• Hoe LLM's worden geïntegreerd in empirische workflows (automatisering versus augmentatie).
• De gerapporteerde voordelen, beperkingen en risico's (bijvoorbeeld hallucinaties, bias).
• De mate waarin studies de noodzakelijke details voor reproduceerbaarheid rapporteren (prompts, configuraties, validatie).

Zonder deze synthese kunnen onderzoekers de betrouwbaarheid van door LLM's ondersteunde workflows niet kritisch beoordelen of richtlijnen vaststellen voor verantwoord gebruik.

2. Methodologie

De auteurs hebben een Systematic Literature Review (SLR) uitgevoerd volgens gevestigde richtlijnen voor secundaire studies in software engineering.

• Scope & Tijdspanne: Gepubliceerde, peer-reviewed papers tussen 2020 en 2025.
• Venues: 12 toonaangevende software-engineering-venues (CORE A*/A-gerangschikt), inclusief conferenties (ICSE, FSE, MSR, ESEM, enz.) en tijdschriften (TSE, EMSE, IST, enz.).
• Zoekstrategie: Vanwege de moeilijkheid om methodologisch LLM-gebruik uitsluitend via trefwoorden in titel of abstract te vangen, hebben de auteurs:
  1. De volledige proceedings van de 12 venues gedownload (8.641 papers).
  2. Volledige tekst-trefwoordfiltering toegepast (bijvoorbeeld "LLM", "Generative AI", "ChatGPT", "Prompt").
  3. 1.882 papers handmatig gescreend aan de hand van opname- en uitsluitingscriteria.
• Selectiecriteria:
  • Opname: Studies waarin LLM's ESE-onderzoekstaken ondersteunen/automatiseren (screenen, coderen, synthetiseren) OF studies die LLM's empirisch onderzoeken binnen een ESE-context.
  • Uitsluiting: Studies die LLM's uitsluitend gebruiken voor algemene softwareontwikkeling (bijvoorbeeld codegeneratietools) zonder empirisch onderzoekscomponent.
• Einddataset: 50 primaire studies werden geselecteerd voor diepgaande analyse.
• Data-analyse:
  • Kwalitatief: Beschrijvende codering van taken, thematische analyse van voordelen/beperkingen, en mapping naar fasen van de onderzoekslevenscyclus.
  • Kwantitatief: Frequentieanalyse van taken, modellen en rapportagepraktijken.
  • Reproduceerbaarheidsevaluatie: Beoordeeld tegen 9 transparantie-richtlijnen (bijvoorbeeld rapportage van modelversies, prompts, menselijke validatie).

3. Belangrijkste Bijdragen

1. Taxonomie van door LLM's ondersteunde taken: Identificatie van 69 verschillende taken die door LLM's worden ondersteund, geabstraheerd naar functionele rollen (bijvoorbeeld Semantische Classificatie, Criteriumgebaseerde Screening, Evaluatie).
2. Levenscyclusmapping: Analyse van hoe LLM's zijn verdeeld over de ESE-onderzoekslevenscyclus (Planning, Datacollectie, Verwerking, Analyse, Rapportage).
3. Integratiepatronen: Karakterisering van LLM-betrokkenheidsmodi: Automatisering, Augmentatie, Besluitvormingsondersteuning en Evaluatie.
4. Synthese van voordelen en beperkingen: Een thematische kaart van gerapporteerde voordelen (efficiëntie, schaalbaarheid) en risico's (hallucinaties, promptgevoeligheid, reproduceerbaarheidsproblemen).
5. Reproduceerbaarheidsaudit: Een beoordeling van rapportagepraktijken, waarbij significante gaten in transparantie aan het licht kwamen (bijvoorbeeld ontbrekende prompts of configuratiedetails).
6. Onderzoeksagenda: Een routekaart voor toekomstig werk met focus op mens-AI-samenwerking, agentische systemen en gestandaardiseerde rapportage.

4. Belangrijkste Resultaten

A. Taken en Rollen (RQ1)

• Dominante Rollen: LLM's worden voornamelijk gebruikt voor Classificatie (17 taken), Screening/Filtering (14 taken) en Evaluatie (11 taken).
• Onderbenutte Rollen: Complexe redenering, cross-domein abstractie en integratieve analyse worden zelden onderzocht.
• Context: Taken zijn voornamelijk gestructureerd en goed gedefinieerd (bijvoorbeeld het classificeren van commit-berichten, het screenen van papertitels).

B. Onderzoeksfasen (RQ2)

• Concentratie: LLM-gebruik is sterk geconcentreerd in de fasen Data Verwerking en Analyse & Synthese.
• Methoden: Meest voorkomend in Mining Software Repositories (MSR) en Gecontroleerde Experimenten/Case Studies.
• Gaten: Beperkte adoptie in de fasen Planning & Ontwerp en Rapportage.

C. Integratiemodi (RQ3)

• Dominantie van Automatisering: 60,9% van de taken is volledig geautomatiseerd (LLM voert de taak uit met minimale menselijke tussenkomst).
• Beperkte Samenwerking: Slechts 18,8% is Augmentatie (LLM assisteert de mens) en 1,5% is Besluitvormingsondersteuning (LLM stelt opties voor voor menselijke keuze).
• Implicatie: LLM's worden momenteel gebruikt om besluitvormingsstappen te vervangen in plaats van menselijke redenering te ondersteunen.

D. Voordelen en Beperkingen (RQ4)

• Voordelen: Voornamelijk geciteerd als Efficiëntiewinst (verminderde handmatige inspanning) en Schaalbaarheid (verwerking van grote datasets). Analytische prestaties (semantisch begrip) worden ook zeer gewaardeerd.
• Beperkingen:
  • Cognitief/Kennis: Hallucinaties, classificeerfouten en gebrek aan domeinbegrip.
  • Inputgevoeligheid: Hoge afhankelijkheid van prompt-engineering; kleine wijzigingen in prompts leveren verschillende resultaten op.
  • Reproduceerbaarheid: Inconsistentie in outputs en gebrek aan stabiele opmaak.
  • Rapportagekloof: Veel studies (29/50) rapporteerden geen beperkingen; voordelen worden vaak aangenomen in plaats van empirisch gevalideerd binnen de studie.

E. Reproduceerbaarheid (RQ5)

• Rapportagetekortkomingen: Hoewel modelversies vaak worden gerapporteerd, ontbreken kritieke details:
  • Prompts: Vaak onvolledig of ontbrekend.
  • Configuraties: Temperatuur, tokenlimieten en de redenering voor instellingen worden vaak weggelaten.
  • Validatie: Menselijke validatieprocedures worden zelden gedetailleerd beschreven.
• Conclusie: Huidige rapportagepraktijken zijn ontoereikend om door LLM's ondersteunde empirische analyses te reproduceren.

5. Betekenis en Onderzoeksagenda

Betekenis:
Dit paper vestigt het eerste uitgebreide beeld van LLM's als onderzoeksinstrumenten in ESE. Het benadrukt een kritieke disconnect: terwijl LLM's transformatief potentieel bieden voor schaalbaarheid, is de huidige adoptie automatiseringsgericht, taakspecifiek en methodologisch ondoorzichtig. Het gebrek aan transparantie bedreigt de validiteit en reproduceerbaarheid van empirische bevindingen.

Voorgestelde Onderzoeksagenda:
De auteurs schetsen een verschuiving van "automatisering" naar "samenwerking" en "ontdekking":

1. Mens-AI-samenwerking: Ga voorbij volledige automatisering naar interactieve, mens-in-de-lus workflows waarbij LLM's suggesties doen in plaats van definitieve beslissingen.
2. Agentische AI: Verken agentische systemen die in staat zijn tot het plannen van meerstapsworkflows, gebruik van tools en iteratief redeneren.
3. Ontdekkingsondersteuning: Onderzoek LLM's voor hypothesevorming, exploratieve analyse en het blootleggen van nieuwe patronen.
4. Levenscyclusuitbreiding: Breid LLM-ondersteuning uit naar de fasen Planning (studieontwerp) en Rapportage.
5. Standaardisatie: Vestig en handhaaf strenge rapportagerichtlijnen (prompts, configuraties, validatie) om reproduceerbaarheid te waarborgen.
6. Diversificatie: Verminder de afhankelijkheid van één modelfamilie (bijvoorbeeld ChatGPT) om de externe validiteit te verbeteren.

Kortom, het paper betoogt dat voor de volwassenwording van door LLM's ondersteunde ESE, de gemeenschap voorbij moet gaan aan het behandelen van LLM's als eenvoudige automatiseringstools en in plaats daarvan rigoureuze, transparante en collaboratieve kaders moet ontwikkelen die ze verantwoord integreren in de wetenschappelijke methode van software engineering.