Guidelines for Empirical Studies in Software Engineering involving Large Language Models

Probleemstelling

Grote Taalmodellen (LLMs) zijn tegenwoordig alomtegenwoordig in software-engineering (SE) onderzoek en praktijk. Echter, hun inherente niet-determinisme, ondoorzichtige trainingsdata en snelle evolutie vormen een ernstige bedreiging voor de reproduceerbaarheid en replicatie van empirische studies.

• Niet-determinisme: Kleine wijzigingen in prompts of configuraties leiden tot aanzienlijk verschillende resultaten.
• Model-evolutie: Commerciële modellen veranderen vaak zonder versie-indicatoren, waardoor gerapporteerde prestaties over tijd kunnen veranderen.
• Gebrek aan transparantie: Zelfs bij "open" modellen blijven trainingsdata en fijnafstelmethode (fine-tuning) vaak onbekend.
• Prompt-gevoeligheid: Keuzes in prompt-opmaak kunnen de nauwkeurigheid met tientallen procenten verschuiven.

Bestaande richtlijnen voor empirisch SE-onderzoek (zoals die voor gecontroleerde experimenten) adresseren deze LLM-specifieke uitdagingen niet. Er was behoefte aan een gemeenschappelijk kader om studies met LLMs valide, transparant en reproduceerbaar te maken.

Methodologie

Dit project is een samenwerking van 22 onderzoekers uit het software-engineering domein, geïnitieerd tijdens de ISERN-conferentie in 2024. Het proces volgde een gevestigde traditie van het ontwikkelen van rapportage-richtlijnen door expertcollaboratie (vergelijkbaar met CONSORT voor klinische trials).

• Iteratief proces: Bi-weekse vergaderingen, peer-review rondes en interne validatie.
• Selectie van voorbeelden: Co-auteurs hebben onafhankelijk relevante papers gezocht om de richtlijnen te illustreren, waarbij bias werd geminimaliseerd door meerdere reviewers.
• Validatie: De richtlijnen zijn getoetst aan de kwaliteitseisen van de SIGSOFT Empirical Standards en extern beoordeeld door experts.
• Levende resource: De richtlijnen worden online onderhouden als een "living resource" (llm-guidelines.org) om door de gemeenschap verder ontwikkeld te worden.

Belangrijkste Bijdragen

De paper introduceert twee kerncomponenten: een taxonomie van studietypes en acht specifieke richtlijnen.

1. Taxonomie van Studietypes (7 Types)

Om de richtlijnen te contextualiseren, worden LLMs in SE-onderzoek ingedeeld in zeven categorieën:

1. LLMs als Annotators (S1): Gebruik voor het coderen of labelen van kwalitatieve data (bijv. interviews, reviews).
2. LLMs als Judges (S2): Gebruik voor het beoordelen van software-artefacten (bijv. code-kwaliteit, naleving van standaarden).
3. LLMs voor Synthese (S3): Integratie en interpretatie van informatie uit meerdere bronnen (bijv. thematische analyse) of het genereren van synthetische data.
4. LLMs als Subjects (S4): Simulatie van menselijk gedrag in experimenten (bijv. virtuele deelnemers in usability-tests).
5. Studying LLM Usage (S5): Onderzoek naar hoe software-engineers LLM-tools in de praktijk gebruiken.
6. LLMs voor Nieuwe SE-tools (S6): Het ontwikkelen van tools die LLMs integreren (bijv. GenAI agents, code-assistenten).
7. Benchmarking LLMs (S7): Het evalueren van LLM-prestaties op gestandaardiseerde taken en datasets.

2. Acht Richtlijnen voor Ontwerp en Rapportage

Elke richtlijn onderscheidt tussen verplichte eisen ("must") en aanbevelingen ("should").

• G1: Declareer LLM-gebruik en rol: Transparantie is cruciaal. Onderzoekers moeten expliciet vermelden welk model, hoe het is gebruikt en waar in het proces.
• G2: Rapporteer Modelversie, Configuratie en Aanpassingen: Exacte versie, datum, parameters (zoals temperatuur, seed), en details over fine-tuning (doel, dataset, procedure) moeten worden gerapporteerd.
• G3: Rapporteer Tool-architectuur buiten het model: De softwarelagen rondom het model (pre-processing, RAG, agents, tool-calls) beïnvloeden de output en moeten gedocumenteerd worden.
• G4: Rapporteer Prompts, Ontwikkeling en Interactielogs: Alle prompts, templates, ontwikkelstrategieën en interactielogs (input/output) moeten beschikbaar zijn als supplementair materiaal om reproduceerbaarheid te garanderen.
• G5: Gebruik Menselijke Validatie voor LLM-outputs: Waar geen referentiedata bestaat, moeten LLM-outputs worden gevalideerd door mensen. Dit vereist duidelijke constructen, meetinstrumenten en rapportage van onderlinge overeenstemming (inter-rater reliability).
• G6: Gebruik een Open LLM als Baseline: Bij het gebruik van commerciële modellen moet een open model (waarbij de weights toegankelijk zijn) als baseline worden opgenomen om onafhankelijke verificatie mogelijk te maken.
• G7: Gebruik Geschikte Baselines, Benchmarks en Metrieken: Metrieken moeten worden gerechtvaardigd en hun validiteit (construct validity) moet worden besproken. Door niet-determinisme moeten experimenten worden herhaald en resultaten als verdeling worden gerapporteerd.
• G8: Rapporteer Limitaties en Mitigaties: Onderzoekers moeten eerlijk de beperkingen rapporteren (bijv. data-lekkage, niet-determinisme, generaliseerbaarheid) en beschrijven welke strategieën (zoals triangulatie, menselijke validatie) zijn toegepast om deze te mitigeren.

Resultaten en Uitkomsten

De paper levert geen nieuwe empirische data op, maar biedt een framework dat direct toepasbaar is voor auteurs en reviewers:

• Een toepasbaarheidsmatrix die aangeeft welke richtlijnen ("must" vs. "should") van toepassing zijn op elk van de zeven studietypes.
• Een rapportagechecklist (Appendix A) die auteurs helpt bij het structureren van hun manuscript (Introductie, Methode, Resultaten, etc.) en reviewers bij het beoordelen van de kwaliteit.
• Een gedetailleerde analyse van de voordelen (schaalbaarheid, kostenreductie) en uitdagingen (bias, validiteit, ethiek, duurzaamheid) van het gebruik van LLMs in empirisch onderzoek.

Significantie

Deze richtlijnen zijn van fundamenteel belang voor de toekomst van het software-engineering onderzoek:

1. Herstel van Reproduceerbaarheid: Ze bieden een concrete weg om de reproduceerbaarheid te verbeteren in een domein waar modellen continu veranderen en vaak gesloten zijn.
2. Kwaliteitsborging: Ze verhogen de methodologische rigoriteit door onderzoekers te dwingen om kritisch na te denken over validiteit, betrouwbaarheid en de rol van menselijke validatie.
3. Standaardisatie: Ze creëren een gemeenschappelijke taal en standaard voor het rapporteren van LLM-onderzoek, wat vergelijking tussen studies mogelijk maakt.
4. Ethiek en Duurzaamheid: Ze benadrukken de noodzaak om ethische aspecten (bias, privacy) en de omgevingsimpact (energieverbruik) van LLM-experimenten te adresseren.

Kortom, dit artikel vormt de basis voor een nieuwe generatie empirisch SE-onderzoek dat transparant, betrouwbaar en wetenschappelijk verantwoord is in het tijdperk van Large Language Models.