Technisch overzicht: LLM-gestuurde kosteneffectieve impactanalyse van wijzigingen in eisen

Probleemstelling

Software-eisen zijn inherent onderhevig aan verandering gedurende de ontwikkelingslevenscyclus. Het identificeren van de impact van deze wijzigingen op andere eisen (Change Impact Analysis, of CIA) is cruciaal voor het behoud van systeemconsistentie, veiligheid en naleving. Handmatige identificatie is echter foutgevoelig, arbeidsintensief en slaagt er vaak niet in om impliciete of semantische afhankelijkheden te vangen, met name in grote, complexe systemen. Traditionele geautomatiseerde benaderingen, zoals traceability link recovery (TLR) of syntactische afhankelijkheidsanalyse, hebben vaak moeite met de variabiliteit van wijzigingsverzoeken, die kunnen worden uitgedrukt als beschrijvende natuurlijke taal-rationales in plaats van directe modificaties van de eisen. Bestaande TLR-technieken, ontworpen om links tussen artefacten te herstellen met vergelijkbare natuurlijke taalstijlen, slagen er vaak niet in om de genuanceerde, indirecte en semantische afhankelijkheden te vatten die vereist zijn om de propagatie van wijzigingen accuraat te voorspellen wanneer een wijzigingsrationale wordt verstrekt.

Methodologie: ProReFiCIA

De auteurs stellen ProReFiCIA (Prompt-Refinement-Filtering voor CIA) voor, een geautomatiseerde, door LLM gestuurde benadering die is ontworig om getroffen eisen te identificeren wanneer een wijzigingsrationale wordt geïntroduceerd. De methodologie is gestructureerd in twee hoofdfasen:

Fase 1: Optimalisatie van Model en Prompt

Voordat de volledige pipeline wordt toegepast, hebben de auteurs een uitgebreide evaluatie uitgevoerd om het meest robuuste Large Language Model (LLM) en de meest optimale promptconfiguratie te bepalen.

• Prompt Engineering: Met behulp van de RICE-template (Role, Instruction, Context, Examples) hebben de auteurs 64 verschillende promptvariaties ontworpen. Deze variaties bevatten systematisch of sluiten specifiek bepaalde details uit met betrekking tot de persona van het model, instructies voor het afhandelen van indirecte afhankelijkheden (bijv. common sense reasoning, semantische relaties) en context over de CIA-taak en het domein.
• Modelselectie: Vijf leidende LLM's werden geëvalueerd: GPT-4o, DeepSeek, LLaMa, Mistral en Gemini.
• Executiestrategie: De benadering maakt gebruik van Cache-Augmented Generation (CAG), waarbij de volledige lijst met eisen in één enkel contextvenster aan het LLM wordt verstrekt om het aantal queries te verminderen en gedeelde context te benutten, in plaats van iteratieve querying.

Fase 2: De ProReFiCIA Pipeline

De kernbenadering bestaat uit drie opeenvolgende stappen die worden toegepast op de optimale model-promptcombinatie:

1. Initiële Executie: Het LLM verwerkt de wijzigingsrationale en de volledige lijst met eisen om een initiële set getroffen eisen te genereren.
2. Verfijningsstap (Refinement): Om het "lost-in-the-middle"-probleem te mitigeren (waarbij modellen items in lange contexten over het hoofd zien), wordt het LLM opnieuw geprompt met de resterende niet-geselecteerde eisen. Deze iteratieve controle heeft tot doel gemiste true positives te herstellen.
3. Filterstap (Filtering): Om fout-positieven te verminderen en de inspanning van de analist te minimaliseren, wordt een tweefasig filteralgoritme toegepast:
   • Ranking: Het LLM herrangschikt de kandidaat-eisen op basis van vertrouwen en logische relevantie.
   • Selectie: Een fijn afgestemd Natural Language Inference (NLI)-model (specifiek nli-deberta-v3-large) evalueert of de geselecteerde eis en de rechtvaardiging logischerwijs de wijzigingsrationale impliceren. Het algoritme behoudt eisen als deze worden geïmpliceerd door het NLI-model of als ze in de top 50% van de gerangschikte lijst verschijnen (waardoor kandidaten met een hoog vertrouwen behouden blijven, zelfs als het NLI-model onzeker is).

Integratie van Domeinkennis (RAG)

Om scenario's aan te pakken waar domeinspecifieke kennis vereist is om impliciete afhankelijkheden te begrijpen (bijv. het begrijpen van "EMC-richtlijnen" zonder expliciete vermelding), hebben de auteurs Retrieval-Augmented Generation (RAG) geïntegreerd. Relevante domeinconcepten (gehaald uit Wikipedia) worden opgehaald en in de promptcontext geïnjecteerd om het begrip van het model te verbeteren.

Belangrijkste Bijdragen

1. Systematische Promptanalyse: Het ontwerp en de evaluatie van 6々 promptvariaties om te analyseren hoe detail en structuur van prompts de prestaties van het LLM op de CIA-taak over verschillende domeinen en complexiteitsniveaus beïnvloeden.
2. Uitgebreide Modellevaluatie: Een vergelijkende beoordeling van vijf verschillende LLM's om de meest robuuste modellen voor deze specifieke taak te identificeren.
3. ProReFiCIA-framework: Een geautomatiseerde benadering die verfijnings- en filteringsfasen combineert met geavanceerde prompt engineering om de prestaties te verbeteren terwijl de noodzaak voor gelabelde trainingsdata wordt geminimaliseerd.
4. Empirische Validatie: Evaluatie op ongeziene industriële datasets die een hoge kosteneffectiviteit aantoont.
5. RAG-verbetering: Demonstratie dat het integreren van domeinkennis via RAG de recall significant verhoogt met een minimale kostenstijging.

Resultaten

De benadering werd geëvalueerd op twee datasets: WASP (mobiel serviceplatform) en SAT-DLink (satellietdatalink-managementsysteem), met een specifieke focus op de ongeziene, complexe SAT-DLink-Test subset.

• Modelrobuustheid: GPT-4o en LLaMa vertoonden de hoogste stabiliteit en nauwkeurigheid over verschillende promptvariaties en datasets. GPT-4o vertoonde het meest consistente gedrag met betrekking tot promptdetails.
• Optimale Configuratie: De combinatie van GPT-4o met prompt P53 (een specifieke configuratie van de RICE-template) werd geïdentificeerd als het beste model-prompt paar.
• Prestatie-metrieken (SAT-DLink-Test):
  • Baseline (GPT-4o-P53 zonder post-processing): 73,3% recall, 1,5% kosten (gereviewde eisen).
  • ProReFiCIA (Refinement + Filtering): Bereikte 85,7% recall terwijl de analist slechts 3,0% van de totale eisen hoefde te beoordelen.
  • ProReFiCIA met RAG: Het opnemen van domeinkennis verhoogde de recall naar 95,8% met een lichte kostenstijging naar 3,4%.
• Vergelijking met Baselines: ProReFiCIA presteerde aanzienlijk beter dan baselines, inclus{\text{ }} een RAG-gebaseerde Chain-of-Thought (CoT) benadering en semantische gelijkenisstechnieken (met behulp van LLM-embeddings met verschillende cutoff-strategieën). Zo bereikte het 34 procentpunt hogere effectiviteit dan de beste semantische gelijkenis-baseline (ST2) en 96 procentpunt lagere kosten dan de fixed-threshold baseline (ST1).
• Schaalbaarheid: De methode vertoont een ongeveer lineaire groei in kosten en runtime met het aantal eisen, en blijft computationeel stabiel.

Betekenis en Claims

Het artikel claimt dat ProReFiCIA een kosteneffectieve oplossing biedt voor de impactanalyse van wijzigingen in eisen. Door het redeneervermogen van LLM's te benutten via zorgvuldige prompt engineering en post-processing, slaagt de benadering erin om het overgrote deel van de getroffen eisen te identificeren (tot 95,8% met RAG) terwijl de menselijke beoordelingslast drastisch wordt verminderd (tot ~3% van de totale set eisen).

De auteurs benadrukken dat deze benadering de beperkingen van traditionele TLR-technieken aanpakt door complexe, natuurlijke taal-wijzigingsrationales te verwerken en impliciete semantische afhankelijkheden te vangen. Ze merken op dat de methode slechts een kleine hoeveelheid gelabelde data vereist (voor de NLI-fijnregeling) en aanpasbaar is over verschillende domeinen. De studie concludeert dat het verstrekken van de volledige context van eisen aan het LLM (via CAG), gecombineerd met verfijning en filtering, superieur is aan iteratieve querying of retrieval-gebaseerde kandidaatselectie, omdat het het model in staat stelt om de gedeelde context te benutten voor meer geïnformeerde beslissingen.

Het artikel erkent bescheiden dat hoewel de resultaten veelbelovend zijn, verdere validatie op grotere en diversere datasets noodzakelijk is om de externe validiteit te versterken, en toekomstig werk zal zich richten op het mitigeren van fout-positieven en het aanpassen van het framework aan andere artefacten zoals broncode.