Technische Samenvatting: Naar Semantisch Gezaaide, Grafisch Gepropageerde Impactanalyse over Software-artefacten

Probleemstelling

Software engineers worden geconfronteerd met aanzienlijke uitdagingen bij Change Impact Analysis (CIA) wanneer een enkel artefact (bijv. een vereiste, configuratie of functie) wordt gewijzigd. Bestaande tooling vertrouwt doorgaans op één van twee geïsoleerde signalen, die elk een karakteristieke "blind spot" bezitten:

1. Semantische/Information Retrieval (IR) Benaderingen: Deze vertrouwen op tekstuele gelijkenis (bijv. embeddings, vectorruimtemodellen) om artefacten te koppelen. Hoewel ze vrij tussen artefacttypen kunnen schakelen, falen ze bij het detecteren van impacts waar de tekst geen vocabulaire deelt met de wijziging (bijv. een wijziging in een vereiste over een "timeout" die een functie met de naam completeOrder beïnvloedt zonder "timeout" te vermelden).
2. Structurele/Dependency Benaderingen: Deze volgen expliciete randen (call graphs, datastroom, test aanroepen). Hoewel ze precies zijn waar randen bestaan, missen ze relaties op betekenisniveau die niet als randen zijn gecodeerd, en ze falen vaak in de volledige keten van Requirements → Config → Service → Test, met name voor operationele artefacten zoals container images, metrics en database-schema's.

Het artikel stelt dat louter structurele analyse impacts op operationele artefacten mist (bijv. updates van base-images die services breken, of het hernoemen van metrics die alerts uitschakelt) omdat er geen code-niveau rand bestaat die hen met de wijziging verbindt. Omgekeerd mist louter semantische analyse impacts die weliswaar structureel afhankelijk zijn, maar lexicaal verschillend.

Methodologie

De auteurs stellen een training-vrije, interpreteerbare analyzer voor die semantische en structurele signalen combineert over een heterogene artefact-graaf. De kerninnovatie is het gebruik van "dezelfde embeddings, een andere redeneerlaag".

1. Heterogene Artefact-graaf

Het systeem modelleert het software-ecosysteem als een getypeerde graaf met knooptypen waaronder Requirements (R), Configs (C), Services/Functies (S), Tests (T) en operationele artefacten (Images, Metrics, Alerts, Data Schemas).

• Randen: Automatisch hersteld via statische analyse (bijv. Python AST) of manifest parsing.
  • Bron-randen: R→C, C→S, S→S, T→S.
  • Operationele randen: Image→Service, Service→Metric, Metric→Alert, Service→Data.
• Propagatie-richting: Randen worden omgedraaid voor impact-propagatie (bijv. een wijziging in een callee beïnvloedt de callers; een wijziging in een service beïïnvloedt de tests).

2. Twee-laagse Scoring

De impactscore voor een bepaald artefact is een gewogen mengeling van twee lagen:

• Laag 1: Semantische Prior ($s$)

  • Berekent de cosinus-gelijkenis tussen de tekst van elk artefact en het gewijzigde artefact.
  • Ondersteunt uitwisselbare backends: TF-IDF of dense embeddings (bijv. Sentence-BERT).
  • Vangt relaties op betekenisniveau op, zelfs zonder structurele randen.

• Laag 2: Structurele Propagatie ($p$)

  • Berekent de impactverspreiding over de getypeerde graaf met behulp van een rij-genormaliseerde propagatiematrix $M$.
  • Gebruikt een multi-hop decay mechanisme (geïnspireerd door Katz centrality en PageRank):
    $$p = \sum_{k=1}^{K} \gamma^k (e_c M^k)$$
    Waar $e_c$ het gewijzigde artefact is, $\gamma$ de decay-factor, en $K$ de horizon.
  • Vangt expliciete afhankelijkheidsketens op.

3. Fusie

De uiteindelijke impactscore is een lineaire combinatie die wordt beheerst door een enkele afstembare gewicht $\lambda$:
$$\text{impact} = \lambda s + (1 - \lambda) p$$

• $\lambda=1$: Zuivere semantische baseline.
• $\lambda=0$: Zuivere structurele analyzer.
• $\lambda \in (0,1)$: Een blend die de precisie/recall-trade-off expliciet regelt.
• Interpreteerbaarheid: Elk gemarkeerd artefact bevat een expliciete uitleg: zijn semantische score, structurele score en het specifieke propagatiepad dat is gevolgd.

Proof-of-Concept Evaluatie

De auteurs evalueerden de benadering op een klein, volledig betaalsubsysteem bestaande uit 13 artefacten (3 vereisten, 3 configs, 4 services, 3 tests) en 14 getypeerde randen, over 5 gelabelde wijzigingsscenario's.

Belangrijkste bevindingen:

1. Dekking van Blind Spots: De fusie is de enige configuratie die beide blind spots dekt.
   • Semantische Blind Spot: Artefacten met nul tekstuele overlap (bijv. completeOrder vs. een "timeout" vereiste) werden puur door structurele propagatie hersteld.
   • Structurele Blind Spot: Helper functies (bijv. loadConfig) die niet downstream in de call graph liggen maar semantisch gerelateerd zijn, werden puur door de semantische laag hersteld.
2. Prestaties:
   • Zuiver Structureel ($\lambda=0$): Behaalde een hoge precisie (0.927) maar miste ~21% van de ware impacts (Recall 0.786) door ontbrekende helper functies.
   • Zuiver Semantisch ($\lambda=1$): Behaalde een hoge recall (0.873) maar lage precisie (0.417) door vals-positieven.
   • Voorgestelde Blend ($\lambda=0.5$): Behaalde een perfecte recall (1.000) over alle scenario's, waarbij alle grondwaarheid-geïmpacteerde artefacten werden gevangen, met een licht verbeterde F1-score (0.589) ten opzichte van de semantische baseline.
3. Beperkingen van de Benchmark: De auteurs merken op dat de hoge F1 van de structurele-only benadering een artefact is van de kleine synthetische graaf waar de meeste ware impacts bereikbaar waren via randen. De primaire bijdrage is de mechanisme-niveau dekking, niet een claim over algemene nauwkeurigheid.

Betekenis en Claims

Het artikel positioneert dit werk als een specifiek, onderbezet punt in de designruimte van impactanalyse:

• Training-vrij & Deterministisch: In tegenstelling tot Graph Neural Networks (GNN's) of GraphRAG-benaderingen die trainingsdata of dure, niet-deterministische LLM-aanroepen vereisen, gebruikt deze benadering vaste propagatieregels en expliciete embeddings.
• Verifieerbaar: Het geeft een verifieerbaar propagatiepad uit voor elk gemarkeerd artefact, wat het geschikt maakt voor audit- en veiligheidskritische omgevingen.
• Operationele Omvang: Het breidt impactanalyse uit voorbij broncode naar operationele artefacten (images, metrics, schema's) waar code-alleen analyse faalt, waarmee real-world foutmodi zoals base-image updates en metric renames worden geadresseerd.

De auteurs verklaren expliciet dat de prototype cijfers illustratief zijn voor het mechanisme, en geen claim van generalisatie. De bijdrage is het ontwerp van een fusie-architectuur die artefacten herstelt die onzichtbaar zijn voor één van de signalen alleen, wat een fundament biedt voor toekomstig werk over geleerde propagatie, LLM-verificatie en schaalbare cross-service deployment.