💻 computer science

Explainable Agentic Decision Support for Project Governance in Agile–DevOps: A Multi-Agent Governance Framework for Project Managers

Dit artikel presenteert het AgileOps Agentic Framework (AAF), een multi-agent beslissingsondersteunend systeem dat gespecialiseerde DevOps-, SRE-, FinOps- en DevSecOps-redenering integreert met uitlegbare, op bewijs gebaseerde analyse om projectmanagers te helpen gefragmenteerde operationele telemetrie te interpreteren naar actiegerichte governance-aanbevelingen, gevalideerd via gecontroleerde scenario's en real-world microservice-benchmarks.

Oorspronkelijke auteurs: Suresh Kandasamy, Suresh Arumugam, Cynthia Jayapal

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Suresh Kandasamy, Suresh Arumugam, Cynthia Jayapal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de Projectmanager bent van een enorm, hogesnelheidstreincomplex. Deze trein vertegenwoordigt jouw softwarebedrijf en rijdt op een complex netwerk van rails, motoren en signalen die bekend staan als Agile–DevOps.

Elke seconde schreeuwen duizenden sensoren op de trein (de software) data naar buiten: "Motortemperatuur stijgt!", "Ticketverkoop is omhoog!", "Beveiligingspoort staat open!", "Brandstofkosten schieten omhoog!".

Het Probleem:
Op dit moment komen deze kreten vanuit verschillende afdelingen. De Engineers (DevOps) praten over code. De Mechanics (SRE) praten over betrouwbaarheid. De Accountants (FinOps) praten over brandstofkosten. De Security Guards (DevSecOps) praten over sloten en sleutels.

Als Projectmanager sta je midden in deze chaos. Je hebt al die data, maar het is versnipperd, verwarrend en vaak tegenstrijdig. Je weet niet of je de trein moet stoppen, de snelheid moet verhogen, of gewoon in de gaten moet houden. Je hebt een duidelijk, betrouwbaar antwoord nodig, maar de ruwe data is te luidruchtig om te begrijpen.

De Oplossing: Het "AAF" (AgileOps Agentic Framework)
De auteurs van dit paper hebben een digitale "Chief of Staff" gebouwd om je te helpen. Ze noemen het het AgileOps Agentic Framework (AAF). Zie dit niet als een robot die de trein voor jou bestuurt, maar als een slim, multi-expert adviesteam dat in jouw kantoor zit, alle sensordata leest en je een helder, schriftelijk rapport geeft over wat je moet doen.

Zo werkt dit team, met behulp van eenvoudige analogieën:

1. De Vier Expert Adviseurs (De Agents)

In plaats van één AI die alles probeert te weten, gebruikt het framework vier gespecialiseerde "agents", die elk een specifieke taak hebben:

De DevOps Agent: De "Delivery Expert". Zij controleren of de software klaar is voor verzending en of de assemblageband soepel draait.
De SRE Agent: De "Reliability Expert". Zij controleren of de trein waarschijnlijk gaat breken, hoe snel hij rijdt en of de passagiers veilig zijn.
De FinOps Agent: De "Budget Expert". Zij controleren of de trein te veel brandstof verbruikt of dat de ticketprijzen te hoog zijn.
De DevSecOps Agent: De "Security Expert". Zij controlelen op hackers, kapotte sloten of veiligheidschendingen.

2. De "Raadvergadering" (Consensus & RAR)

Zodra deze vier experts naar de data hebben gekeken, roepen ze niet alleen hun meningen rond. Ze houden een vergadering.

Consensus: Ze proberen het eens te worden. Als de Budget Expert zegt "Stop!" vanwege de kosten, maar de Delivery Expert zegt "Ga!" vanwege de snelheid, berekent het systeem een "Consensus Score".
De "Re-Grounded" Check (RAR): Als de experts te verward zijn of te veel van mening verschillen (lage consensus), dan gokt het systeem niet. In plaats daarvan zegt het: "Wacht, we hebben meer bewijs nodig." Het gaat terug naar de sensoren om specifere bewijslast te verzamelen (zoals het opnieuw controleren van de brandstofmeter of het opnieuw lezen van de beveiligingslogs) totdat ze het eens kunnen worden. Dit voorkomt dat het systeem wilde gokken doet.

3. De "Scorekaart" (Utility-Based Scoring)

Zelfs als de experts het eens zijn, kunnen ze nog steeds verschillende prioriteiten hebben. Het systeem gebruikt een Scorekaart om de beste zet te bepalen. Het weegt drie zaken af:

Prestaties: Zal de trein sneller rijden?
Kosten: Gaan we geld besparen?
Risico: Voorkomen we een crash?

Het systeem berekent een "Utility Score" voor elke mogelijke actie (zoals "Release uitstellen", "Bug repareren" of "Niets doen"). Het kiest de actie met de hoogste score, waarbij snelheid, geld en veiligheid in balans worden gebracht.

4. De "Vertaler" (Explainable Output)

Dit is het belangrijkste deel voor jou, de Projectmanager. Het systeem geeft je niet alleen een getal. Het heeft een Vertaler die een rapport in begrijpelijk Engels schrijft.

Geen magie: De Vertaler is strikt verboden om dingen te verzinnen. Hij kan alleen schrijven wat de experts en de scorekaart hebben besloten.
Traceerbaarheid: Als het rapport zegt: "We moeten de release uitstellen," moet het ook zeggen: "Omdat de Security Expert een probleem met een slot heeft gevonden en de Budget Expert zegt dat het nu te duur is om te repareren."
Het Resultaat: Je krijgt een helder, leesbaar overzicht dat je vertelt wat er is gebeid, waarom het is gebeurd, en wat je moet doen, met een directe link terug naar de ruwe data.

Wat hebben ze getest?

De auteurs hebben dit niet alleen gebouwd; ze hebben het op drie manieren getest:

De "Mock Exam": Ze creëerden 120 fictieve scenario's (zoals "De server is gecrasht" of "Kosten zijn gestegen") om te zien of het systeem het probleem kon identificeren en de juiste actie kon voorstellen. Het kreeg ongeveer 87% van de probleempunten goed en 79% van de actievoorstellen, waarmee het oudere, simpelere methoden versloeg.
De "Manager's Questions": Ze stelden het systeem 100 vragen die een Projectmanager zou kunnen stellen (bijv. "Moeten we dit releasen?"). Zelfs wanneer de informatie vaag was, gaf het systeem consistente, logische antwoorden die overeenkwamen met wat een menselijke expert waarschijnlijk zou besluiten.
De "Live Fire Drill": Ze draaiden het systeem op een echte, kleine software-simulatie (genaamd "Sock Shop") die opzettelijk op verschillende manieren kapot was gemaakt. Het systeem slaagde erin om de rommelige, live data van de defecte software om te zetten in een helder governance-rapport.

De Kernboodschap

Dit paper introduceert een tool die fungeert als een brug tussen de luidruchtige, technische wereld van software engineers en de besluitvormingswereld van Projectmanagers.

Het probeert de software niet automatisch te repareren. In plaats daarvan fungeert het als een super georganiseerde, op bewijs gebaseerde adviseur die:

Luistert naar alle verschillende experts.
Zijn eigen werk controleert als het onzeker is.
Snelheid, kosten en veiligheid in balans brengt.
Zijn redenering in begrijpelijk Engels uitlegt, zodat je nooit hoeft te raden waarom het een suggestie heeft gedaan.

Het doel is om Projectmanagers te helpen betere, snellere en meer zelfverzekerde beslissingen te nemen in een chaotische digitale omgeving, zonder dat zij zelf een data scientist hoeven te worden.

Technische Samenvatting: Uitlegbare Agentische Besluitvormingsondersteuning voor Project Governance in Agile–DevOps

Probleemstelling

Moderne Agile–DevOps-omgevingen genereren enorme hoeveelheden operationele telemetrie via deployment pipelines, observability-platforms, cloud-infrastructuur en security-tooling. Hoewel deze gegevens cruciaal zijn voor engineeringteams, blijven ze gefragmenteerd over meerdere technische domeinen (DevOps, SRE, FinOps, DevSecOps) en worden ze vaak gepresenteerd in formaten die voor Project Managers moeilijk als geheel te interpreteren zijn.

De kernuitdaging die is geïdentificeerd, is de kloof tussen laag-niveau operationele telemetrie en hoog-niveau governance-interpretatie. Project Managers missen momenteel een verenigd, actiegericht overzicht om tegelijkertijd de release-gereedheid, operationele risico's, infrastructuurkosten en security-posture te beoordelen. Bestaande AIOps en automatiseringoplossingen richten zich primair op infrastructuur-orchestratie, anomaliedetectie en autonome remediëring voor engineeringteams, en bieden beperkte ondersteuning voor besluitvorming door het management onder onzekerheid. Bovendien lijden algemene Large Language Models (LLM's) die worden gebruikt voor uitleg vaak aan hallucinaties en missen ze traceerbaarheid naar gestructureerd bewijs, wat risico's met zich meebrengt voor governance-beslissingen die verantwoording vereisen.

Methodologie: Het AgileOps Agentic Framework (AAF)

Het artikel stelt het AgileOps Agentic Framework (AAF) voor, een governance-georiënteerd multi-agent besluitvormingssysteem ontworpen om gefragmenteerde operationele bewijslast te vertalen naar uitlegbare governance-aanbevelingen. AAF is expliciet geen autonoom remediëringssysteem; het doel is om Project Managers te ondersteunen door operationele condities te interpreteren en governance-reacties te sturen.

Architectuur en Workflow

Het framework werkt via vijf afzonderlijke stadia:

Inname van Operationele Bewijslast: Telemetrie van pipelines, observability en cloud-infrastructuur wordt getransformeerd naar gestructureerde bewijspakketten ( $E$ ) die signalen bevatten zoals rollback-events, latentie-metrieken, kostenindicatoren en kwetsbaarheidsbevindingen.
Domeinspecifieke Reasoning Agents: Vier deterministische agents analyseren onafhankelijk de bewijslast:
- DevOps RA: Evalueert deployment-stabiliteit, CI/CD-fouten en release-condities.
- SRE RA: Beoordeelt betrouwbaarheid, latentie, beschikbaarheid en herstartgedrag.
- FinOps RA: Analyseert operationele kosten en de efficiëntie van infrastructuurbenutting.
- DevSecOps RA: Evalueert kwetsbaarheden, beleidsschendingen en security-risico's.
  Elke agent genereert een claim ( $c_i$ ), een betrouwbaarheidsscore ( $s_i$ ) en ondersteunend bewijs ( $\epsilon_i$ ).
Consensus Evaluatie & Re-Grounded Agentic Reasoning (RAR):
- Een consensusscore ( $C$ ) wordt berekend op basis van de gemiddelde betrouwbaarheid en domeinaliniëring.
- Als $C$ onder een drempelwaarde ( $\tau = 0,65$ ) valt, wordt het Re-Grounded Agentic Reasoning (RAR) proces geactiveerd. RAR verrijkt het bewijspakket met extra context en evalueert de agents opnieuw om de afstemming te verbeteren. Dit is beperkt tot twee iteraties om deterministisch gedrag te waarborgen. Als de consensus laag blijft, wordt de casus gemarkeerd als onopgeloste onzekerheid in plaats van een hoge-betrouwbaarheidsbeslissing af te dwingen.
Utility-gebaseerde Governance Scoring:
- Kandidaat-governanceacties (bijv. rollback, schaalvergroting, patch, observeren) worden geëvalueerd met een utility-functie: $U(a_i) = w_p P_i + w_c C_i + w_r R_i$ .
- Gewichten zijn vastgesteld voor de studie: Performance ( $w_p=0,4$ ), Kostenefficiëntie ( $w_c=0,3$ ) en Risicoreductie ( $w_r=0,3$ ).
- De actie met de maximale utility wordt geselecteerd.
Bewijsgerechte Verklaring Generatie:
- Een beperkt taalmodel genereert governance-samenvattingen voor Project Managers.
- Cruciaal is dat het LLM wordt beperkt tot de gestructureerde outputs van het framework (claims, bewijs, scores, consensusstatus). Het kan geen nieuw bewijs introduceren of de geselecteerde governance-actie wijzigen, wat traceerbaarheid garandeert en het risico op hallucinaties vermindert.

Evaluatieontwerp

Het framework werd gevalideerd via drie complementaire studies:

Gecontroleerde Cross-Domain Governance Scenario's: 120 gecureerde scenario's die domeinidentificatie en actieselectie testen over DevOps, SRE, FinOps en DevSecOps.
Project Manager Prompt Evaluatie: 100 governance-georiënteerde prompts geëvalueerd onder "Blind Evidence" (onvolledige context) en "Aligned Evidence" (gecureerde labels) modi.
Runtime Telemetry Pilot: Een pilot met de Sock Shop microservices benchmark, waarbij 20 runtime-gevallen en 733 operationele artefacten (logs, containerstatus, metrieken) werden gegenereerd onder gecontroleerde verstoringen.

Belangrijkste Resultaten

Gecontroleerde Governance Scenario's (Studie 1)

Prestaties: De volledige AAF-configuratie behaalde een Domain Match Rate van 0,875 en een Governance Action Match van 0,792, wat significant beter presteert dan traditionele baselines (0,633 domain match) en single-agent baselines.
Ablatie-inzichten:
- Het verwijderen van de Utility Scoring laag resulteerde in een governance action match van 0,00, wat aantoont dat het identificeren van het operationele domein onvoldoende is zonder een gestructureerd mechanisme om trade-offs te wegen (performance vs. kosten vs. risico).
- Het verwijderen van de RAR of Consensus mechanismen liet kleinere prestatieverliezen zien, wat suggereert dat deze componenten primair onzekerheid beheren in plaats van de primaire classificatienauwkeurigheid te drijven.
Utility Profiel: Het framework slaagde erin concurrerende doelstellingen te balanceren, waarbij Kostenefficiëntie het hoogst scoorde (0,68) in het utility profiel, gevolgd door Risicoreductie (0,52) en Performance (0,49).

Project Manager Prompt Evaluatie (Studie 2)

Blind Evidence Mode: Behaalde een 0,78 domain match en een 0,79 Acceptable Governance Action Match (toelatende equivalente operationele acties), ondanks de ambiguïteit van de prompts. RAR werd in 66% van de gevallen getriggerd, wat de prevalentie van onzekerheid in cross-domein governance benadrukt.
Aligned Evidence Mode: Behaalde een 1,00 domain match en een 1,00 acceptable action match, wat de interne consistentie bevestigt wanneer bewijslast compleet is.
Gevestigde Verklaring: De verklaringslaag behield 100% domein- en actieconsistentie met de onderliggende logica van het framework. Het Unsupported-Claim Risico was laag (0,281), wat aangeeft dat het beperken van het LLM tot gestructureerd bewijs effectief hallucinaties voorkomt.

Runtime Telemetry Pilot (Studie 3)

Gebruikmakend van Sock Shop artefacten, behaalde het framework een 0,65 domain match en een 0,80 governance action match.
De lagere domain match rate in runtime scenario's (vergeleken met gecontroleerde scenario's) weerspiegelt de luidruchtiger aard van live telemetrie, waarbij signalen (bijv. restart loops) geïnterpreteerd kunnen worden als zowel DevOps als SRE problemen. Het framework behield echter een sterke governance action consistentie, wat suggereert dat het nuttige acties kan aanbevelen, zelfs wanneer het dominante domein ambigu is.

Betekenis en Claims

Het artikel beweert dat het AgileOps Agentic Framework een kritieke kloof in Agile–DevOps governance overbrugt door de scheiding tussen operationele telemetrie en managementbesluitvorming te dichten. De primaire bijdragen zijn:

Governance-georiënteerde Multi-Agent Reasoning: Het integreert DevOps, SRE, FinOps en DevSecOps perspectieven in een verenigde workflow, waarmee het verder gaat dan single-domain optimalisatie.
Gestructureerd Onzekerheidsbeheer: Het Re-Grounded Agentic Reasoning (RAR) mechanisme beheert onzekerheid expliciet door te weigeren hoge-betrouwbaarheidsbeslissingen af te dwingen wanneer bewijslast onvoldoende is, waardoor de governance-integriteit behouden blijft.
Utility-gebaseerde Trade-off Evaluatie: Door een gewogen utility-model te gebruiken, biedt het framework een reproduceerbare methode om concurrerende governance-doelen (betrouwbaarheid, kosten, security, snelheid) te balanceren in plaats van te optimaliseren voor een enkele metriek.
Traceerbare Uitlegbaarheid: De scheiding van deterministische redenering en de taalmodel-gebaseerde verklaringgeneratie zorgt ervoor dat governance-aanbevelingen gegrond zijn in verifieerbaar bewijs, wat het risico op ongefundeerde claims vermindert en de verantwoording voor Project Managers vergroot.

De auteurs benadrukken dat AAF is ontworpen als een besluitvormingsondersteuningstool, en niet als een autonoom remediëringssysteem. De waarde ligt in het bieden van traceerbare, operationeel gegronde interpretaties om governance-reacties te sturen in onzekere leveringsomgevingen. Het werk legt een reproduceerbare experimentele pijplijn vast die ruwe telemetrie koppelt aan governance-interpretaties, wat een fundament biedt voor toekomstig onderzoek naar adaptieve weging en mensgerichte validatie.