Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance

Technische Samenvatting: Iteratieve Auditconvergentie in door LLM-beheerde Multi-Agent Systemen

Probleemstelling
Promptspecificaties voor multi-agent Large Language Model (LLM)-systemen fungeren als de bron van waarheid van het systeem, en bevatten datacontracten, integratielogica en gedragsregels over onderling afhankelijke bestanden heen. In tegenstelling tot traditionele broncode worden deze natuurlijke taalspecificaties zelden onderworpen aan gestructureerd inspectie-niveau. In complexe, meersporige orkestratiepijplijnen leiden ontwerpveranderingen in één document vaak tot golfbewegingen (bijvoorbeeld verouderde referenties, schema-mismatches of ongeldige API-contracten) in andere documenten. Traditionele single-file reviews zijn per constructie ontoereikend, omdat ze cross-document inconsistenties niet kunnen detecteren. Dit artikel adresseert het gebrek aan empirische data over de defectdichtheid en convergentiegedrag van iteratieve auditing toegepast op productieschaal promptspecificaties.

Methodologie
De studie presenteert een empirische case study van één enkel systeem, AEGIS (Autonomous Engineering Governance and Intelligence System), een productieve zeven-sporige orkestratiepijplijn. Het specificatieoppervlak bestond uit ongeveer 7.150 regels verspreid over acht bestanden: zeven spoor-specifieke PROMPT.md bestanden en één gedeeld TICKET_CONTRACT.md.

De auditmethodologie volgde een gestructureerde, iteratieve aanpak, aangepast van software-inspectietradities (specifiek de walkthroughs van Weinberg en Freedman in plaats van volledige Fagan-inspecties):

• Auditor: Claude sub-agenten (dezelfde LLM-familie die de specificaties schreef) traden op als inspecteurs.
• Protocol: Negen sequentiële auditrondes werden uitgevoerd over een periode van vijf weken. Het protocol evolueerde tijdens de studie: vroege rondes richtten zich op per-bestand structurele checks, terwijl latere rondes expliciet producent- en consument-specificaties samen laadden om cross-spoor vergelijkingen uit te voeren.
• Checklist: Een checklist met zeven dimensies leidde de agenten, met dekking van versieconsistentie, cross-spoor datacontract-uitlijning, Jira-rechtengrenzen, labelconventies, spoor-aantal propagatie, cadansuitlijning en interne tegenstrijdigheden.
• Convergentiecriterium: De lus werd beëindigd wanneer een audit met volledig bereik (alle acht bestanden) nul bevindingen opleverde. De studie merkt op dat het auditprotocol mee evolueerde met de ontdekking van defecten, wat betekent dat de "auditfunctie" veranderde tussen de rondes.

Belangrijkste Bijdragen
Het artikel biedt drie afgebakende bijdragen, strikt afgeleid van de case study:

1. Defect-Taxonomie (C1): Een post-hoc taxonomie met zeven categorieën van 51 aan het licht gekomen defecten, inclusief expliciete coderingsregels en representatieve voorbeelden. De categorieën zijn: Versiedrift, Verouderde Jira-referenties, Cross-spoor Schema-mismatch, Ontbrekende Recent-uitbreidingsdekking (Spoor 7), Label/Contract-gaten, Semantisch misleidende tekst, en Formule/Timing-drift.
2. Waargenomen Convergentiegedrag (C2): Empirische data die niet-monotone convergentie aantoont. Het aantal defecten per ronde was 15, 8, 12, 2, 8, 1, 4, 1 en 0. Het artikel interpreteert de toenames in rondes 3 en 5 niet als regressies, maar als het resultaat van het uitbreiden van de audit scope (bijvoorbeeld van single-file naar cross-spoor checks), wat eerder gemaskeerde inconsistenties aan het licht bracht.
3. Gedistilleerd Auditprotocol (C3): Een reproduceerbaar protocol, inclusief een vergrendelde checklist, promptsjabloon, bevindingenschema en een aanbevolen convergentiecriterium (twee opeenvolgende schone passes, strenger dan de single-pass regel die in de studie werd gebruikt).

Resultaten

• Defectontdekking: Het iteratieve proces bracht 51 verschillende prompt-specificatie consistentiedefecten aan het licht. Dit is onderscheidend van de 51 STRIDE-gecategoriseerde adversarische codebevindingen die in een begeleidende preprint werden gerapporteerd; de huidige studie richt zich op specificatieconsistentie (bijvoorbeeld versiedrift, verouderde referenties) in plaats van runtime-beveiligingskwetsbaarheden.
• Defectdistributie: De meest voorkomende categorie was Verouderde Jira-referenties (12 defecten, 23,5%), wat architecturale veranderingen weerspiegelt waarbij Jira-ticketcreatie uit een specifiek spoor werd verwijderd. Cross-spoor schema-mismatches (5 defecten, 9,8%) werden gecodeerd als hoog risico, omdat ze stilte runtime-fouten konden veroorzaken (bijvoorbeeld een producent die priority_score uitzendt terwijl een consument fix_priority verwacht).
• Defectdichtheid: De studie berekende een dichtheid van ongeveer 7,1 defecten per duizend regels specificatie.
• Convergentiedynamiek: Single-file review miste de cross-spoor schema-mismatches volledig. Deze defecten kwamen pas in latere rondes (4–8) aan het licht toen de audit scope werd uitgebreid om multi-bestand zichtbaarheid te omvatten. De studie observeerde dat het oplossen van structurele problemen in vroege rondes soms semantische inconsistenties blootlegde die eerder waren gemaskeerd.

Betekenis en Claims
Het artikel doet drie bescheiden, case-gebonden claims:

1. Beperking van Single-File Review: In dit systeem miste single-file review per constructie cross-document defectklassen.
2. Niet-Monotone Convergentie: Het waargenomen convergentiepad was niet-monotoon, consistent met de hypothese dat cascaderende bewerkingen en het uitbreiden van audit scopes defecten in golven aan het licht brengen in plaats van een lineaire daling.
3. Protocol Co-evolutie: Het auditprotocol zelf evolueerde mee met de fixes; de "vergrendelde" versie die in de appendix wordt geboden, is de aanbevolen staat voor replicatie.

De auteurs stellen expliciet dat generalisatie replicatie vereist met verschillende LLM's en menselijke reviewers om gedeelde blindvlekken uit te sluiten (aangezien dezelfde LLM-familie de specificaties schreef en auditte). Zij claimen niet dat single-pass full-scope review universeel ontoereikend is, alleen dat deze niet als controle werd uitgevoerd in deze studie en dat een een-pass beëindiging onder hun specifieke protocol latere ontdekte defecten onopgelost zou hebben gelaten. De studie positioneert promptspecificaties als softwareartefacten die levenscyclusmethoden en iteratieve auditing vereisen, onderscheiden van traditionele testing of single-context zelfverfijning.