Using LLMs to Evaluate Architecture Documents: Results from a Digital Marketplace Environment

Technische Samenvatting: Het gebruik van LLM's voor het evalueren van architectuurdocumenten – Resultaten uit een digitale marktplaatsomgeving

Probleemstelling
Softwareontwikkeling is in toenemende mate afhankelijk van generatieve AI, maar de kwaliteit van de AI-output blijft fundamenteel afhankelijk van de kwaliteit van de input. Documenten in een vroeg stadium, zoals softwarearchitectuurdocumenten, zijn cruciale inputs voor downstream implementatie. Defecten, ambiguïteiten of ontbrekende informatie in deze documenten kunnen leiden tot kostbare correctiecycli later in de ontwikkelingslevenscyclus. Traditionele methoden voor het evalueren van architectuurdocumentatie bestaan wel (bijv. ATAM, SAAM, handmatige checklists), maar deze zijn vaak tijdrovend en moeilijk op te schalen. De auteurs onderzoeken of Large Language Models (LLMs) effectief de kwaliteit van architectuurdocumenten kunnen evalueren en feedback kunnen geven die vergelijkbaar is met die van menselijke softwarearchitecten, specifiek binnen de context van een digitale marktplaats voor smart city-oplossingen.

Methodologie
Het onderzoek werd uitgevoerd binnen de "Quasar"-tool, een LLM-gebaseerd systeem dat is ontwikkeld om de evaluatie van open-source oplossingen op de "Deutschland Digital" marktplaats te ondersteunen. De studie richtte zich op twee specifieke open-source projecten met variërende niveaus van documentatievolledigheid:

1. Project 1: Een oplossing met uitgebreide documentatie (266 bestanden, inclusief Markdown, PDF's en afbeeldingen).
2. Project 2: Een oplossing met basisdocumentatie (11 Markdown-bestanden en 25 afbeeldingen).

Systeemarchitectuur en Implementatie:

• Inputverwerking: Het systeem accepteert diverse documentatieformaten (PDF, DOCX, Markdown, afbeeldingen). Een converter (gebruikmakend van Docling) transformeert deze naar leesbare formaten.
• Evaluatielogica: Het systeem maakt gebruik van een gewogen kwaliteitsmodel waarbij specifieke criteria worden geëvalueerd tegen vooraf gedefinieerde prompts.
• LLM-integratie: De "Quasar"-backend maakt gebruik van een "LLM client"-component om de evaluatielogica te ontkoppelen van specifieke modelleveranciers. Voor de studie gebruikten de auteurs lokaal gehoste Qwen2 (multimodaal, in staat om tekst en diagrammen te verwerken) en Llama3.1 (tekst-only) op NVIDIA Tesla V100 GPU's.
• Procedure: Twee softwarearchitecten evalueerden de twee projecten handmatig op basis van 25 vooraf gedefinieerde stellingen (beoordeeld op een schaal van 0–4). Tegelijkertijd evalueerde Quasar dezelfde projecten drie keer elk met dezelfde 25 prompts om de consistentie en overeenstemming met menselijke experts te beoordelen.

Belangrijkste Bijdragen

1. Toolontwikkeling: De creatie van "Quasar", een modulaire tool die in staat is diverse documentatieformaten in te lezen en kwaliteitsscores te genereren op basis van LLM-analyse.
2. Empirische Vergelijking: Een directe vergelijking van LLM-gebaseerde evaluatie tegenover menselijke expert-evaluatie over twee verschillende documentatiescenario's (omvangrijk versus schaars).
3. Contextuele Analyse: Een onderzoek naar hoe de kwaliteit en dichtheid van input-artefacten de betrouwbaarheid van LLM-evaluaties beïnvloeden.

Resultaten
De studie leverde significante bevindingen op met betrekking tot de relatie tussen inputkwaliteit en LLM-prestaties:

• Consistentie (RQ 1.2):
  • Project 1 (Hoge kwaliteit input): De drie geautomatiseerde runs vertoonden grotendeels consistente resultaten.
  • Project 2 (Lage kwaliteit input): De runs vertoonden zwakke consistentie. In drie gevallen slaagde het model er niet in om een resultaat te produceren voor specifieke stellingen over alle runs heen.
• Overeenstemming met Mensen (RQ 1.3):
  • Project 1: Er was een sterke correlatie. Twee stellingen kwamen exact overeen, en 36% van de beoordelingen week maximaal 15% af. De gemiddelde afwijking was 27%.
  • Project 2: Er werd geen duidelijke correlatie vastgesteld. De gemiddelde afwijking was 43%, wat aangeeft dat de LLM niet in staat was om menselijk oordeel betrouwbaar te repliceren bij schaarse documentatie.
• Inspanning (RQ 1.1):
  • De verwerkingstijden waren vergelijkbaar tussen mensen en de machine voor de kleinere dataset (22 min. mens vs. 14 min. Quasar voor Project 2; 60 min. mens vs. 68 min. Quasar voor Project 1). De auteurs merken op dat voor grotere datasets de geautomatiseerde oplossing naar verwachting sneller zal zijn.

Significantie en Claims
Het artikel claimt dat LLM's een veelbelovend ondersteuningstool zijn voor softwarearchitecten, maar benadrukt dat hun nut sterk afhankelijk is van de kwaliteit van de input-artefacten.

• Inputafhankelijkheid: De kernbevinding is dat hoe beter de kwaliteit en structuur van het architectuurdocument, hoe consistenter en nauwkeuriger de evaluatie van de LLM is ten opzichte van menselijke experts. Omgekeerd leidt een lage informatiedichtheid tot significante afwijkingen en hallucinaties.
• Rol van AI: De auteurs positioneren LLM's niet als vervanging voor menselijke experts, maar als een mechanisme voor "initiële, lichtgewicht kwaliteitscontrole" die een eerste indruk kan geven van de kwaliteit van de documentatie, waardoor experts tijd besparen.
• Beperkingen: De auteurs geven expliciet aan dat de studie beperkt wordt door een kleine steekproef (twee projecten, twee experts) en de specifieke gebruikte modellen. Ze waarschuwen dat generalisatie niet mogelijk is op basis van de huidige resultaten en dat de "inconsistenties" die bij kwalitatief minderwaardige inputs werden waargenomen, verdere analyse vereisen voordat de technologie breed kan worden gegeneraliseerd.
• Toekomstvisie: De auteurs suggereren dat toekomstige iteraties grotere contextvensters (bijv. Google Gemini), Retrieval-Augmented Generation (RAG) moeten gebruiken om context over bestanden heen te behouden, en fine-tuning om domeinspecifieke kennis te verbeteren. Ze zien ook voor zich om deze capaciteiten direct te integreren in de dagelijkse tools van architecten (bijv. Enterprise Architect, draw.io) in plaats van als standalone services.