Large Language Models for Analyzing Enterprise Architecture Debt in Unstructured Documentation
Deze studie presenteert een LLM-gebaseerde aanpak voor het automatisch detecteren en kwantificeren van Enterprise Architecture Debt in ongestructureerde documentatie, waarbij een gevalideerd prototype aantoont dat zowel een aangepast GPT-model als een lokaal fijngetraind model effectief Enterprise Architecture Smells kunnen identificeren, elk met hun eigen voordelen op het gebied van precisie en dataprotectie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat een groot bedrijf een enorme, oude bibliotheek is. In deze bibliotheek staan niet alleen boeken met feiten, maar ook duizenden losse briefjes, vergadernotities, strategiepapieren en e-mails. Dit is de Enterprise Architecture (de bouwplannen van het bedrijf).
Na verloop van tijd komen er in deze bibliotheek dingen bij die niet helemaal kloppen: een briefje dat zegt "we doen het zo" terwijl een ander briefje zegt "nee, zo niet", of een plan dat jaren geleden is gemaakt maar al lang verouderd is. In de vakwereld noemen ze dit Enterprise Architecture Debt (een soort "bouwschuld"). De kleine symptomen van deze schuld heten Smells (geurtjes). Als je deze geurtjes negeert, begint het hele gebouw te rotten: het wordt langzaam, duur en onveilig.
Tot nu toe moesten mensen (architecten) deze geurtjes opsporen door handmatig door die stapels papier te bladeren. Dat is als proberen een naald te vinden in een hooiberg, terwijl je ook nog eens blind bent. Het duurt eeuwen en kost veel geld.
Wat hebben de onderzoekers gedaan?
Drie onderzoekers van universiteiten in Zweden en Nederland dachten: "Waarom gebruiken we geen slimme robot (een Large Language Model of LLM) om die stapels papier te lezen?"
Ze hebben een prototype gebouwd met twee verschillende "hersenen":
- De "Thuiswerker" (LLaMA): Een slimme robot die je zelf op je eigen computer kunt draaien. Hij is veiliger voor bedrijfsgeheimen (want hij gaat niet het internet op), maar hij is wat trager en minder ervaren.
- De "Super-Expert" (Custom GPT): Een robot die draait in de cloud (zoals een zeer ervaren consultant). Hij is supersnel en heel slim, maar je moet je documenten naar buiten sturen, wat voor sommige bedrijven een risico is op privacy.
Hoe hebben ze het getest?
Ze hebben een fictief bedrijf bedacht, "NextTech", en 30 documenten geschreven die er echt uitzagen. In deze documenten hadden ze bewust 12 soorten "geurtjes" (zoals "niet-gedefinieerde verantwoordelijkheden" of "tijdelijke oplossingen die permanent zijn geworden") verstopt.
Vervolgens lieten ze beide robots de documenten lezen en vragen: "Wat ruikt hier niet goed?"
Wat was het resultaat?
Hier is de vergelijking, vertaald naar alledaags taal:
De "Thuiswerker" (LLaMA):
- Hoe het ging: Hij was erg voorzichtig en dacht dat er overal geurtjes waren. Hij riep bijna in elk document: "Hier ruikt het naar rot!"
- Het probleem: Hij maakte veel fouten. Hij dacht dat er een probleem was waar er geen was (een "valse alarm"). Hij was ook wat traag; het lezen van één document duurde twee minuten.
- Vergelijking: Het is alsof je een hond hebt die bij elke voorbijganger blaft. Hij is alert, maar je weet niet meer wie nu echt een inbreker is.
De "Super-Expert" (GPT):
- Hoe het ging: Deze robot was veel selectiever. Hij zei alleen iets als hij er zeker van was.
- Het voordeel: Hij had veel minder fouten en was razendsnel (2 seconden per document). Zijn adviezen waren ook specifieker en nuttiger.
- Het nadeel: Hij miste soms een paar echte geurtjes (hij was soms te lui om te kijken) en kon niet meer dan 10 documenten tegelijk lezen.
- Vergelijking: Dit is als een ervaren detective. Hij blaft niet bij elke wind, maar als hij iets zegt, is het waarschijnlijk waar.
Wat betekent dit voor bedrijven?
De onderzoekers concluderen dat deze robots niet klaar zijn om de mens volledig te vervangen. Ze zijn nog te onbetrouwbaar om blindelings te vertrouwen.
Maar, ze zijn wel heel nuttig als eerste hulpmiddel:
- Stel je voor dat de robot als een metaalzoeker werkt. Hij loopt door de stapel papier en zegt: "Hier en hier heb ik iets gevonden dat we moeten controleren."
- De menselijke architect hoeft dan niet meer alles zelf te lezen, maar kan zich focussen op die specifieke plekken die de robot heeft aangegeven.
De grote les
De studie laat zien dat je een keuze moet maken tussen privacy en snelheid/precisie:
- Wil je je data veilig houden? Gebruik dan de "Thuiswerker", maar wees bereid om veel fouten te controleren.
- Wil je snel en nauwkeurig resultaat? Gebruik dan de "Super-Expert", maar zorg dat je data niet gevoelig is.
Kortom: Deze robots zijn nog geen volwaardige architecten, maar ze zijn wel uitstekende assistenten die ons helpen om de "geur van rot" in onze bedrijfsplannen sneller op te sporen, zodat we het gebouw kunnen repareren voordat het instort.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.