Evaluating Large Language Models for Detecting Architectural Decision Violations
Dit onderzoek onderzoekt hoe effectief Large Language Models (LLM's) architecturale besluitvormingsfouten in open-source software kunnen detecteren, waarbij blijkt dat ze zeer accuraat zijn voor code-gerelateerde besluiten, maar nog tekortschieten bij impliciete of organisatie-afhankelijke beslissingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, complexe LEGO-stad bouwt met een groep vrienden. Om te voorkomen dat de stad een chaos wordt, spreek je vooraf een paar belangrijke regels af: "Alle wolkenkrabbers moeten blauw zijn" of "De wegen moeten altijd van links naar rechts lopen". Deze regels schrijf je op een briefje: dat is de Architectural Decision Record (ADR).
Het probleem? Na een paar weken bouwt iedereen maar wat aan. Iemand bouwt een rode toren, een ander legt een weg diagonaal. De stad wordt een rommeltje. Normaal gesproken moet een mens (de 'architect') met een vergrootglas door de stad lopen om alle fouten te zoeken. Dat is monnikenwerk en het duurt eeuwen.
Dit wetenschappelijke onderzoek kijkt of we AI (zoals ChatGPT) kunnen inzetten als een soort 'digitale politieagent' die continu door de LEGO-stad patrouilleert om te controleren of iedereen zich nog aan de regels houdt.
Wat hebben de onderzoekers gedaan?
Ze hebben een digitale testopstelling gebouwd. Ze namen bijna 1.000 van die 'spelregels' (ADR's) van echte softwareprojecten op GitHub en lieten verschillende AI-modellen de code controleren. Het was een soort examen voor de AI: "Hier is de regel, en hier is de bouwsteen. Wordt de regel nageleefd?"
De resultaten: De AI als 'Slimme Assistent'
De uitkomst was een beetje zoals het beoordelen van een stagiair:
De AI is een ster in de basisregels (De 'Blauwe Toren' test):
Als de regel heel duidelijk is — bijvoorbeeld: "Gebruik altijd de kleur blauw" — dan is de AI fantastisch. Hij ziet direct of een toren rood is of blauw. In het onderzoek haalden de beste AI-modellen een score van meer dan 90%. Ze zijn razendsnel en heel nauwkeurig bij simpele, zichtbare regels.De AI raakt in de war bij de 'onzichtbare' regels:
Hier wordt het lastig. Stel dat de regel is: "De stad moet goed bestand zijn tegen windstoten." Dat zie je niet direct aan de kleur van een blokje. Je moet weten hoe de fundering zit, hoe de wind waait en hoe de bouwmaterialen werken. De AI heeft hier moeite mee. Hij ziet de regels die over de 'infrastructuur' (de fundering en de elektriciteit van de stad) gaan, vaak niet goed.De AI kan niet 'tussen de regels door lezen':
Soms is een regel gebaseerd op een afspraak die niet in de code staat, maar in het hoofd van de bouwers. De AI kijkt alleen naar wat er staat. Als de informatie ontbreekt, weet de AI niet of de regel wordt overtreden of dat hij simpelweg niet genoeg informatie heeft om het te zien.
De conclusie: Een copiloot, geen kapitein
De onderzoekers zeggen eigenlijk: De AI is een geweldige copiloot, maar je mag hem nog niet het vliegtuig alleen laten besturen.
- Wat de AI wel kan: Het saaie, herhalende werk doen. Hij kan snel scannen of de 'kleur van de blokjes' nog klopt. Dat bespaart de menselijke architect enorm veel tijd.
- Wat de AI nog niet kan: De diepe, complexe beslissingen begrijpen die te maken hebben met de omgeving, de toekomst of de bedoeling achter een ontwerp.
Kortom: De digitale politieagent is heel goed in het controleren van de verkeersregels, maar voor de complexe bouwvergunningen en de veiligheid van de hele stad heb je nog steeds een menselijke expert nodig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.