NOMAD: A Multi-Agent LLM System for UML Class Diagram Generation from Natural Language Requirements

1. Probleemstelling

De generatie van gestructureerde software-artefacten, specifiek UML-klassediagrammen, uit natuurlijke taal (NL) vereisten is een kritieke maar uitdagende taak binnen Model-Driven Engineering (MDE).

• Beperkingen van traditionele methoden: Regelgebaseerde systemen zijn interpreteerbaar maar breekbaar, en worstelen met taalkundige ambiguïteit en variabiliteit.
• Beperkingen van single-agent LLM's: Hoewel Large Language Models (LLM's) tekst naar code kunnen vertalen, slagen ze er vaak niet in consistentie te behouden bij complexe modelleringstaken. Ze hebben moeite met fijnmazige attribuutextractie, classificatie van relaties en semantische nauwkeurigheid, vooral naarmate de complexiteit van het diagram toeneemt.
• De Kloof: Er is tot nu toe geen enkel werk dat multi-agent decompositie systematisch heeft toegepast op UML-generatie om het doelgerichte redeneren van menselijke ingenieurs na te bootsen, noch is er een systematische taxonomie voor fouten in door LLM's gegenereerde modellen.

2. Methodologie: Het NOMAD-kader

De auteurs stellen NOMAD voor, een cognitief geïnspireerd, modulair multi-agent kader. In plaats van een enkele LLM te vragen om een volledig diagram te genereren, decomposeert NOMAD de taak in een sequentiële pijplijn van gespecialiseerde agenten.

A. Architectuur (De Pijplijn)

Het systeem bestaat uit vier generatie-agenten en één verificatie-agent:

1. Concept Extractor: Identificeert domeinentiteiten (klassen) en hun attributen uit de ingevoerde NL-vereisten. Het verankert de vocabulaire van het model.
2. Relationship Comprehender: Analyseert de geëxtraheerde entiteiten en vereisten om associaties, aggregaties, composities en generalisaties af te leiden, waarmee de semantische structuur wordt vastgesteld.
3. Model Integrator: Synthetiseert entiteiten en relaties in een gestructureerde intermediaire representatie (JSON). Deze stap dwingt een uniform schema af, verwijdert natuurlijke taal-ambiguïteit en zorgt voor compositie.
4. Code Articulator: Vertaalt de gestructureerde JSON naar syntactisch correcte PlantUML-code. Het gebruik van een LLM hier (in plaats van hard-gecodeerde regels) zorgt voor flexibiliteit bij het hanteren van JSON-variaties en behoudt stilistische coherentie.
5. Validator (Optioneel): Een reflecterende agent die het gegenereerde PlantUML inspecteert tegen de oorspronkelijke vereisten om inconsistenties te identificeren en autonoom te beslissen of correcties moeten worden geactiveerd.

B. Evaluatieontwerp

De auteurs hanteerden een evaluatiestrategie met een gemengd ontwerp:

• Diepte (Northwind Case Study): Een grootschalige, reverse-engineerde benchmark gebaseerd op de Northwind 2.0-database (21 klassen, 212 elementen). Dit leverde een "gouden standaard" op voor gedetailleerde foutanalyse.
• Breedte (Aanvullende Use Cases): Acht door mensen geschreven UML-oefeningen uit diverse domeinen (bijv. luchtvaart, robotica) om generaliseerbaarheid en realisme te testen.
• Baselines: Vergelijken met single-agent LLM-prompting (GPT-4o en DeepSeek-V3) met behulp van zowel strikte als soepele matching-criteria.

C. Fouttaxonomie

Het paper introduceert de eerste systematische taxonomie voor door LLM's gegenereerde UML-fouten, waarbij afwijkingen worden gecategoriseerd in drie dimensies:

• Klassen: Ontbrekend, Extra, Verkeerd weergegeven.
• Attributen: Ontbrekend, Extra, Fout (semantiek/naming).
• Relaties: Ontbrekend, Extra, Dubbel, Verkeerd geclassificeerd (verkeerd type of richting).

3. Belangrijkste Bijdragen

1. NOMAD Framework: Een modulair, multi-agent systeem dat single-agent baselines overtreft door complexe modelleringstaken te decomponeren in gespecialiseerde subtaken.
2. Northwind Benchmark: Een nieuwe, reproduceerbare case study afgeleid van het Northwind 2.0-schema, met een reverse-engineerd UML-diagram en gecureerde NL-vereisten.
3. Automatisch Evaluatiekader: Een pijplijn die regex en NLP-normalisatie gebruikt om PlantUML automatisch te parseren en Precision, Recall en F1-scores te berekenen voor klassen, attributen en relaties.
4. Fouttaxonomie: Een hiërarchisch classificatiesysteem dat systematische analyse mogelijk maakt van structurele, relationele en semantische fouten in door AI gegenereerde modellen.
5. Verificatieanalyse: Een onderzoek naar de effectiviteit van zelf-verificatie-agenten in multi-agent workflows.

4. Resultaten & Bevindingen

De evaluatie werd uitgevoerd op GPT-4o en DeepSeek-V3.

• Structurele Nauwkeurigheid (RQ1):

  • Algemeen: NOMAD presteerde consequent beter dan single-agent baselines. In de Northwind-studie verbeterde de gemiddelde F1-score van 0,74 naar 0,84.
  • Klassen: Bijna perfecte identificatie (F1 1,00) werd bereikt door NOMAD, wat suggereert dat hoog-niveau entiteitsherkenning een opgelost probleem is voor huidige LLM's.
  • Relaties: De meest significante winst. NOMAD verbeterde de strikte relatie-F1 van 0,52 naar 0,92 (Northwind), wat een superieur vermogen aantoont om afhankelijkheden af te leiden en spurious links te verminderen.
  • Attributen: Dit bleef het zwakste gebied. Hoewel NOMAD de semantische coherentie verbeterde, daalde de attribuutrecall soms door de strikte beperkingen van de decompositiepijplijn. Fijnmazige attribuutextractie blijft een uitdaging.

• Foutanalyse (RQ2):

  • NOMAD verminderde "structurele ruis" (ontbrekende klassen, extra klassen, dubbele relaties) aanzienlijk.
  • De baseline leed zwaar onder verkeerd geclassificeerde relaties (bijv. verkeerde richting of type). NOMAD elimineerde fouten met ontbrekende/extra relaties, maar bleef geconfronteerd met uitdagingen bij verkeerde classificatie (bijv. het interpreteren van "type" als attribuut in plaats van erfelijkheid).
  • Inter-agent Inconsistentie: Een belangrijke bevinding was dat sequentiële agenten soms context verloren (bijv. een later afgeleide relatie maakte eerder toegewezen attributen ongeldig), wat leidde tot semantische divergentie.

• Impact van Verificatie (RQ3):

  • Het toevoegen van de Validator-agent verbeterde de resultaten verder. Voor DeepSeek-V3 steeg de attribuut-F1 met 27,3%.
  • De verificateur corrigeerde effectief "oppervlakkige" problemen zoals dubbele associaties en mismatches in richting, waardoor de gemiddelde F1 voor GPT-4o steeg van 0,836 naar 0,885.
  • De verificateur fungeert echter als een post-processing-stap en kan de modelhiërarchie fundamenteel niet herschikken als de initiële generatie conceptueel flawed was.

5. Betekenis en Conclusie

• Paradigmaverschuiving: Het paper toont aan dat cognitieve decompositie (het opsplitsen van taken in rollen-gespecialiseerde agenten) een superieure strategie is voor complexe door AI ondersteunde modellering in vergelijking met monolithische prompting.
• Betrouwbaarheid: NOMAD biedt een meer interpreteerbare en controleerbare workflow, waardoor ontwikkelaars precies kunnen pinpointen waar een modelleringfout is opgetreden (bijv. extractie versus relatie-afleiding).
• Beperkingen & Toekomstig Werk: Het systeem benadrukt dat hoewel structureel redeneren verbetert, fijnmazige attribuutextractie een bottleneck blijft vanwege de inherente ambiguïteit van natuurlijke taal. Toekomstig werk heeft tot doel NOMAD uit te breiden naar gedragsdiagrammen (SysML, Sequence), mens-in-de-lus feedback te integreren en bidirectionele communicatie tussen agenten te verkennen om informatieverlies te verminderen.

Kortom, NOMAD vertegenwoordigt een belangrijke stap richting betrouwbare, traceerbare en uitbreidbare door AI ondersteunde modellering, en bewijst dat multi-agent systemen de kloof tussen natuurlijke taalvereisten en formele softwaremodellen effectief kunnen overbruggen.