Structure- and Event-Driven Frameworks for State Machine Modeling with Large Language Models

Probleemstelling

Het ontwerpen van UML-toestandsmachines (state machines) is een kritiek proces in software-engineering om het dynamische gedrag van systemen te modelleren. Traditioneel wordt dit handmatig uitgevoerd door ervaren engineers die natuurlijke taal (NL) vereisten interpreteren. Dit proces is tijdrovend, arbeidsintensief en vatbaar voor menselijke fouten. Bestaande geautomatiseerde benaderingen vereisen vaak gestructureerde NL-vereisten, wat een beperking is. Het doel van dit onderzoek is om de capaciteit van huidige Large Language Models (LLM's) te evalueren om UML-toestandsmachines volledig automatisch te genereren op basis van ongestructureerde natuurlijke taalvereisten, zonder menselijke tussenkomst.

Methodologie

De auteurs hebben een framework ontwikkeld dat LLM's gebruikt om van een ongestructureerde systeembeschrijving naar een UML-toestandsmachine (in Umple-syntax) te converteren. Ze vergelijken twee soorten LLM's:

1. Niet-redenerend LLM: GPT-4o (OpenAI).
2. Redenerend LLM: Claude 3.5 Sonnet (Anthropic), ontworpen voor stap-voor-stap logisch redeneren.

Er worden vier generatiestrategieën onderzocht:

1. Single-Prompt Baseline: De LLM krijgt de volledige taak in één prompt en moet direct een complete toestandsmachine genereren.
2. Structure-Driven SMF (State Machine Framework): Een lineaire, meervoudige prompt-strategie die de generatie opsplitst in sequentiële stappen (bijv. eerst staten identificeren, dan transities, dan guards, etc.). Dit is geïnspireerd op hoe mensen het probleem benaderen.
3. Event-Driven SMF: Een iteratieve strategie die de generatie rondom geïdentificeerde gebeurtenissen (events) bouwt. Voor elk event wordt de LLM gevraagd hoe dit wordt verwerkt in de toestandsmachine.
4. Hybrid Approach: Een combinatie waarbij de output van de Single-Prompt Baseline dient als een eerste concept (draft), dat vervolgens wordt verfijnd en uitgebreid door de Structure-Driven SMF.

Evaluatie:
De prestaties worden getest op een dataset van acht ongestructureerde scenario's (bijv. vaatwasser, schaakklok) met door experts gemaakte referentie-oplossingen (ground truth). De evaluatie is handmatig uitgevoerd door de auteurs en meet Precision, Recall en F1-score voor zeven componenten: staten, transities, guards, acties, hiërarchische staten, parallelle regio's en history staten.

Belangrijkste Bijdragen

• Volledig geautomatiseerde pipeline: Het is de eerste poging om toestandsmachines volledig automatisch te genereren vanuit ongestructureerde tekstvereisten met behulp van LLM's.
• Vergelijking van strategieën: Systematische evaluatie van Single-Prompt versus Multi-Step strategieën (Structure-Driven, Event-Driven, Hybrid).
• Redenerend vs. Niet-redenerend: Een gedetailleerde analyse van het verschil in prestaties tussen GPT-4o en Claude 3.5 Sonnet in de context van modelgeneratie.
• Hybride aanpak: Introductie van een methode die de volledigheid van een single-prompt combineert met de precisie van stapsgewijze verfijning.

Resultaten

1. Single-Prompt Baseline (RQ1):

• Claude 3.5 Sonnet presteert over het algemeen beter dan GPT-4o (F1-score 0,70 vs 0,54).
• Beide modellen presteren goed in het identificeren van staten (F1 > 0,80), maar worstelen met complexere elementen.
• Acties en guards zijn de grootste uitdagingen. GPT-4o haalt een F1-score van 0,00 voor acties, terwijl Claude 3.5 Sonnet slechts 0,16 haalt.
• Parallelle regio's en history staten worden slecht geïdentificeerd door beide modellen.
• Conclusie: LLM's hebben potentie, maar zijn nog niet betrouwbaar genoeg voor een volledig geautomatiseerde oplossing zonder menselijke correctie.

2. Multi-Step Strategieën voor Niet-Redenerende LLM's (GPT-4o) (RQ2):

• Voor GPT-4o leiden meervoudige stappen tot significante verbeteringen.
• De Hybrid Approach behaalt de beste algehele F1-score (0,66), gevolgd door de Structure-Driven SMF (0,63). Beide doen het beter dan de Single-Prompt Baseline (0,54).
• De verbetering komt vooral door een sterke stijging in Recall (het vinden van meer relevante componenten), hoewel de Precision iets daalt.
• De Hybrid Approach lost het probleem van acties aanzienlijk op (F1 stijgt van 0,00 naar 0,34).
• De Event-Driven SMF presteert het slechtst vanwege een zeer lage Precision (te veel hallucinaties).

3. Multi-Step Strategieën voor Redenerende LLM's (Claude 3.5 Sonnet) (RQ3):

• Verwarring: In tegenstelling tot GPT-4o, presteert de Single-Prompt Baseline het beste voor Claude 3.5 Sonnet (F1 0,70).
• De meervoudige strategieën (Hybrid, Structure-Driven, Event-Driven) verslechteren de algehele prestaties van Claude 3.5 Sonnet.
• De auteurs concluderen dat de stap-voor-stap prompts mogelijk interfereren met het ingebouwde redeneervermogen van Claude 3.5 Sonnet, dat beter presteert bij het genereren van volledige code in één keer.
• Uitzondering: De Hybrid Approach verbetert wel de prestaties voor specifieke componenten zoals acties en hiërarchische staten, en de Event-Driven SMF helpt bij parallelle regio's.

Betekenis en Conclusie

Dit onderzoek toont aan dat LLM's veelbelovend zijn voor het automatiseren van modelgeneratie, maar dat er geen "one-size-fits-all" strategie bestaat:

• Voor niet-redenerende modellen (zoals GPT-4o) zijn meervoudige, gestructureerde prompts (zoals de Hybrid Approach) essentieel om de kwaliteit te verhogen en de recall te verbeteren.
• Voor redenerende modellen (zoals Claude 3.5 Sonnet) is een single-prompt aanpak vaak superieur, omdat complexe multi-step strategieën hun inherente redeneerprocessen kunnen verstoren.

De studie legt een belangrijke basis voor toekomstig onderzoek, met name gericht op het verbeteren van de generatie van complexe componenten (acties, parallelle regio's) en het ontwikkelen van strategieën die specifiek zijn afgestemd op het type LLM dat wordt gebruikt. De huidige technologie is nog niet volledig voldoende voor een volledig geautomatiseerde oplossing zonder menselijke validatie.