(How) Do Large Language Models Understand High-Level Message Sequence Charts?

Riepilogo Tecnico: I Modelli Linguistici di Grande Dimensione Comprendono i Diagrammi di Sequenza a Livello Elevato (HMSC)?

Definizione del Problema
I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più impiegati per automatizzare attività lungo l'intero ciclo di vita dello sviluppo software. Tuttavia, rimane incerto se tali modelli rispettino coerentemente la semantica formale degli artefatti che elaborano, in particolare nel dominio della progettazione architetturale. Questo lavoro indaga tale lacuna utilizzando i Diagrammi di Sequenza a Livello Elevato (HMSC) come caso di studio. Gli HMSC sono modelli visivi dotati di una rigorosa semantica formale, che fungono da fondamento per i Diagrammi di Sequenza nel Linguaggio di Modellazione Unificato (UML). Il problema centrale consiste nel determinare se gli LLM possano "comprendere" (ovvero produrre output coerenti con un modello valido di) la semantica formale degli HMSC, specificamente per quanto riguarda l'ordinamento causale, l'astrazione, la composizione e la generazione di tracce.

Metodologia
Lo studio adotta un benchmark controllato per quantificare le prestazioni degli LLM su 129 compiti semantici derivati da nove modelli di riferimento (MSC e HMSC) tratti da dispense validate di specifiche software. La valutazione si concentra su tre LLM contemporanei: Gemini-3-Pro, GPT-5.4 e Qwen-3.6.

La metodologia è strutturata attorno a cinque Domande di Ricerca (RQ) e cinque categorie di compiti:

1. Identificazione degli Eventi: Riconoscimento delle unità sintattiche e semantiche di base (invio, ricezione, azioni interne).
2. Ordinamento Causale: Determinazione delle relazioni tra eventi basate sui vincoli di invio-ricezione, sull'ordinamento verticale delle istanze e sulla chiusura transitiva.
3. Trasformazioni Semantiche: Esecuzione di Astrazione (rimozione di eventi preservando il comportamento) e Composizione (combinazione di diagrammi tramite operatori di scelta, sequenza o parallelo).
4. Semantica Comportamentale: Calcolo dell'insieme delle tracce (estensioni lineari di ordini parziali) e generazione di Sistemi di Transizione Etichettati (LTS) equivalenti.
5. Analisi delle Prestazioni: Valutazione dell'accuratezza stratificata per complessità del modello, complessità del compito e specifico LLM.

La pipeline di valutazione comprende la progettazione dei prompt, l'esecuzione e la valutazione manuale rispetto a soluzioni di riferimento, con un focus sulla correttezza semantica piuttosto che sulla mera corrispondenza sintattica.

Principali Contributi

• Benchmark Semantico per HMSC: Il lavoro introduce un nuovo benchmark che testa direttamente gli LLM su concetti semantici formali (ordinamento, tracce, LTS) invece di affidarsi a compiti a valle come il completamento del codice o il controllo di equivalenza.
• Metriche di Accuratezza Stratificate: Fornisce un'analisi granulare delle prestazioni degli LLM, distinguendo tra compiti di riconoscimento di base e compiti di ragionamento complesso.
• Identificazione di "Pattern di Dolore": Lo studio identifica sistematicamente specifici concetti semantici in cui gli LLM falliscono coerentemente, in particolare riguardo alle co-regioni (regioni senza ordinamento degli eventi) e alle dipendenze causali esplicite nelle composizioni parallele.
• Osservazione della Mitigazione tramite Uso di Strumenti: Gli autori notano che quando gli LLM riescono in compiti di ragionamento complesso, spesso lo fanno generando ed eseguendo codice Python per codificare la logica semantica, suggerendo una via per migliorare l'affidabilità tramite l'integrazione di strumenti.

Risultati
Lo studio riporta un'accuratezza complessiva di circa il 52% su tutti i modelli e tutti i compiti, rivelando una significativa variabilità basata sulla complessità del compito:

• Semantica di Base (Alte Prestazioni): Gli LLM dimostrano una forte competenza nell'identificare eventi e nell'ordinamento causale di base, raggiungendo un'accuratezza di circa l'88%. Gli errori in questa area erano spesso artefatti visivi (ad esempio, interpretare erroneamente la posizione verticale come ordine causale).
• Trasformazioni Semantiche (Basse Prestazioni): Le prestazioni crollano drasticamente per i compiti di astrazione e composizione, con un'accuratezza media di circa il 36%.
  • Astrazione: I modelli hanno spesso fallito nel preservare l'ordinamento causale dopo la rimozione di eventi o hanno introdotto ordini arbitrari quando univano istanze.
  • Composizione: I modelli hanno avuto difficoltà con la composizione orizzontale, imponendo erroneamente un ordine su eventi paralleli (non riuscendo a utilizzare le co-regioni) e interpretando male la composizione verticale.
• Semantica Comportamentale (Prestazioni da Moderate a Basse): L'accuratezza per l'identificazione delle tracce è stata di circa il 42%, mentre la generazione di LTS equivalenti è stata ancora più bassa (circa il 25%).
• Variabilità tra Modelli: Non è stata osservata una relazione strettamente monotona tra "dimensione" o "profondità" del modello e prestazioni. Gemini-3 ha raggiunto la più alta accuratezza complessiva (55,8%), seguito da Qwen-3.6 (48,8%) e GPT-5.4 (46,5%). Il successo nei compiti complessi è stato spesso correlato alla capacità del modello di generare ed eseguire codice di ragionamento corretto.

Significato e Affermazioni
Il lavoro afferma modestamente di compiere il "primo passo" nella caratterizzazione dei limiti delle capacità degli LLM nel ragionamento architetturale. Conclude che, sebbene gli LLM possiedano un modello preciso dei costrutti MSC di base, mancano di una nozione valida di co-regioni e dipendenze causali esplicite necessarie per il ragionamento semantico di livello superiore.

Gli autori sostengono che le attuali limitazioni suggeriscono che gli LLM non possono ancora essere affidati per una comprensione coerente della progettazione architetturale senza supporto esterno. I risultati indicano che interfacciare gli LLM con strumenti di ragionamento validi (ad esempio, eseguendo codice generato per il calcolo delle tracce) è una strategia praticabile per mitigare queste lacune semantiche. Lo studio evidenzia inoltre la necessità di lavori futuri per affrontare i "pattern di dolore" del ragionamento sugli ordini parziali e per espandere i benchmark oltre l'attuale dataset al fine di garantire la robustezza statistica.