Valutazione dei Large Language Models per il Rilevamento di Violazioni delle Decisioni Architetturali

1. Il Problema (Problem Statement)

La qualità dell'architettura software dipende fortemente dal rispetto degli Architectural Decision Records (ADR), documenti che spiegano le scelte progettuali fatte nel tempo. Tuttavia, il monitoraggio della conformità a tali decisioni è estremamente difficile per due motivi principali:

• Mancanza di automazione: Le decisioni sono spesso scritte in linguaggio naturale (Markdown) e non in formati leggibili dalle macchine.
• Erosione Architetturale: Quando le decisioni vengono violate (intenzionalmente o per errore), il sistema subisce un degrado che aumenta la complessità e i costi di manutenzione.
  Gli strumenti tradizionali di analisi statica falliscono nel catturare la conoscenza implicita e il contesto descritto negli ADR, rendendo la verifica un processo manuale, costoso e soggetto a errori.

2. Metodologia (Methodology)

Gli autori hanno progettato uno studio empirico su larga scala per testare l'efficacia dei Large Language Models (LLM) nel rilevare queste violazioni.

• Dataset: Sono stati analizzati 980 ADR estratti da 109 repository GitHub open-source. I progetti sono stati selezionati in base alla dimensione (TLoC) e all'attività (commit) per garantire rilevanza.
• Pipeline Multi-Modello: È stato implementato un workflow in cui:
  1. Un Large Reasoning Model (LRM), nello specifico Marco-o1, funge da rilevatore primario, estraendo le decisioni e giudicando la conformità del codice.
  2. Tre Modelli di Validazione (V1, V2, V3) (Mistral-Nemo, Qwen3, Llama-3.1) agiscono come revisori indipendenti per verificare il ragionamento del primo modello.
• Tecnica RAG (Retrieval-Augmented Generation): Per superare i limiti della finestra di contesto, è stato utilizzato un approccio RAG con un database vettoriale (FAISS) per recuperare i frammenti di codice più pertinenti agli ADR analizzati.
• Classificazione: Il modello deve assegnare una delle tre etichette:
  • Compliant (C): Il codice segue la decisione.
  • Not Compliant (NC): Il codice viola esplicitamente la decisione.
  • Code is Insufficient to Answer (CIA): La decisione non è valutabile tramite il solo codice (es. decisioni organizzative).
• Validazione Umana: Un campione di 305 casi è stato validato da tre esperti umani per stabilire la "ground truth" e misurare l'accuratezza reale dei modelli.

3. Contributi Chiave (Key Contributions)

1. Valutazione su larga scala: Uno dei primi studi sistematici che applica più LLM al rilevamento di violazioni ADR in centinaia di progetti.
2. Pipeline di validazione innovativa: Un framework che combina rilevamento basato su RAG, validazione incrociata tra modelli e revisione umana.
3. Tassonomia dei fallimenti: Una classificazione dettagliata dei tipi di decisioni che gli LLM non riescono a interpretare e delle categorie di errore che producono.

4. Risultati (Results)

• Accordo tra modelli (RQ1): Gli LLM mostrano un accordo sostanziale (Fleiss’ Kappa = 0.724). La coerenza è massima quando il codice è chiaramente conforme (Compliant), mentre scende drasticamente per le decisioni ambigue o non verificabili.
• Accuratezza (RQ2): I modelli ottengono prestazioni elevate. Il modello LRM (Marco-o1) ha raggiunto un'accuratezza del 91.1%. In generale, i modelli sono molto affidabili nel confermare la conformità, ma meno efficaci nel distinguere tra una violazione reale e una mancanza di informazioni (CIA).
• Limitazioni e Fallimenti (RQ3):
  • Decisioni critiche: Gli LLM faticano maggiormente con le decisioni relative a infrastruttura e deployment (es. Docker, Kubernetes, Terraform), che rappresentano il 42% degli errori.
  • Cause degli errori: I fallimenti principali derivano da misinterpretazioni semantiche e logiche (44.57%), seguite dall'incapacità di inferire il contesto mancante (28.26%) e lacune nella conoscenza tecnica specifica del dominio.

5. Significato e Conclusioni (Significance)

Lo studio dimostra che gli LLM possono essere strumenti potenti per supportare gli architetti nel monitoraggio della conformità, automatizzando la revisione di decisioni esplicite e codificate. Tuttavia, non possono ancora sostituire l'esperto umano.

Implicazioni pratiche:

• Gli LLM dovrebbero essere usati in workflow ibridi (human-in-the-loop) come sistemi di "early warning".
• Il futuro dell'analisi architettonica automatizzata risiede nel migliorare la qualità del recupero del contesto (RAG) e nell'integrare il ragionamento degli LLM con l'analisi statica tradizionale per gestire decisioni più complesse e distribuite.