LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance

Titolo: Analisi dell'Attribuzione degli LLM attraverso Diverse Strategie di Fine-Tuning e Scale di Modello per la Conformità Automatizzata ai Codici Edili

1. Problema e Contesto

L'industria dell'Architettura, Ingegneria e Costruzione (AEC) sta esplorando l'uso dei Modelli Linguistici su Grande Scala (LLM) per l'automazione della conformità ai codici edili (Automated Code Compliance - ACC). Sebbene studi recenti abbiano dimostrato la capacità degli LLM di convertire regole edilizie complesse in script computerizzabili (es. Python), la ricerca esistente si è concentrata quasi esclusivamente sulle metriche di prestazione e accuratezza, trattando i modelli come "scatole nere".

Esiste un vuoto conoscitivo critico riguardo a come le decisioni di addestramento (scelta tra Full Fine-Tuning e metodi Parameter-Efficient Fine-Tuning come LoRA/QLoRA) e la scala del modello (numero di parametri) influenzino i meccanismi interpretativi interni. Senza comprendere come e su quali parti del testo il modello si concentra per generare un output, l'adozione di questi sistemi per compiti critici e regolamentati rimane limitata a causa della mancanza di trasparenza e fiducia.

2. Metodologia

Lo studio ha adottato un approccio sistematico in tre fasi per analizzare il comportamento interpretativo degli LLM:

• Preparazione dei Dati e dei Modelli:

  • È stato utilizzato un dataset reale di regole edilizie accoppiate alle loro implementazioni in script Python.
  • Sono stati configurati modelli con due variabili chiave:
    1. Strategia di Fine-Tuning: Confronto tra Full Fine-Tuning (FFT), Low-Rank Adaptation (LoRA) e Quantized LoRA (QLoRA).
    2. Scala del Modello: Confronto tra modelli di diverse dimensioni (da 0.5B a 22B parametri).
  • I modelli selezionati includevano famiglie come LLaMA, Mistral, Qwen, Falcon e Hermes.

• Valutazione delle Prestazioni:

  • La qualità degli script generati è stata misurata utilizzando CodeBERTScore, una metrica basata su embedding contestuali che valuta la similarità semantica rispetto agli script di riferimento, superando i limiti delle metriche basate sulla semplice corrispondenza lessicale.

• Analisi dell'Attribuzione (Explainability):

  • È stata impiegata un'analisi di attribuzione basata sulla perturbazione (utilizzando la libreria Captum).
  • Meccanismo: Ogni parola della regola edilizia di input viene sistematicamente rimossa (ablazione) e si misura la variazione nella probabilità logaritmica di generare lo script target.
  • Obiettivo: Calcolare un punteggio di attribuzione per ogni parola, identificando quali termini testuali influenzano maggiormente la decisione del modello.
  • Analisi Statistica: Confronto delle vettori di attribuzione tramite similarità del coseno e test statistici (t-test accoppiati, test di Wilcoxon) per determinare differenze significative tra le strategie di addestramento e le scale dei modelli.

3. Risultati Chiave

A. Prestazioni Semantiche:

• Strategia di Addestramento: Il Full Fine-Tuning (FFT) ha ottenuto sistematicamente le migliori prestazioni semantiche, seguito da LoRA e infine da QLoRA. La quantizzazione a 4 bit (QLoRA) ha introdotto una perdita di fedeltà significativa, specialmente in modelli come Falcon e Phi.
• Scala del Modello: È stata osservata una correlazione positiva tra dimensione del modello e prestazioni fino a circa 7 miliardi di parametri. Oltre questa soglia (modelli da 7B a 22B), le prestazioni semantiche medie si sono stabilizzate (plateau), suggerendo che per questo compito specifico, modelli più grandi non offrono benefici aggiuntivi significativi quando limitati da QLoRA, sebbene mostrino un maggior numero di casi di eccellenza (outlier).

B. Comportamento Interpretativo (Attribuzione):

• Differenze tra Strategie di Fine-Tuning:

  • I modelli FFT mostrano pattern di attribuzione statisticamente diversi e più focalizzati rispetto a LoRA e QLoRA.
  • FFT tende a concentrare l'attenzione su poche parole chiave critiche (es. vincoli numerici, identificatori di regole), mentre LoRA e QLoRA mostrano pattern di attribuzione più diffusi e meno definiti, indicando una possibile incertezza del modello o una mappatura latente meno robusta.
  • La similarità del coseno tra le strategie PEFT (LoRA/QLoRA) è alta, ma significativamente diversa rispetto a FFT.

• Evoluzione con la Scala del Modello:

  • Modelli Piccoli (3B-7B): Mostrano una comprensione concettuale di base ma distribuiscono l'attenzione su un ampio spettro di parole, indicando una minore capacità di isolare i parametri critici.
  • Modelli Grandi (22B): Sviluppano strategie interpretative più sofisticate.
    • Prioritizzano gli identificatori delle regole (es. "4.3.11d") come caratteristiche predittive potenti.
    • Focalizzano l'attenzione in modo acuto sui vincoli numerici (es. "2.2 metri", "150 mm/hr"), essenziali per la generazione corretta dello script.
    • Dimostrano una maggiore "confidenza" nell'isolare le caratteristiche fondamentali della logica della regola.

4. Contributi Principali

1. Superamento della "Scatola Nera": Il lavoro sposta il focus dalle sole metriche di accuratezza all'analisi dei meccanismi interni di interpretazione degli LLM nel contesto della conformità edilizia.
2. Analisi Comparativa delle Strategie di Addestramento: Dimostra che la scelta tra FFT e PEFT non influenza solo l'efficienza computazionale, ma altera radicalmente il modo in cui il modello "legge" e processa le regole normative.
3. Insight sulla Scala dei Modelli: Identifica che l'aumento della scala porta a un cambiamento qualitativo nella strategia di attribuzione (dalla comprensione concettuale generale all'estrazione precisa di parametri e identificatori), anche se le prestazioni medie di output possono stabilizzarsi.
4. Metodologia Riproducibile: Introduce un framework basato sulla perturbazione per valutare l'interpretabilità in compiti di generazione di codice tecnico.

5. Significato e Implicazioni

Questa ricerca è fondamentale per l'adozione degli LLM nell'industria AEC per compiti regolamentati:

• Trasparenza e Fiducia: Fornisce agli ingegneri e ai regolatori la capacità di verificare su quali basi un modello ha generato una regola, aumentando la fiducia nell'automazione.
• Ottimizzazione delle Risorse: Suggerisce che per compiti di interpretazione di regole, l'uso di modelli molto grandi (sopra i 7B) con tecniche di quantizzazione aggressive (QLoRA) potrebbe non essere la scelta ottimale in termini di rapporto costo-beneficio, sia per le prestazioni che per la coerenza interpretativa.
• Sviluppo Futuro: Indica la necessità di sviluppare modelli che non solo siano accurati, ma che adottino strategie di attenzione simili a quelle umane (focalizzazione su vincoli critici e identificatori), rendendo i sistemi di conformità automatizzata più robusti e spiegabili.

In sintesi, lo studio conclude che per costruire LLM trasparenti per l'industria delle costruzioni, è necessario considerare attentamente non solo quanto un modello è bravo, ma come arriva alle sue conclusioni, scegliendo strategie di addestramento e dimensioni del modello che favoriscano un'interpretazione precisa e focalizzata delle normative.