Green Architectural Tactics in ML-enabled Systems: An LLM-based Repository Mining Study

Titolo dello Studio

Green Architectural Tactics in ML-enabled Systems: An LLM-based Repository Mining Study
(Tattiche Architettoniche Green nei Sistemi abilitati all'ML: Uno Studio di Mining dei Repository basato su LLM)

1. Problema e Contesto

L'adozione diffusa di Machine Learning (ML) e Intelligenza Artificiale (AI) ha sollevato preoccupazioni crescenti riguardo alla loro sostenibilità ambientale. Lo sviluppo e il deployment di sistemi ML sono processi ad alta intensità computazionale, specialmente durante le fasi di addestramento e inferenza, con un impatto significativo sul consumo energetico e sulle emissioni di CO2 (es. l'addestramento di modelli come LLaMA-65B genera circa 173 tonnellate di CO2).

Sebbene la comunità di ricerca abbia proposto cataloghi di pratiche sostenibili (tattiche "Green AI"), come quello di Järvenpää et al. [35] che elenca 30 tattiche, rimangono due lacune critiche:

1. Mancanza di evidenze empiriche: Non è chiaro in che misura queste tattiche siano effettivamente adottate nella pratica reale.
2. Pratiche non documentate: Non è noto se esistano ulteriori pratiche sostenibili utilizzate dagli sviluppatori che non sono ancora state catalogate nella letteratura accademica.

2. Obiettivi della Ricerca

Lo studio si propone di:

• Investigare l'entità dell'adozione delle tattiche green esistenti in sistemi ML reali.
• Identificare nuove pratiche sostenibili non ancora documentate.
• Sviluppare un meccanismo automatizzato basato su Large Language Models (LLM) per l'estrazione di queste tattiche dal codice sorgente.

3. Metodologia

La ricerca segue un approccio di Mining Software Repository (MSR) su un dataset di 205 progetti open-source ML ospitati su GitHub.

A. Campionamento e Dataset

• Origine: I dati provengono dalla fusione di tre dataset esistenti (Gonzalez et al., NICHE, e un terzo dataset), inizialmente contenenti 3.854 progetti.
• Filtraggio: Sono stati applicati due filtri principali:
  1. Selezione di progetti che producono e addestrano modelli ML (identificati tramite analisi delle API e import di librerie ML).
  2. Selezione di progetti attivi con commit recenti (aggiornati nel 2024).
• Risultato: Il dataset finale comprende 205 progetti, suddivisi per dimensione (Small, Medium, Large) e caratterizzati da metriche come stelle, fork, contributori e linee di codice (LOC).

B. Selezione delle Tattiche

Lo studio si è focalizzato su 15 tattiche specifiche del catalogo di Järvenpää et al. [35], appartenenti ai cluster: Algorithm Design, Model Optimization e Model Training.

• Criterio di selezione: Sono state incluse solo le tattiche il cui impatto è visibile e verificabile a livello di codice sorgente (es. quantizzazione, pruning, early stopping), escludendo quelle che dipendono da configurazioni infrastrutturali o dati esterni non presenti nel repository.

C. Estrazione basata su LLM

Per superare le limitazioni dell'analisi manuale e statica, gli autori hanno progettato un meccanismo innovativo basato su LLM:

1. Prompt Engineering: È stato sviluppato un prompt strutturato (basato sul framework PRIMES) che istruisce l'LLM a:
   • Identificare le 15 tattiche predefinite.
   • Scoprire nuove tattiche sostenibili non presenti nel catalogo.
2. Selezione del Modello: Sono stati valutati quattro modelli (GPT-4o, Claude 3 Haiku, Qwen3-8B, DeepSeek-R1-8B). Claude 3 Haiku è stato selezionato come modello principale grazie alla sua accuratezza superiore (96,83% in una validazione oracle) e alla capacità di fornire spiegazioni dettagliate e identificare nuove tattiche.
3. Validazione Oracle: Un subset di 10 progetti (141 file Python) è stato analizzato manualmente da due autori per creare un "ground truth". L'accordo iniziale (Cohen's kappa = 0.44) è stato portato al 100% dopo discussioni e raffinamento dei criteri.

D. Analisi dei Dati

• RQ1 (Adozione): Analisi quantitativa della frequenza di adozione delle 15 tattiche note, supportata da modelli di regressione logistica per correlare l'adozione con le caratteristiche del progetto (età, dimensione, popolarità).
• RQ2 (Nuove Tattiche): Analisi qualitativa delle risposte dell'LLM per identificare nuove pratiche. I candidati sono stati sottoposti a una rigorosa validazione manuale e triangolazione bibliografica per confermarne la sostenibilità e la novità.

4. Risultati Chiave

Risposta alla RQ1: Adozione delle Tattiche Esistenti

• Adozione Diffusa: Tutte le 15 tattiche della letteratura sono state trovate implementate nei progetti reali, ma con frequenze molto variabili.
• Tattiche ad Alta Adozione:
  • T11 (Usare funzioni di libreria integrate): 98,5% dei progetti.
  • T20 (Progettare per vincoli di memoria): 78,0%.
  • T16 (Transfer Learning): 47,3%.
• Tattiche a Bassa Adozione:
  • T12 (Impostare il consumo energetico come vincolo): 17,1%.
  • T13 (Considerare la sostituzione di grafi): 17,6%.
  • T9 (Considerare RL per l'efficienza energetica): 21,5%.
• Correlazioni: L'età del progetto mostra una correlazione significativa con l'adozione di diverse tattiche, mentre la dimensione del progetto (LOC) non sembra essere un fattore determinante per la maggior parte delle tattiche.

Risposta alla RQ2: Elicitazione di Nuove Tattiche

L'approccio basato su LLM ha rivelato 9 nuove tattiche green che non erano presenti nel catalogo originale, portando il totale delle tattiche architetturali green per sistemi ML a 39.
Le nuove tattiche includono:

1. Clean and Standardize Data (T31): Pulizia e standardizzazione dei dati per ridurre le iterazioni di addestramento.
2. Consider Use Data Augmentation (T32): Aumento dei dati per migliorare la generalizzazione senza raccogliere nuovi dati.
3. Ensure Gradient Stability (T33): Uso di gradient clipping per accelerare la convergenza.
4. Use Adaptive Learning Rate Scheduling (T34): Adattamento dinamico del learning rate.
5. Employ Parallel Training (T35): Addestramento distribuito su più unità di calcolo.
6. Use Early Stopping (T36): Arresto anticipato dell'addestramento per evitare overfitting e risparmiare energia (alta adozione: 42,93%).
7. Use Deployment-Specific Model Export Strategies (T37): Export in formati ottimizzati (es. ONNX) per l'hardware target.
8. Consider Model Reproducibility (T38): Controllo della casualità e modularità per ridurre esperimenti ridondanti.
9. Dynamic Resource Management (T39): Allocazione dinamica delle risorse computazionali.

5. Contributi e Significato

Contributi Scientifici

1. Nuovo Strumento LLM: Introduzione di un meccanismo automatizzato basato su LLM per l'identificazione di tattiche architetturali green, dimostrando che gli LLM possono essere usati efficacemente per l'analisi semantica del codice a fini di sostenibilità.
2. Espansione del Catalogo: Aggiornamento del catalogo delle tattiche green da 30 a 39 elementi, fornendo esempi di codice concreti per l'implementazione delle nuove tattiche.
3. Evidenza Empirica: Fornisce la prima analisi su larga scala che valida l'adozione reale delle tattiche green, passando dalla teoria alla pratica.

Implicazioni Pratiche

• Per gli Sviluppatori: Il paper offre esempi di codice pronti all'uso per integrare pratiche sostenibili, abbattendo le barriere all'adozione.
• Per i Ricercatori: Identifica le aree dove l'adozione è bassa (es. vincoli energetici espliciti), suggerendo la necessità di migliori tooling e formazione.
• Sostenibilità Ambientale: Promuove l'adozione di strategie che riducono l'impronta di carbonio dei sistemi AI, allineandosi agli obiettivi di sviluppo sostenibile (SDG) e al movimento "Green AI".

Limitazioni e Lavori Futuri

• Linguaggio: Lo studio si è concentrato su progetti Python; futuri lavori estenderanno l'analisi ad altri linguaggi (Java, C++).
• Quantificazione Energetica: Lo studio rileva la presenza delle tattiche ma non ne misura l'impatto energetico reale (che richiederebbe profiling runtime).
• Validazione: Sebbene l'uso di un singolo LLM sia stato scelto per coerenza, futuri studi potrebbero esplorare metodi ensemble.

In conclusione, questo lavoro rappresenta un passo fondamentale verso l'ingegneria del software sostenibile, fornendo sia una mappa aggiornata delle pratiche esistenti che gli strumenti per scoprirne di nuove.