Quality Model for Machine Learning Components

Sintesi Tecnica: Modello di Qualità per i Componenti di Machine Learning

Problema
Nonostante l'aumento dell'adozione del machine learning (ML) e la disponibilità di infrastrutture MLOps, rimane un divario significativo tra lo sviluppo di modelli ML e il loro successo nel deployment in produzione. Gli studi indicano che solo circa il 40% dei prototipi di ML raggiunge la produzione. Una causa primaria di fallimento è che le pratiche di testing sono ampiamente limitate alla valutazione delle proprietà del modello, come l'accuratezza predittiva, trascurando i requisiti derivanti dal contesto di sistema più ampio (ad es. throughput, consumo di risorse, robustezza).

Inoltre, spesso esiste una disconnessione tra gli sviluppatori di modelli e gli stakeholder di sistema. Gli sviluppatori di modelli spesso mancano del contesto di sistema o delle competenze necessarie per testare oltre l'accuratezza, mentre i requisiti di sistema non vengono spesso condivisi con loro. Gli standard di qualità esistenti, come ISO 25010 e il più recente ISO 25059 per i sistemi AI, presentano una sfida: combinano attributi di livello di sistema con attributi di livello di componente. Attributi come la "coesistenza" (la capacità di operare efficientemente condividendo le risorse) non possono essere valutati a livello di componente da uno sviluppatore di modelli, pur imponendo vincoli critici al componente stesso. Questa conflazione ostacola l'elicitazione dei requisiti e il testing per i componenti ML, in particolare in scenari in cui lo sviluppo è esternalizzato, condotto da team di data science separati o coinvolge modelli pre-addestrati.

Metodologia
Gli autori hanno sviluppato un modello di qualità specificamente per i componenti ML attraverso un processo rigoroso e multi-fase progettato per isolare gli attributi testabili del componente dagli attributi di livello di sistema.

1. Identificazione delle Fonti: Il processo è iniziato con tre documenti standard (ISO 25010, ISO 25059 e ISO 25019) e due studi accademici/industriali rilevanti.
2. Estrazione e Deduplicazione: Un team di quattro ricercatori (con background in ingegneria del software e data science) ha estratto 123 attributi di qualità (QA) letteralmente. Utilizzando il card sorting, li ha raggruppati in 80 gruppi di QA per eliminare i duplicati e risolvere le incongruenze di denominazione.
3. Annotazione e Filtraggio: Ogni gruppo di QA è stato annotato per tipo:
   • Tipo 1: Si applica al componente ML (testabile a livello di componente).
   • Tipo 2: Si applica al sistema abilitato al ML ma pone requisiti sul componente ML (derivato dal sistema).
   • Tipo 3: Si applica strettamente al sistema (non testabile a livello di componente).
     Attraverso la costruzione del consenso, 44 gruppi sono stati identificati come Tipo 1 (o Tipo 1 & 2), mentre 10 erano di Tipo 3.
4. Definizione e Categorizzazione: Il team ha raffinato i 44 gruppi in 35 QA distinti con definizioni focalizzate sulle capacità del ML. Un esercizio finale di card sorting ha raggruppato questi in 7 categorie, portando a un modello finale di 30 Attributi di Qualità.

Contributi Chiave
Il contributo primario è un Modello di Qualità per i Componenti ML che funge da guida per l'elicitazione e la negoziazione dei requisiti. Fornisce un vocabolario comune per gli sviluppatori di componenti ML e gli stakeholder di sistema per definire i requisiti derivati dal sistema e focalizzare gli sforzi di testing. Il modello distingue tra attributi che possono essere testati a livello di componente e quelli a livello di sistema, affrontando i limiti degli attuali standard come ISO 25059.

Il modello è strutturato in sette categorie:

1. Analisi del Comportamento: Analizzabilità, Monitorabilità, Testabilità, Comprensibilità.
2. Confidenza: Spiegabilità, Correttezza Funzionale, Interpretabilità.
3. Consistenza: Ripetibilità, Riproducibilità.
4. Operatività Continua: Deployability (Capacità di distribuzione), Resilienza, Affidabilità, Utilizzo delle Risorse, Robustezza, Comportamento Temporale.
5. Manutenzione ed Evoluzione: Adattabilità al Dominio, Manutenibilità, Modificabilità, Portabilità, Sostituibilità, Riqualificabilità (Retrainability), Riutilizzabilità.
6. AI Responsabile: Conformità, Considerazione del Rischio Economico, Equità (Fairness), Considerazione del Rischio per la Salute e la Sicurezza, Inclusività, Considerazione del Rischio Sociale ed Etico.
7. Sicurezza e Privacy: Privacy, Resistenza.

Risultati e Validazione
La rilevanza e il valore del modello sono stati validati attraverso un sondaggio per professionisti su invito esclusivamente, condotto nell'agosto e settembre 2025, che ha prodotto 22 risposte complete da organizzazioni governative, di ricerca e industriali.

• Pratiche di Testing Attuali (RQ1): Il sondaggio ha rivelato che il testing attuale è ampiamente dominato dalla "Qualità Predittiva" (specificamente l'accuratezza), che costituiva circa il 19% delle risposte. Altri attributi come la latenza e il bias sono stati menzionati molto meno frequentemente (~6%). Ciò conferma il divario che il modello mira a colmare.
• Applicabilità agli LLM rispetto al ML Tradizionale (RQ2): I partecipanti hanno indicato che il 70% dei QA identificati è rilevante sia per i modelli ML tradizionali che per i Large Language Models (LLM). Sebbene alcuni attributi siano stati percepiti come più rilevanti per un tipo (ad es. "calibrazione" per gli LLM, "variabili latenti" per il ML tradizionale), il modello è stato ritenuto fornire una guida ampia attraverso i diversi tipi di modello.
• Importanza e Difficoltà (RQ3):
  • Importanza: Affidabilità, Testabilità, Deployability, Correttezza Funzionale e Robustezza sono stati classificati come i più importanti.
  • Difficoltà: La "Resistenza" (sicurezza) è stata classificata come la più difficile da testare, seguita da Resilienza e Considerazioni sul Rischio Etico. Al contrario, l'Utilizzo delle Risorse e il Comportamento Temporale sono stati classificati come più facili da testare.
  • Consenso: Il 100% dei partecipanti ha concordato (fortemente o meno) che considerare questi attributi di qualità porta alla rilevazione precoce di problemi che altrimenti rimarrebbero non rilevati fino alla produzione.

Significatività e Claim
L'articolo sostiene che questo sia il primo modello di qualità sviluppato empiricamente e validato che si concentra specificamente sugli attributi di qualità testabili per i componenti ML. La sua significatività risiede nel:

1. Colmare il Divario Comunicativo: Fornisce un linguaggio comune per gli stakeholder di sistema e gli sviluppatori di modelli per negoziare i requisiti, specialmente quando i team sono separati o lo sviluppo è esternalizzato.
2. Abilitare il Testing Diretto dal Sistema: Permette agli sviluppatori di modelli di valutare quanto bene i loro componenti soddisfino i requisiti derivati dal sistema (ad es. limiti di risorse, comportamento temporale) prima dell'integrazione.
3. Applicazione Pratica: Il modello è stato integrato con successo in MLTE (ML Test and Evaluation), uno strumento open-source. MLTE utilizza il modello per guidare l'elicitazione dei requisiti e include un catalogo di test organizzato per questi attributi di qualità, offrendo esempi di codice di test riutilizzabili per ogni attributo.

Gli autori mantengono una posizione modesta, riconoscendo che il modello non copre la qualità dei dati (che propongono come passo futuro) e che la scalabilità è stata intenzionalmente esclusa come proprietà di sistema piuttosto che di componente. Il lavoro mira a spostare il focus dell'industria dalle sole metriche predittive a una visione olistica della qualità del componente all'interno del contesto di sistema.