Statistical Confidence in Functional Correctness: An Approach for AI Product Functional Correctness Evaluation

Titolo

Fiducia Statistica nella Correttezza Funzionale: Un Approccio per la Valutazione della Correttezza Funzionale dei Prodotti AI

1. Il Problema

La valutazione della qualità dei sistemi di Intelligenza Artificiale (AI) rappresenta una sfida fondamentale a causa della loro natura intrinsecamente probabilistica e adattiva, che contrasta con i metodi di testing deterministici tradizionali.

• Inadeguatezza degli approcci attuali: Le metodologie di testing convenzionali falliscono perché i modelli AI non seguono mappature input-output prevedibili. Inoltre, il "problema dell'oracolo" (definire l'output corretto) è complesso nei contesti AI.
• Limiti degli standard esistenti: Sebbene standard come ISO/IEC 25059 (adattamento di ISO/IEC 25010 per l'AI) forniscano un modello di qualità, mancano di metodi pratici e statisticamente robusti per valutare la "correttezza funzionale".
• Il rischio delle stime puntuali: Le valutazioni attuali si basano spesso su stime puntuali (es. una singola media di accuratezza), che nascondono la variabilità delle prestazioni e creano un falso senso di sicurezza, rendendo difficile prendere decisioni di deployment informate.

2. Metodologia: L'Approccio SCFC

Gli autori propongono l'approccio SCFC (Statistical Confidence in Functional Correctness), un metodo strutturato in quattro fasi sequenziali che integra il campionamento statistico, l'inferenza e l'analisi di capacità (process capability).

Fase 1: Definizione dei Limiti di Specifica per la Correttezza Funzionale

Trasformazione dei requisiti di business in criteri di accettazione oggettivi e misurabili.

• Si definisce un Limite di Specifica Inferiore (LSL) per metriche dove un valore più alto è meglio (es. Recall, Precisione).
• Si definisce un Limite di Specifica Superiore (USL) per metriche dove un valore più basso è meglio (es. Tasso di Falsi Positivi).
• Esempio: Un sistema di rilevamento frodi deve avere un Recall $\ge$ 98% (LSL = 0.98).

Fase 2: Campionamento Stratificato e Probabilistico

Per garantire la rappresentatività dei dati di test rispetto alla distribuzione reale in produzione:

• Si identificano variabili di stratificazione con esperti di dominio (es. tipo di transazione, regione geografica).
• Si calcolano le proporzioni reali di ogni strato nella popolazione.
• Si esegue un campionamento probabilistico all'interno di ogni strato per evitare bias di selezione e garantire che i sottogruppi critici (anche minoritari) siano rappresentati.

Fase 3: Applicazione del Bootstrapping e Calcolo degli Intervalli di Confidenza

Per quantificare l'incertezza e la variabilità delle prestazioni:

• Si applica la tecnica di Bootstrapping (ricampionamento non parametrico) sul campione di test originale.
• Si generano $S$ (es. 1000) nuovi campioni con sostituzione per stimare la distribuzione empirica della metrica di interesse.
• Si calcola un Intervallo di Confidenza (CI), tipicamente al 95%, che definisce il range entro cui si trova la vera prestazione del sistema con alta probabilità.

Fase 4: Calcolo e Analisi dell'Indice di Capacità ($C_{pk}$)

Sintesi delle informazioni in un unico indicatore decisionale, adattando la formula Six Sigma $C_{pk}$.

• A differenza della $C_{pk}$ tradizionale che usa la deviazione standard (assumendo normalità), questa metodologia utilizza i limiti dell'intervallo di confidenza ottenuti dal bootstrapping, rendendola robusta per distribuzioni non normali tipiche dell'AI.
• Formule:
  • $C_{pl} = \frac{\text{Media} - LSL}{\text{Media} - \text{Limite Inferiore CI}}$
  • $C_{pu} = \frac{USL - \text{Media}}{\text{Limite Superiore CI} - \text{Media}}$
  • $C_{pk} = \min(C_{pl}, C_{pu})$
• Interpretazione:
  • $C_{pk} < 1.0$: Inaccettabile (il sistema non soddisfa costantemente le specifiche).
  • $C_{pk} = 1.0$: Capacità minima (al limite, richiede monitoraggio).
  • $C_{pk} > 2.0$: Eccellente (alta fiducia nel rispetto delle specifiche).

3. Risultati dello Studio di Caso

L'approccio è stato validato su due sistemi AI reali e valutato tramite interviste con quattro esperti del settore.

Casi Studio Applicati

1. Stima dello Spazio sul Ponte di Carico (Offshore):
   • Requisito: Previsione corretta di almeno il 70% delle immagini (LSL = 0.70).
   • Risultato: Media osservata ~83%, ma l'intervallo di confidenza 95% era [71.43%, 92.86%].
   • Indice $C_{pk}$: 1.12.
   • Insight: Sebbene la media fosse alta, il limite inferiore dell'intervallo era molto vicino al requisito. L'approccio ha rivelato un margine di sicurezza ridotto, suggerendo un deployment con monitoraggio continuo.
2. Rilevamento Frodi Carte di Credito:
   • Requisito: Recall $\ge$ 98% (LSL = 0.98).
   • Risultato: Media osservata ~99.1%, Intervallo di confidenza 95% [98.55%, 99.67%].
   • Indice $C_{pk}$: 1.98.
   • Insight: Il sistema è stato classificato come "Eccellente" con un margine di sicurezza ampio, confermando la sua idoneità per il deployment in produzione.

Feedback degli Esperti (Interviste)

• Accettazione: Gli esperti hanno mostrato un alto livello di accettazione, percependo l'approccio come utile (PU), facile da usare (PEU) e con una forte intenzione di adozione (BI).
• Vantaggi: L'uso degli intervalli di confidenza aiuta a definire le aspettative degli stakeholder e riduce la soggettività nelle decisioni di deployment.
• Criticità/Note:
  • La definizione dei limiti di specifica dipende fortemente dalla maturità degli stakeholder di business.
  • Il campionamento stratificato deve essere adattato al contesto (es. in caso di frodi, potrebbe essere necessario un sovracampionamento della classe minoritaria invece di una proporzione esatta).
  • Il passo di bootstrapping potrebbe presentare una curva di apprendimento per chi non ha familiarità con la tecnica, sebbene i costi computazionali siano bassi.

4. Contributi Chiave

1. Paradigma Shift: Spostamento dalla valutazione basata su stime puntuali (media) a una valutazione basata sulla fiducia statistica e sulla variabilità.
2. Operazionalizzazione degli Standard: Fornisce un metodo pratico per applicare i concetti di correttezza funzionale dell'ISO/IEC 25059.
3. Indice di Capacità Robusto: Introduzione di una variante di $C_{pk}$ basata su intervalli di confidenza non parametrici, adatta alle distribuzioni non normali delle metriche AI.
4. Validazione Industriale: Dimostrazione empirica dell'efficacia del metodo su casi reali e validazione qualitativa tramite esperti del settore.

5. Significato e Impatto

L'approccio SCFC offre ai team di ingegneria AI uno strumento quantitativo per:

• Quantificare il rischio di deployment: Non solo "quanto è accurato il modello", ma "quanto è probabile che rimanga accurato sotto variabilità dei dati".
• Standardizzare le decisioni: Rimuove l'ambiguità nelle decisioni di rilascio, fornendo un indicatore chiaro (es. $C_{pk} > 1.0$) che supera la semplice intuizione dell'ingegnere.
• Colmare il gap tra Business e Tecnica: Traduce requisiti di business vaghi in limiti di specifica statistici misurabili, facilitando la comunicazione tra stakeholder e sviluppatori.

In conclusione, il paper dimostra che l'integrazione di tecniche statistiche avanzate (bootstrapping, intervalli di confidenza) nei processi di QA dell'AI è non solo fattibile, ma essenziale per garantire sistemi affidabili, sicuri e allineati alle esigenze aziendali.