Sintesi Tecnica: Il Gap di Valutabilità dell'IA

Definizione del Problema

Le organizzazioni che implementano l'IA su larga scala affrontano una doppia sfida: gestire il rischio dell'IA (determinare se un sistema è abbastanza sicuro, equo, affidabile e conforme per operare) e sostenere il valore dell'IA (determinare se un sistema giustifica l'allocazione continua di risorse). Le attuali pratiche di governance spesso falliscono perché trattano questi come problemi separati con proprietari e vocabolari distinti, o perché si concentrano sulle proprietà del sistema piuttosto che sull'evidenza necessaria per prendere decisioni su di esse.

Il documento identifica una condizione fondamentale sottostante denominata Gap di Valutabilità dell'IA (AI Evaluability Gap): lo stato in cui le organizzazioni mancano di evidenza sufficiente per supportare decisioni di governance ad alta confidenza riguardanti sia il rischio che il valore. Questo gap porta a due modalità di fallimento:

1. Sovra-implementazione: Accettare rischi non misurati a causa di un'evidenza insufficiente di sicurezza.
2. Sotto-investimento: Rinunciare a un valore non misurato a causa di un'evidenza insufficiente di beneficio.

Gli autori sostengono che gli attuali framework soffrano di un "errore di categoria", trattando la governance come sinonimo di gestione del rischio e assumendo che la sufficienza dell'evidenza sia un dato di fatto piuttosto che un oggetto primario della governance. Inoltre, le pratiche esistenti spesso non tengono conto della non-stazionarietà dei sistemi di IA, dove l'evidenza decade rapidamente a causa dell'adattamento degli utenti, del riaddestramento dei modelli e del mutamento degli ambienti.

Metodologia e Framework

Il documento propone la Valutabilità (Evaluability) come un nuovo framework teorico per affrontare questo gap. Invece di prescrivere metriche specifiche o metodi statistici, la Valutabilità definisce le condizioni evidenziarie sotto le quali le decisioni di governance diventano difendibili.

Definizione Core

La Valutabilità è definita come la capacità di un sistema di generare, mantenere e rinnovare evidenza sufficiente a supportare decisioni di governance ad alta confidenza riguardo alla sua operatività e all'allocazione delle risorse nel tempo.

Formalmente, la Valutabilità è una funzione di sei proprietà del flusso di evidenza di un sistema di IA:
$$\text{Valutabilità} = f(O, A, I, V, C, T)$$
Dove:

• Osservabilità (O): Gli esiti rilevanti per la decisione possono essere osservati? (es. log, telemetria, esiti di business).
• Attribuibilità (A): Il contributo dell'IA può essere isolato dai fattori di confondimento? (Richiede un design causale o quasi-sperimentale).
• Intervenibilità (I): Il sistema può essere modificato per testare le affermazioni e rispondere ai guasti? (es. rollback, A/B testing).
• Verificabilità (V): Una parte indipendente può auditare e riprodurre l'analisi?
• Calibrazione (C): I livelli di confidenza dichiarati corrispondono alle frequenze osservate di correttezza?
• Validità Temporale (T): L'evidenza rimane rilevante mentre l'ambiente e il sistema evolvono?

Formulazione Centrata sulla Decisione

Il framework sposta l'attenzione dalla misurazione delle proprietà del sistema alla valutazione della confidenza in una decisione ($D$) dato un corpo di evidenza ($E$).

• Confidenza ($Conf(D|E)$): Uno stato epistemico relativo alla sufficienza dell'evidenza, non una probabilità di uno stato del mondo.
• Regola Decisionale: Un'azione $D$ è giustificata se e solo se $Conf(D|E) > \tau(D)$, dove $\tau$ è una soglia determinata dalla materialità della decisione e dall'asimmetria dell'errore.
• Il Gap: Il Gap di Valutabilità esiste quando $Conf(D|E) < \tau(D)$.

Due Classi di Certificazione

Il framework distingue tra due tipi di decisioni di governance, ciascuna delle quali richiede diverse strutture evidenziarie:

1. Certificazione Operativa: Determina se un sistema può operare. Si basa su evidenza strutturale (verifica, stress test, valutazione avversaria) per stabilire l'assenza di modalità di guasto. Lo standard evidenziario è tipicamente elevato.
2. Certificazione di Investimento: Determina se un sistema merita risorse continue. Si basa su evidenza causale (ragionamento controfattuale, rollout randomizzati) per stabilire la generazione di valore. Lo standard evidenziario scala con la materialità della spesa.

Il Ciclo di Valutabilità

Le sei proprietà non sono una checklist statica ma un ciclo continuo:

1. L'Osservabilità cattura ciò che è accaduto.
2. L'Attribuibilità collega gli esiti all'IA.
3. La Verificabilità permette la fiducia indipendente.
4. La Calibrazione assicura che le dichiarazioni di confidenza siano affidabili.
5. La Validità Temporale valuta se l'evidenza è ancora attuale.
6. L'Intervenibilità consente l'azione (test, riaddestramento) quando sorge l'incertezza, generando nuove osservazioni per far ripartire il ciclo.

Il framework sottolinea che l'evidenza è deperibile. In assenza di rinnovamento, la confidenza decade nel tempo ($Conf(D|E(t)) \to Conf(D|\emptyset)$), rendendo necessaria una ricertificazione continua piuttosto che un'approvazione una tantum.

Livello Istituzionale

Per evitare la cattura epistemica, il framework propone un modello istituzionale distribuito:

• Produttori di Evidenza: Team di ingegneria e dati che generano log e risultati.
• Verificatori di Evidenza: Funzioni di rischio, audit e finanza che validano l'integrità e la calibrazione.
• Adjudicator di Evidenza: Board o comitati che stabiliscono le soglie e risolvono i conflitti tra le certificazioni.

Contributi Chiave

Il documento apporta tre contributi primari:

1. Unificazione degli Oggetti di Governance: Identifica la sufficienza dell'evidenza come l'oggetto unificante attraverso i domini di governance, formalizzandolo attraverso la funzione $Conf(D|E)$. Sostiene che la governance non riguarda la misurazione diretta delle proprietà (sicurezza, valore), ma la determinazione se esiste un'evidenza sufficiente per prendere decisioni su tali proprietà.
2. Certificazione Operativa vs. di Investimento: Introduce una distinzione strutturale tra decisioni operative e di investimento. Ciò chiarisce la confusione riguardante il concetto di "valore" nelle tassonomie di governance, permettendo alle organizzazioni di affermare coerentemente che un sistema è operativamente sicuro ma non degno di investimento (o viceversa), risolvendo così la paralisi della governance.
3. Elevazione della Validità Temporale e della Calibrazione: Eleva la validità temporale e la calibrazione da preoccupazioni periferiche a proprietà di primo livello. Il documento sostiene che l'attuale governance dell'IA è ricca di monitoraggio ma povera di calibrazione, portando a "decisioni sicure la cui stessa confidenza è infondata".

Risultati e Tesi

Il documento non presenta risultati sperimentali empirici, poiché si tratta di un framework teorico. I suoi "risultati" sono proposizioni logiche e argomentazioni strutturali:

• Proposizione 3.1 (Non-Identificabilità della Governance): Due sistemi di IA con esiti osservati indistinguibili possono richiedere decisioni di governance differenti perché la confidenza giustificata dai loro flussi di evidenza differisce. La governance non può essere inferita dagli esiti da soli; dipende dalla struttura e dalla provenienza dell'evidenza.
• La Necessità delle Sei Proprietà: Un sistema può essere accurato o redditizio, ma può comunque fallire il test di Valutabilità se l'evidenza a supporto è non verificabile, non calibrata o obsoleta.
• Il Decadimento dell'Evidenza: Il documento sostiene che nell'IA l'evidenza decade rapidamente a causa della non-stazionarietà, dell'emergenza di capacità e dell'adattamento umano. Pertanto, la governance deve essere un processo continuo di ricertificazione legato a tassi di decadimento stimati empiricamente, non a convenzioni di calendario.

Significato e Ambito

Gli autori posizionano la Valutabilità come un substrato per gli esistenti framework di governance (come NIST RMF, ISO/IEC 42001 e i casi di assurance) piuttosto che come un sostituto.

• Cosa è: Un framework per determinare se esiste un'evidenza sufficiente per supportare decisioni ad alta confidenza. Fornisce gli standard architettonici per la generazione e la validazione dell'evidenza.
• Cosa non è: Non determina se un sistema è effettivamente sicuro, equo, affidabile o prezioso. Non sostituisce i modelli di rischio specifici del dominio, le metriche di equità o i calcolatori di ROI. Non prescrive metodi statistici specifici per l'inferenza causale o la rappresentazione della confidenza (permettendo approcci bayesiani, frequentisti o di Dempster-Shafer).

Il documento conclude che, man mano che i sistemi di IA diventano più dinamici e autonomi, la capacità di generare, mantenere e rinnovare l'evidenza (Valutabilità) potrebbe diventare tanto critica quanto i modelli sottostanti stessi. Il framework mira a colmare il divario tra la complessità dei moderni sistemi di IA e la sufficienza dell'evidenza necessaria per governarli responsabilmente.