Beyond Model Readiness: Institutional Readiness for AI Deployment in Public Systems

Sintesi Tecnica: Preparazione Istituzionale per il Deployment di Sistemi di IA nei Sistemi Pubblici

Dichiarazione del Problema
I sistemi di intelligenza artificiale nel settore pubblico falliscono frequentemente non a causa di carenze nello sviluppo del modello o delle prestazioni tecniche, ma per una mancanza di preparazione istituzionale al momento del deployment. Sebbene i quadri esistenti per un'IA responsabile (ad esempio, Model Cards, Datasheets for Datasets, NIST AI RMF) valutino efficacemente le proprietà a livello di artefatto, come accuratezza, robustezza, equità e processi lato sviluppatore, non sono adeguatamente attrezzati per valutare la capacità dell'istituzione ricevente di governare, operare e sostenere un sistema. Di conseguenza, prototipi tecnicamente fattibili spesso si bloccano o non riescono a scalare a causa di dipendenze istituzionali irrisolte, inclusi percorsi di approvazione, protocolli di condivisione dei dati, vincoli di personale, continuità fiscale e chiarezza giuridica. Questo divario è particolarmente acuto in contesti con risorse limitate, dove l'attrito tra fattibilità tecnica e realtà operativa è massimo.

Metodologia
Il documento introduce la Preparazione per l'Allineamento Istituzionale (IAR), un quadro pre-deployment progettato per valutare se una specifica istituzione è preparata a implementare responsabilmente un specifico sistema di apprendimento automatico. Il quadro si basa su due casi operativi anonimizzati tratti da un ampio sistema pubblico nazionale di istruzione nelle Filippine:

1. Caso A: Uno strumento di screening antropometrico basato su immagini per studenti dei primi anni di scuola.
2. Caso B: Un sistema di analisi del parlato per l'identificazione del rischio di apprendimento precoce.

Entrambi i progetti hanno raggiunto stadi tecnicamente promettenti ma si sono bloccati durante la transizione dal prototipo a una diffusione più ampia a causa di barriere istituzionali, piuttosto che tecniche. Gli autori hanno analizzato questi casi per identificare condizioni istituzionali concrete che, se assenti, precludono un deployment responsabile. L'analisi si è concentrata su fattori quali la rappresentatività dei dati, i percorsi di invio, l'integrazione nei flussi di lavoro e l'autorizzazione legale.

Contributi Chiave
Il documento propone il quadro Preparazione per l'Allineamento Istituzionale (IAR), un modello a cinque dimensioni per valutare la prontezza al deployment. A differenza dei modelli di maturità che valutano la capacità generale di IA di un'organizzazione, l'IAR è specifico per il sistema e specifico per il deployment. Le cinque dimensioni sono:

1. Compatibilità Istituzionale e Operativa: Valuta i percorsi di approvazione, l'adattamento del flusso di lavoro alla pratica operativa di prima linea, i piani di formazione degli operatori e la fattibilità logistica tra i siti.
2. Maturità dell'Ecosistema dei Dati: Valuta la rappresentatività del dataset per la popolazione target, i protocolli di accesso/condivisione dei dati, la capacità di annotazione e le politiche di conservazione.
3. Capacità di Supervisione Umana: Determina la disponibilità di revisori qualificati, un'autorità chiara di sovrascrittura, percorsi di invio e meccanismi per contestazioni non tecniche.
4. Sostenibilità Fiscale: Esamina la chiarezza del budget oltre la fase pilota, i piani di manutenzione e riaddestramento, e la continuità attraverso transizioni di leadership o finanziamenti.
5. Preparazione per l'Allineamento Normativo: Verifica la conformità alla privacy, la base giuridica per la raccolta/condivisione dei dati, la revisione etica, le procedure di consenso e i percorsi di contestazione.

Il quadro è progettato come uno strumento di staging piuttosto che come uno strumento di punteggio. Supporta decisioni di procedere con "no-go", "solo pilota" o "deployment più ampio" in base alla maturità di dimensioni specifiche, riconoscendo che alcune carenze possono essere ostacoli assoluti mentre altre potrebbero richiedere solo aggiustamenti di ambito.

Risultati e Riscontri dei Casi
L'analisi dei due casi operativi dimostra che le traiettorie di deployment sono spesso dettate da vincoli istituzionali invisibili alla valutazione standard degli artefatti:

• Caso A (Screening Antropometrico): Nonostante la prontezza tecnica, la diffusione più ampia è stata ritardata dal tempo necessario per negoziare approvazioni e accesso ai dati tra più siti, dal disallineamento della raccolta dati con i calendari scolastici e dalla mancanza di percorsi di invio consolidati per gli studenti identificati.
• Caso B (Analisi del Parlato): La traiettoria del progetto è stata plasmata dall'infeasibilità dei dati, costringendo a un cambio di rotta prima del deployment. Il successivo deployment è stato condizionato dalla necessità di formalizzare i requisiti etici, le procedure di consenso e i protocolli di invio per garantire che i risultati non fossero stigmatizzanti e fossero attuabili da personale qualificato.

In entrambi i casi, i sistemi sono rimasti in fasi di validazione interna o pilota limitato perché l'istituzione ricevente mancava delle condizioni specifiche necessarie per passare alla scala, nonostante i modelli avessero funzionato bene nei test interni.

Significato e Affermazioni
Il documento avanza tre affermazioni modeste riguardo al valore dell'IAR:

1. Esplicitazione: L'IAR rende esplicite e valutabili le domande ricorrenti sul deployment prima che vengano impegnate risorse, portando alla luce questioni (ad esempio, accesso ai dati, capacità di invio) che spesso emergono troppo tardi nel processo.
2. Rilevanza Decisionale: La preparazione istituzionale è un fattore decisivo nel determinare se sistemi tecnicamente fattibili scalano. I casi mostrano che le decisioni di deployment sono plasmate da condizioni istituzionali che la valutazione standard dei modelli non può risolvere.
3. Non Ridondanza: L'IAR non è ridondante con gli strumenti esistenti per un'IA responsabile. Mentre i quadri attuali valutano l'artefatto e lo sviluppatore, l'IAR valuta l'istituzione ricevente. Affronta domande che gli strumenti esistenti non sono architetturalmente in grado di rispondere, come se la specifica condivisione di dati tra agenzie richiesta sia legalmente permessa o se esistano effettivamente revisori umani qualificati.

Gli autori posizionano l'IAR come un complemento, non come un sostituto, degli strumenti consolidati di valutazione dell'IA. Funziona come un necessario secondo livello di valutazione per garantire che i sistemi di IA nel settore pubblico siano non solo tecnicamente solidi, ma anche istituzionalmente vitali per un deployment responsabile.