Public regulatory data infrastructure for lifecycle oversight of AI medical devices

Sintesi Tecnica: Infrastruttura dei Dati Regolatori Pubblici per la Supervisione del Ciclo di Vita dei Dispositivi Medici basati su IA

Definizione del Problema
La scienza regolatoria per i dispositivi medici abilitati dall'IA si è spostata verso una filosofia di "supervisione del ciclo di vita", riconoscendo che il software evolve post-commercializzazione attraverso meccanismi come i Piani di Controllo delle Modifiche Predeterminate (PCCP). Tuttavia, l'infrastruttura pubblica dei dati regolatori — specificamente i registri utilizzati da ospedali, responsabili della sicurezza e ricercatori per identificare i dispositivi, tracciare le modifiche e collegare le autorizzazioni ai segnali di sicurezza — non si è evoluta di pari passo. Gli attuali registri nelle principali giurisdizioni (USA, UE, Cina, Giappone, Australia) rimangono orientati alla "registrazione", progettati principalmente per confermare l'autorizzazione legale al mercato per hardware statici. Essi mancano dei campi strutturati e interrogabili necessari per governare software IA mutabili. Di conseguenza, gli stakeholder esterni non possono determinare in modo affidabile l'attuale versione del software, la base di evidenza per popolazioni specifiche, la cronologia delle modifiche algoritmiche o il collegamento tra l'autorizzazione e gli eventi avversi post-commercializzazione. Il documento sostiene che, senza uno strato di dati pubblici che supporti la "governabilità pubblica", l'approvvigionamento sicuro, l'implementazione e la responsabilità per i dispositivi medici basati su IA siano strutturalmente compromessi.

Metodologia
Lo studio impiega un audit basato su fonti di un ambiente di record regolatori pubblici in cinque giurisdizioni: USA (FDA), Unione Europea (EUDAMED), Cina (NMPA), Giappone (PMDA) e Australia (TGA).

1. Derivazione delle Specifiche: Gli autori hanno derivato una candidata specifica minima di dati pubblici composta da cinque funzioni di governance e 20 requisiti strutturali. Questi non sono stati stabiliti tramite consenso di esperti, ma attraverso una procedura trasparente di "concordanza tra quattro ancoraggi sorgente", collegando ogni requisito ad ancoraggi regolatori, di governance, clinico-operativi ed empirici/problematici.
   • F1 Identità: Cos'è l'oggetto regolamentato? (es. stato del software, ID stabile).
   • F2 Versione e Leggibilità delle Modifiche: L'oggetto è cambiato, e sotto quale autorità? (es. cronologia delle versioni, base regolatoria per la modifica).
   • F3 Leggibilità delle Evidenze: Qual è stata la base della fiducia regolatoria? (es. setting di validazione, popolazione, metriche).
   • F4 Collegamento: I record pre-commercializzazione possono connettersi alla realtà post-commercializzazione? (es. collegamento a richiami/eventi avversi).
   • F5 Specificità IA: Il record pubblico può distinguere gli attributi dell'IA? (es. classe del modello, modalità dei dati di addestramento, provenienza).
2. Strumento di Audit: Due annotatori hanno valutato indipendentemente 100 celle (5 giurisdizioni × 20 requisiti) su una scala ordinale da 0 a 3:
   • 0: Non disponibile pubblicamente.
   • 1: Disponibile solo in forma narrativa, PDF o testo libero.
   • 2: Campo strutturato ma non interrogabile/scaricabile.
   • 3: Strutturato, interrogabile o scaricabile.
3. Tipologia di Gap: I requisiti non soddisfatti sono stati classificati in cinque distinti tipi di gap per determinare gli strumenti di riforma appropriati: Schema (non esiste il campo), Pubblicazione–Accesso (dato detenuto ma non pubblicato), Strutturazione (pubblico ma non strutturato), Collegamento (mancanza di identificatori stabili) e Popolazione (i campi esistono ma sono vuoti/incoerenti).
4. Stress Test: Sono state condotte tre prove empiriche per validare i risultati architettonici:
   • Identificabilità IA FDA: Testare se i dispositivi IA noti possono essere recuperati dai record primari 510(k)/PMA senza la lista curata dell'IA.
   • Trova-bilità UDI NMPA: Testare se l'infrastruttura UDI scaricabile in blocco della Cina espone lo stato dell'IA come campi strutturati.
   • Lineage della Famiglia di Prodotti FDA: Testare se esistono collegamenti strutturati tra predecessore/successore per famiglie di prodotti IA multi-sottomissione in openFDA.
5. Affidabilità: L'accordo tra annotatori è stato valutato (κ di Cohen pre-adjudicazione = 0,724 per la disponibilità), con discrepanze risolte tramite adjudicazione documentata. Sono state eseguite analisi di sensibilità utilizzando una specifica "core conservativa" di 12 elementi e subset ad alta confidenza.

Risultati Chiave
L'audit rivela un disallineamento strutturale tra la filosofia regolatoria e l'infrastruttura dei dati pubblici.

• Deficit Complessivo: Solo il 6% (6 su 100) delle celle ha raggiunto la soglia di disponibilità strutturata e interrogabile (Punteggio 3). Il 94% delle celle è sceso al di sotto di questa soglia.
• Concentrazione Funzionale: I deficit non sono distribuiti uniformemente ma si concentrano pesantemente in F2 (Versione e Modifica), F3 (Leggibilità delle Evidenze) e, più severamente, in F5 (Specificità IA).
  • F5 (Specificità IA): Nessuna giurisdizione ha esposto la classe del modello/metodo, la modalità dei dati di addestramento o la provenienza dei dati come campi strutturati nei record pubblici primari. Tutte le celle F5b–d hanno ottenuto un punteggio di 0 o 1.
  • F2 (Modifica): Anche gli USA, che possiedono il quadro PCCP più avanzato, espongono la versione e la cronologia delle modifiche solo in forme narrative o inferenziali, non come campi strutturati.
• Sfumature Giurisdizionali: Gli USA (FDA) sono i più vicini all'esposizione strutturata, in particolare in F1 (Identità) e F5a (categoria di task IA tramite una lista supplementare), ma falliscono comunque nell'esporre le versioni software correnti o il lineage strutturato della famiglia di prodotti. L'UE (EUDAMED) e la Cina (NMPA) mostrano lacune significative nelle evidenze strutturate e nei metadati dell'IA.
• Risultati della Tipologia di Gap: Dei 94 casi di requisiti non soddisfatti, 41 erano gap di strutturazione (il dato esiste ma non è strutturato), 28 erano gap di schema (non esiste il campo) e solo 17 erano gap di pubblicazione–accesso (il dato è detenuto ma non pubblicato). Ciò indica che semplicemente "pubblicare di più" è insufficiente; i regolatori devono anche strutturare le attuali esposizioni narrative e creare nuovi campi di dati.
• Esiti degli Stress Test:
  • FDA: Solo il 2,5% dei dispositivi IA noti sulla lista FDA poteva essere identificato tramite termini di IA stretta nei campi 510(k) primari; il 50,4% non presentava alcun segnale di IA.
  • Cina: Il dataset UDI scaricabile in blocco è disponibile per il download ma è "cieco all'IA"; lo stato dell'IA deve essere inferito tramite il matching di parole chiave nel testo libero, il che è inaffidabile.
  • Lineage: Zero dei 70 record di famiglia di prodotti IA campionati in openFDA esponeva un campo strutturato predecessore/predicato; il lineage è visibile solo tramite PDF narrativi o raggruppamento dei richiedenti.

Contributi Chiave

1. Framework di Governabilità Pubblica: Il documento sposta l'obiettivo del design dalla "trasparenza" (rendere le informazioni visibili) alla "governabilità pubblica" (rendere le informazioni utilizzabili per compiti di governance specifici come l'approvvigionamento, il monitoraggio e la responsabilità).
2. Specifica Auditable: Fornisce una specifica di 20 requisiti strutturali (con un core conservativo di 12 elementi) basata su fonti che definisce cosa un ambiente di record regolatori pubblici deve contenere per supportare la supervisione del ciclo di vita.
3. Tipologia di Gap a Cinque Vie: Affina la comprensione delle carenze di dati distinguendo tra gap di schema, pubblicazione-accesso, strutturazione, collegamento e popolazione. Questa distinzione è critica perché ogni tipo di gap richiede un diverso strumento di politica (es. nuova raccolta dati rispetto alla ristrutturazione di PDF esistenti o mandati di trasparenza).
4. Candidata Estensione Minima dei Dati Pubblici: Gli autori propongono un insieme concreto di 20 campi strutturati (Tabella 7) che potrebbero essere aggiunti ai record di registrazione esistenti. Questi campi si concentrano su metadati categorici riassuntivi (es. classe del modello, stato dell'aggiornamento, popolazione di validazione) piuttosto che su dati grezzi o segreti commerciali, rendendoli implementabili senza compromettere la riservatezza.

Significato e Rivendicazioni
Il documento rivendica che il suo contributo primario non sia l'osservazione che gli attuali registri siano incompleti (un problema già riconosciuto), ma la conversione di questo problema in una specifica di dati pubblici riproducibile e verificabile.

• Rivendicazioni Modeste: Gli autori dichiarano esplicitamente di non pretendere che la specifica rappresenti un consenso di esperti o sia stata validata esternamente. Invece, affermano che la derivazione è trasparente (tramite la matrice di tracciabilità) e che i risultati sono stabili sotto restrizioni di sensibilità conservative.
• Disallineamento Strutturale: Il risultato centrale è che i registri pubblici sono organizzati attorno alla "visibilità dell'autorizzazione al mercato" piuttosto che alla "governabilità del ciclo di vita". Possono confermare che un dispositivo è entrato nel mercato, ma non possono supportarne la governance una volta che vi è entrato.
• Implicazioni Politiche: Lo studio sostiene che la riforma non può essere un mandato di trasparenza generalizzato. Poiché la maggior parte dei gap sono di "strutturazione" o di "schema" piuttosto che di "pubblicazione-accesso", una riforma efficace richiede la creazione di nuovi campi strutturati e la conversione delle esposizioni narrative in dati interrogabili, piuttosto che il semplice rilascio di documenti esistenti.
• Specificità IA: Il documento evidenzia che la mancanza di metadati specifici per l'IA (F5) è un deficit di natura, non solo di grado. Senza campi strutturati per la classe del modello e la provenienza dei dati di addestramento, i record pubblici non possono supportare compiti essenziali come la valutazione dello shift distributivo, la portabilità o l'equità.

In sintesi, il documento fornisce un framework diagnostico e una tabella di marcia concreta per trasformare i record regolatori pubblici da elenchi di approvazione statici in un'infrastruttura dinamica capace di supportare la governance del ciclo di vita dei dispositivi medici basati su IA.