Making AI-Assisted Grant Evaluation Auditable without Exposing the Model

1. Enunciazione del Problema

Le agenzie di finanziamento pubblico stanno adottando sempre più i Modelli Linguistici di Grande Dimensione (LLM) come strumenti di supporto alle decisioni per la valutazione delle sovvenzioni. Ciò crea una tensione fondamentale di governance tra due requisiti in competizione:

• Riservatezza del Modello: Per prevenire il "gioco" (dove i candidati ottimizzano le proposte per sfruttare specifici bias del modello o logiche di punteggio anziché il merito reale), i pesi del modello, la griglia di valutazione e i template dei prompt devono rimanere opachi ai candidati.
• Auditabilità del Processo: Le decisioni di finanziamento pubblico devono essere trasparenti, contestabili e responsabili. Candidati e auditor necessitano di prove crittografiche che il modello e la griglia dichiarati siano stati effettivamente utilizzati, che l'input non sia stato alterato e che l'output non sia stato manomesso.

Le soluzioni attuali si basano sulla fiducia istituzionale, che è insufficiente per una rigorosa responsabilità algoritmica. Inoltre, l'elaborazione di documenti controllati dai candidati introduce rischi di sicurezza specifici, in particolare l'iniezione di prompt (istruzioni nascoste nelle sottomissioni intese a manipolare l'LLM).

2. Metodologia: Architettura Basata su TEE

Il documento propone un'architettura di sistema basata su Ambienti di Esecuzione Attendibili (TEE) e Attestazione Remota (RA) per risolvere il compromesso tra riservatezza e auditabilità. Il sistema opera sul principio che, mentre il contenuto della valutazione rimane riservato, l'integrità del processo può essere verificata crittograficamente.

Componenti Principali

L'architettura è composta da cinque livelli distinti:

1. Acquisizione e Canonizzazione della Sottomissione (Fuori TEE):

   • Riceve i file grezzi del candidato (PDF, DOCX, ecc.).
   • Calcola l'hash del file originale ($H_{orig}$).
   • Sanitizzazione: Analizza e rimuove i contenuti non visibili (metadati, livelli nascosti, script) per creare una rappresentazione testuale "canonica".
   • Rilevamento dell'Iniezione: Scansiona i pattern di iniezione di prompt (es. testo invisibile, omologhi Unicode, comandi imperativi). Le anomalie vengono segnalate ma non scartate silenziosamente; vengono registrate in un rapporto di sanitizzazione.
   • Calcola l'hash dell'input canonico ($H_{can}$).

2. Avvio dell'Attestazione (Dentro TEE):

   • Il TEE (es. Intel TDX, AMD SEV-SNP) si avvia.
   • La CPU misura lo stato iniziale: il runtime di inferenza, i pesi del modello, la griglia e il template del prompt.
   • Viene generata una misurazione crittografica ($M$) e firmata dalla radice di fiducia hardware della CPU.
   • Un verificatore esterno controlla questo Rapporto di Attestazione ($A$) rispetto a un Manifesto di Riferimento ($R$) pubblico per garantire che siano stati caricati il software e la politica corretti.

3. Nucleo di Inferenza per la Valutazione (Dentro TEE):

   • Viene caricato l'input canonico.
   • Il sistema costruisce il prompt completo (Prompt di Sistema + Griglia + Sottomissione Canonica).
   • L'LLM esegue l'inferenza, generando punteggi, giustificazioni e flag di incertezza.
   • L'output viene hashato ($H_O$) prima di lasciare l'ambiente sicuro.

4. Firma dell'Output Attestato (Dentro TEE):

   • Prima di uscire dal TEE, viene assemblato un Fascicolo di Valutazione Attestato ($B$).
   • Contenuti del Fascicolo: Hash originale, hash canonico, hash dell'input, hash dell'output, misurazione del modello/griglia ($M$), rapporto di attestazione ($A$), timestamp e output della valutazione ($O$).
   • Il fascicolo viene firmato da una chiave effimera generata all'interno del TEE, vincolando l'output allo stato hardware e alla configurazione specifici.

5. Registro di Audit e Verifica (Fuori TEE):

   • Il fascicolo firmato viene scritto in un registro a prova di manomissione (es. basato su alberi di Merkle).
   • Gli auditor possono verificare indipendentemente il fascicolo rispetto al Manifesto di Riferimento e alla catena di certificati del produttore della CPU per confermare l'integrità del processo.

3. Contributi Chiave

1. Inquadramento del Problema: Definizione della valutazione delle sovvenzioni assistita dall'IA come un problema specifico di "riservatezza-auditabilità", distinguendo tra la prova di una decisione buona (che l'attestazione non può fornire) e la prova del processo corretto (che può fornire).
2. Fascicolo di Valutazione Attestato: Proposta di un nuovo artefatto che vincola crittograficamente la sottomissione, la configurazione specifica del modello/griglia e l'output, abilitando la verifica di terze parti senza esporre i pesi del modello.
3. Livello di Canonizzazione e Sanitizzazione: Integrazione di una difesa specifica contro l'iniezione di prompt normalizzando le rappresentazioni dei documenti e registrando le azioni di sanitizzazione come parte della traccia di audit, affrontando una vulnerabilità critica nelle valutazioni basate su LLM.
4. Analisi Comparativa: Delimitazione chiara dei compromessi tra l'attestazione basata su TEE e alternative crittografiche più forti ma attualmente impraticabili come l'Apprendimento Automatico a Conoscenza Zero (ZK-ML) e la Crittografia Omomorfica Completa (FHE).

4. Risultati e Analisi di Sicurezza

L'architettura proposta mitiga efficacemente il modello di minaccia identificato:

• Gioco del Candidato (T1): Mitigato perché il modello e la griglia rimangono crittografati all'interno del TEE; i candidati non possono ingegnerizzare all'inverso la logica di punteggio.
• Iniezione di Prompt (T2): Mitigata dal livello di canonizzazione che rimuove le istruzioni nascoste e registra le anomalie.
• Manomissione Postuma (T3): Impedita perché l'output viene firmato all'interno del TEE prima dell'uscita; qualsiasi modifica invalida la firma.
• Modello/Griglia Errati (T4): Impediti dall'Attestazione Remota; se viene caricato il software sbagliato, l'hash della misurazione non corrisponderà al Manifesto di Riferimento, causando il fallimento della verifica.
• Silenziamento dell'Input (T5): Impedito registrando l'hash del file originale ($H_{orig}$) prima della canonizzazione, garantendo che l'auditor possa verificare che l'intera sottomissione sia stata elaborata.
• Violazione dell'Infrastruttura (T6): Mitigata dalla crittografia della memoria TEE, impedendo agli operatori cloud o agli hypervisor di accedere ai pesi del modello o agli stati intermedi.

Limitazioni:

• Portata della Garanzia: L'attestazione prova che il processo è stato corretto, non che la decisione sia stata equa, imparziale o scientificamente fondata.
• Fiducia nell'Hardware: Il sistema si basa sull'integrità delle chiavi di attestazione del produttore della CPU e sull'assenza di vulnerabilità di canale laterale micro-architetturali.
• Prestazioni: L'inferenza TEE introduce latenza e sovraccarico rispetto all'inferenza cloud standard.
• Lacune nella Canonizzazione: Nessun livello di sanitizzazione può garantire il 100% di rilevamento di tutte le future tecniche di iniezione steganografica.

5. Significato

Questo documento fornisce una base tecnica pratica e a breve termine per l'implementazione di un'IA responsabile nel processo decisionale pubblico ad alto rischio.

• Colmare il Divario di Fiducia: Sposta la valutazione dell'IA da una "scatola nera" che si affida esclusivamente alla fiducia istituzionale a un sistema con prove crittografiche dell'integrità del processo.
• Rilevanza Politica: Offre un meccanismo concreto per le agenzie pubbliche per soddisfare i requisiti di responsabilità algoritmica (trasparenza, contestabilità) senza compromettere la proprietà intellettuale o abilitare il gioco.
• Umano nel Ciclo: L'architettura supporta esplicitamente un modello "human-in-the-loop" in cui l'IA fornisce supporto decisionale auditabile, ma i pannelli umani mantengono l'autorità finale, garantendo che la primazia legale e normativa rimanga nelle mani degli esseri umani.

In conclusione, il documento sostiene che, sebbene l'attestazione remota non risolva le sfide di governance più ampie del bias o dell'equità dell'IA, risolve con successo il problema specifico di verificare che il sistema AI dichiarato sia stato quello che ha effettivamente preso la decisione, consentendo così un'infrastruttura di valutazione delle sovvenzioni più affidabile e contestabile.