Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems

Sintesi Tecnica: Governare le Azioni, non gli Agenti

Enunciato del Problema
Gli agenti IA autonomi eseguono sempre più spesso azioni consequenziali e irreversibili (ad esempio, prescrizione clinica, distribuzione di software) senza l'approvazione umana per ogni singolo passaggio. Gli approcci di governance esistenti tipicamente strumentano il runtime dell'agente per intercettare le chiamate agli strumenti, classificare il comportamento e applicare policy basate sul contesto di esecuzione osservato (nomi degli strumenti, parametri, forme delle risposte). Tuttavia, questi meccanismi falliscono nel governare azioni la cui correttezza dipende da fatti riguardanti lo stato del mondo residenti in sistemi esterni autorevoli (ad esempio, se è stata controllata un'interazione farmacologica, se una build è passata o se una licenza è valida). Il documento sostiene che monitorare il ragionamento di un agente o la sua meccanica di invocazione degli strumenti è insufficiente per azioni ad alto rischio dove la validità dell'azione dipende da verifiche esterne e indipendenti.

Metodologia: Modello di Attestazione Istituzionale
Il documento propone un modello di governance computazionale derivato dalla governance istituzionale degli attori umani autonomi (ad esempio, medici, giudici). Invece di governare la deliberazione dell'agente, il modello governa l'azione al punto di esecuzione richiedendo prove indipendentemente attestate. Il modello è implementato come un "Zero-Trust Action Hub" (prova di concetto disponibile su github.com/jsalfeld/zta-hub) e opera tramite il "Courier Pattern" (Modello del Corriere):

1. Dichiarazione di Intento: L'agente richiede l'autorizzazione per un'azione specifica. Il Governance Hub emette un identificatore di intento unico e crittograficamente casuale (token di legame) e restituisce un elenco di attestazioni richieste definite in contratti di competenza (skill contracts) leggibili dalle macchine.
2. Raccolta delle Prove: L'agente agisce come un corriere, contattando fonti autorevoli indipendenti (oracoli) per raccogliere attestazioni firmate. Ogni oracolo verifica una specifica precondizione e restituisce una busta firmata (ad esempio, usando Ed25519) contenente l'ID della sorgente, l'ID dell'intento, la scadenza e il payload. L'agente non può fabbricare queste firme poiché non possiede le chiavi private degli oracoli.
3. Sottomissione e Valutazione: L'agente sottomette le attestazioni raccolte al Hub. Il Hub esegue una pipeline di verifica:
   • Verifica della Firma: Valida le firme rispetto alle chiavi pubbliche pre-registrate.
   • Legame dell'Intento (Intent Binding): Conferma che l'ID dell'intento in ogni attestazione corrisponda alla richiesta dichiarata, prevenendo replay o sostituzioni.
   • Freschezza: Verifica che le attestazioni siano entro la finestra di validità.
   • Completezza: Assicura che tutte le attestazioni richieste siano presenti.
   • Assemblaggio del Contesto: Unisce i payload verificati in un contesto di policy.
4. Valutazione Deterministica della Policy: Il Hub valuta una policy dichiarativa (ad esempio, usando Cedar o Rego) contro il contesto assemblato. La postura predefinita è "nega" (deny).
5. Autorizzazione Condizionale: Se la policy lo permette, il Hub esegue l'azione o emette un token di capacità firmato e con ambito ristretto.
6. Audit: La decisione, tutte le prove a supporto e la regola applicata vengono appesi a un registro di audit a prova di manomissione (utilizzando tecniche di hash-chain o alberi di Merkle), consentendo la reverifica indipendente da parte di terze parti.

Contributi Chiave

• Formalizzazione della Governance Istituzionale: Il documento formalizza il pattern di governare le azioni piuttosto che gli agenti, traducendo i precedenti istituzionali umani (separazione dei compiti, attestazione indipendente) in un'architettura computazionale per l'IA.
• Il Courier Pattern: Un meccanismo in cui l'agente mantiene la piena autonomia su pianificazione e ragionamento, ma non detiene alcuna autorità di esecuzione per le azioni governate, agendo esclusivamente per assemblare prove da fonti indipendenti.
• Legame dell'Intento e Integrità della Transazione: Un framework crittografico in cui le attestazioni sono legate a un'intenzione d'azione specifica, impedendo attacchi di replay e garantendo che le prove non possano essere staccate dal loro contesto.
• Composizione delle Azioni: Il modello permette alla governance di essere compositiva; un'azione riuscita produce una ricevuta di esecuzione firmata che può servire come precondizione (evidenza verificata) per azioni successive.
• Scoperta Scalabile della Governance: I requisiti di governance sono pubblicati come contratti di competenza leggibili dalle macchine, consentendo l'introduzione di nuove azioni, attestatori e oracoli senza modificare l'agente o la logica di valutazione del Hub.

Risultati e Illustrazioni
Il documento presenta una prova di concetto dell'implementazione e illustra il modello con due esempi:

1. Distribuzione di Software (Software Deployment): Un agente che intende distribuire del codice deve raccogliere attestazioni firmate da una pipeline CI (test superati), un oracolo di revisione del codice (approvazioni) e un oracolo di scansione della sicurezza (controlli sulle vulnerabilità). Il Hub verifica queste contro una policy Cedar prima di autorizzare la distribuzione.
2. Prescrizione Clinica: Un agente che prescrive farmaci deve raccogliere attestazioni da una cartella clinica elettronica (stato del paziente), un oracolo di interazione farmacologica e un oracolo della licenza DEA. La policy include la logica per la composizione delle azioni, richiedendo l'evidenza che un'azione precedente (ad esempio, il rilascio di cartelle cliniche per pazienti in trasferimento) sia stata eseguita con successo sotto lo stesso regime di governance.

Significatività e Rivendicazioni
Il documento sostiene di articolare una composizione di primitivi ben stabiliti (verifica zero-trust, sicurezza basata su capability, valutazione deterministica della policy, log a prova di manomissione) in un modello unitario di governance istituzionale. La sua significatività risiede nel rispondere a un fallimento strutturale degli attuali livelli di sicurezza: azioni che sono localmente ben formate (strumento corretto, parametri plausibili) ma sostanzialmente errate perché basate su fatti esterni non verificati.

Il modello è particolarmente rilevante per il problema dell' "agente malvagio" (rogue agent), in cui un agente compromesso opera entro ambiti autorizzati ma persegue obiettivi avversari; il monitoraggio del comportamento a runtime è strutturalmente inefficace in questo caso, poiché le singole azioni conformano ai pattern attesi. Richiedendo il filtraggio tramite evidenza basata su fatti attestati indipendentemente, il modello assicura che le azioni consequenziali siano permesse solo quando le precondizioni del mondo reale sono verificate.

Gli autori dichiarano esplicitamente che il problema aperto non è primariamente tecnico ma organizzativo: determinare quali azioni meritino questo livello di governance e quale evidenza sia richiesta. Il modello garantisce l'applicazione fedele di una policy dichiarata, ma non assicura la correttezza della policy stessa o l'allineamento dell'intento dichiarato dell'agente con gli obiettivi umani. È progettato per completare, non sostituire, i meccanismi di governance a runtime, affrontando il "confine" dell'azione piuttosto che il "percorso" del ragionamento.