🤖 AI

Effect-Transparent Governance for AI Workflow Architectures: Semantic Preservation, Expressive Minimality, and Decidability Boundaries

Questo articolo presenta una formalizzazione verificata meccanicamente in Rocq che dimostra come una governance trasparente agli effetti per i flussi di lavoro dell'IA possa vincolare rigorosamente gli effetti esterni e imporre predicati di sicurezza senza compromettere l'espressività computazionale interna o la trasparenza semantica.

Autori originali: Alan L. McCann

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Alan L. McCann

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente AI brillante e iper-capace. Può scrivere codice, ricordare cose, chiamare strumenti esterni e persino chattare con altri modelli AI per risolvere problemi complessi. Ma sei preoccupato: cosa succede se decide di fare qualcosa di pericoloso, come cancellare i tuoi file o chiamare un servizio che non dovrebbe?

Tradizionalmente, le persone pensavano che si dovesse scegliere tra sicurezza e capacità. Si poteva lasciare che l'AI facesse ciò che voleva (rischioso) o imporre severe restrizioni che potevano impedirele di svolgere correttamente il proprio lavoro (stupido).

Questo articolo introduce un nuovo modo per costruire sistemi AI che dimostra come non si debba fare quel compromesso. Dimostra che è possibile inserire un livello di "governance" attorno all'AI che blocca azioni dannose senza modificare come l'AI pensa o risolve i problemi.

Ecco la spiegazione utilizzando semplici analogie:

1. L'Idea Centrale: Il "Portinaio" vs. L'"Editore"

La maggior parte dei metodi di sicurezza attuali agisce come un Editore. L'AI svolge il suo lavoro, scrive una storia, e poi l'Editore la legge. Se la storia contiene una parola cattiva, l'Editore la taglia o riscrive la frase.

Il Problema: L'Editore cambia la storia. Il processo di pensiero originale dell'AI viene alterato e il risultato finale potrebbe essere diverso da quanto l'AI intendeva.

Questo articolo propone un approccio da Portinaio (chiamato "Governance Trasparente agli Effetti").

Come funziona: L'AI è in una stanza. Prima di poter aprire una porta (come accedere alla memoria, chiamare uno strumento o chiedere a un LLM), deve mostrare il suo documento d'identità al Portinaio.
La Magia: Se il Portinaio dice "Procedi", l'AI attraversa la porta e fa esattamente ciò che aveva pianificato. Il Portinaio non ha modificato il processo di pensiero dell'AI; ha solo controllato il documento d'identità.
Il Risultato: Se all'AI è permesso procedere, l'esito è esattamente lo stesso come se il Portinaio non fosse affatto presente. Il "cervello" dell'AI rimane intatto.

2. L'"Albero di Interazione" (Il Progetto)

Gli autori hanno costruito un modello matematico dei flussi di lavoro dell'AI utilizzando qualcosa che chiamano "Alberi di Interazione".

Analogia: Immagina un flusso di lavoro AI come un albero. Il tronco è la logica dell'AI. I rami sono le cose che vuole fare (come "Chiamare un database" o "Porre una domanda").
La "Governance" è un involucro attorno alle punte dei rami. Controlla ogni singolo ramo prima che cresca. Se un ramo non è autorizzato, l'albero smette di crescere lì (si "diverge" o gira su se stesso). Se è autorizzato, il ramo cresce esattamente come progettato dall'AI.

3. Sette Scoperte Chiave (I "Sette Pilastri")

Gli autori hanno utilizzato un computer per dimostrare matematicamente sette cose su questo sistema:

P1 & P2: È ancora Super Intelligente. Anche con il Portinaio che controlla i documenti d'identità, l'AI può ancora fare tutto ciò che può fare un normale computer (Completa Turing) e può ancora utilizzare strumenti avanzati come gli LLM. La rete di sicurezza non ha reso l'AI "meno intelligente".
P3: Il "Confine della Decidibilità" (La Linea nella Sabbia). Il Portinaio è bravo a controllare le regole strutturali (ad esempio: "È questa una richiesta di memoria?" "Questo utente ha un distintivo di Livello 5?"). Queste sono facili da controllare istantaneamente. Tuttavia, il Portinaio non può prevedere se l'AI rimarrà bloccata in un ciclo per sempre o se un problema matematico complesso terminerà mai. L'articolo dimostra che il Portinaio rimane nel suo ruolo: controlla le regole, non domande filosofiche profonde sul comportamento futuro dell'AI.
P4: Conservazione degli Obiettivi. Se all'AI è permesso di eseguire, raggiungerà il suo obiettivo. Se doveva calcolare 2+2, calcolerà ancora 4. Il controllo di sicurezza non ha cambiato la matematica.
P5: Minimalità Espressiva. Il sistema utilizza un insieme specifico di strumenti (Calcolo, Memoria, Ragionamento, Chiamata Strumenti, Osservazione). Gli autori hanno dimostrato che se si rimuove qualsiasi uno di questi strumenti, l'AI perde un tipo specifico di potere. Non è possibile semplificare ulteriormente il sistema senza comprometterne la capacità di svolgere lavori complessi.
P6: Il "Portinaio" è più forte dell'"Editore". L'articolo dimostra che controllare l'azione (governance strutturale) è rigorosamente meglio che filtrare solo l'output (governance dei contenuti). Un Portinaio può bloccare un'azione cattiva prima che accada. Un Editore può solo tentare di correggere un risultato cattivo dopo che è accaduto, il che è meno affidabile.
P7: Trasparenza Semantica (L'Effetto "Fantasma"). Questa è la parte più importante. In ogni singola esecuzione in cui all'AI è permesso lavorare, il risultato è equivalente osservativamente a una esecuzione non governata. Per un osservatore esterno, è come se il livello di governance fosse invisibile (un fantasma), tranne per il fatto che ha bloccato con successo le cose cattive.

4. L'"Artifatto" (La Prova)

Gli autori non hanno solo scritto questo; lo hanno costruito all'interno di un assistente di prova chiamato Rocq (uno strumento per verificare la matematica).

Hanno scritto 12.000 righe di codice.
Hanno dimostrato 454 teoremi.
Hanno ammesso zero errori (0 lemmi ammessi).
Questo significa che il computer ha ricontrollato la loro logica e confermato che è matematicamente solida al 100%.

Sintesi

Questo articolo sostiene che possiamo costruire sistemi AI con un "involucro di sicurezza" che agisce come un rigoroso guardiano. Questo guardiano blocca le azioni non autorizzate (come l'hacking o le chiamate non autorizzate), ma, crucialmente, non interferisce con il processo di pensiero dell'AI quando l'azione è consentita.

Dimostra che Sicurezza e Intelligenza non sono nemiche. Puoi avere un sistema che è completamente governato e sicuro, eppure mantiene la sua piena capacità di calcolare, ragionare e agire, a condizione che le azioni siano autorizzate. Il livello di governance è trasparente al successo dell'AI, agendo solo come uno scudo contro effetti non autorizzati.

Riepilogo Tecnico: Governance Trasparente agli Effetti per le Architetture dei Flussi di Lavoro AI

Enunciato del Problema

Mentre i sistemi di flussi di lavoro AI agiscono sempre più nel mondo interrogando i Modelli Linguistici di Grande Dimensione (LLM), gestendo lo stato e invocando strumenti esterni, cresce l'esigenza di meccanismi di governance per prevenire comportamenti non sicuri o non autorizzati. Un'ipotesi prevalente nel settore è che la governance comporti inevitabilmente un compromesso con le capacità: le restrizioni intese ad aumentare la sicurezza sono ritenute ridurre lo spazio dei comportamenti che un sistema può esibire. Questo documento sfida tale ipotesi formalizzando un'alternativa architetturale in cui la governance è imposta al confine degli effetti piuttosto che modificando il calcolo interno o elaborando in post-produzione gli output. La domanda semantica centrale affrontata è se la governance cambi ciò che i programmi permessi calcolano.

Metodologia

Gli autori presentano una formalizzazione verificata da macchina delle architetture di flussi di lavoro AI strutturalmente governate utilizzando Alberi di Interazione all'interno dell'assistente alla dimostrazione Rocq 8.19 (precedentemente Coq). Lo sviluppo consta di 36 moduli, 12.000 righe di codice e 454 teoremi, con zero lemmi ammessi.

Formalismo Principale

Alberi di Interazione (ITrees): I programmi sono modellati come alberi coinduttivi su un tipo di evento $E$ , definiti come Ret(v), Tau(t) o Vis(e, k). Ciò consente la rappresentazione di programmi ricorsivi e impuri.
Tipo di Evento Direttiva: Il sistema definisce un tipo DirectiveE contenente costruttori per capacità primitive: morfismi di calcolo, operazioni di memoria, chiamate a oracolo (LLM), chiamate a strumenti esterni ed eventi di osservabilità.
Operatore di Governance ( $G$ ): La governance è implementata come un wrapper sull'interpretazione degli effetti, seguendo la tradizione dei gestori di effetti algebrici. L'operatore $G(h)$ media ogni direttiva emessa da un gestore di base $h$ . Eseguie pre-controlli (fiducia, autorizzazione, validazione della fase) e post-strumentazione (provenienza, osservabilità). Se un controllo fallisce, l'esecuzione diverge tramite ITree.spin; se passa, la direttiva viene delegata al gestore sottostante.
Predicato di Sicurezza: La sicurezza è definita tramite un predicato coinduttivo gov_safe utilizzando la coinduzione parametrizzata (paco). Questo predicato distingue tra eventi di sola governance (che sono sempre permessi) e eventi di I/O reali (che richiedono un'autorizzazione esplicita).

Contributi e Risultati Chiave

Il documento stabilisce sette proprietà primarie (P1–P7) che dimostrano che la governance e l'espressività computazionale sono dimensioni ortogonali.

1. Trasparenza Semantica (Il Teorema Centrale)

Il contributo centrale è un teorema verificato da macchina che dimostra la trasparenza semantica. Per tutte le esecuzioni in cui i controlli di governance hanno successo, l'interpretazione governata è equivalente osservativamente (a meno degli eventi di sola governance) all'interpretazione non governata.

Implicazione: I programmi permessi calcolano esattamente la stessa funzione parziale e producono gli stessi valori di ritorno raggiungibili che produrrebbero senza governance. La governance vincola il confine degli effetti senza alterare il calcolo interno dei percorsi consentiti.

2. Espressività Governata (P1 e P2)

Gli autori dimostrano che il wrapper di governance non riduce il potere computazionale:

Completezza Turing Governata: Il sistema rimane Turing-completo sotto governance. I programmi della macchina a registri possono essere tradotti in alberi di interazione governati senza perdita di espressività.
Espressività Oracle Governata: L'architettura supporta estensioni oracle (query LLM) sotto governance, mantenendo la capacità di modellare flussi di lavoro di ragionamento complessi.

3. Confine di Decidibilità (P3)

Il documento formalizza un confine rigoroso tra ciò che la governance può decidere e ciò che non può:

Predicati di Governance: Questi sono strutturali, sintattici, totali e chiusi sotto composizione booleana (AND, OR, NOT). Possono decidere proprietà come livelli di fiducia e classi di capacità.
Proprietà Semantiche: Proprietà dei programmi come l'arresto rimangono non banali e indecidibili dalla governance. Il documento dimostra che la governance non può decidere l'arresto, poiché due programmi possono condividere strutture direttive identiche (e quindi superare i controlli di governance) ma differire nel comportamento globale di terminazione. Ciò è coerente con il Teorema di Rice applicato al confine strutturale.

4. Minimalità Espressiva (P5)

Gli autori dimostrano che l'insieme delle capacità primitive (calcolo, memoria, ragionamento, chiamata esterna, osservabilità) è necessario in modo minimo.

Gerarchia Rigida: Le capacità formano una catena rigida: codice < codice + memoria < codice + memoria + ragionamento < codice + memoria + ragionamento + chiamata.
Necessità: Rimuovere qualsiasi singola capacità primitiva riduce rigorosamente il potere espressivo del sistema. Ad esempio, le direttive di memoria sono strutturalmente necessarie per la completezza Turing, e le direttive LLMCall sono necessarie per le estensioni oracle.

5. Asimmetria di Sussunzione (P6)

Il documento stabilisce una separazione rigorosa tra governance strutturale e filtraggio a livello di contenuto:

La Struttura Sussume il Contenuto: La governance strutturale sussume rigorosamente il filtraggio del contenuto. Mediando gli effetti al confine dell'interpretazione, la governance strutturale previene il verificarsi di eventi I/O non autorizzati.
Il Contenuto Non Sussume la Struttura: I filtri di contenuto (ad esempio, riscrittura dell'output) possono alterare i valori ma non possono impedire il verificarsi di un passaggio di effetto non autorizzato. Pertanto, il solo filtraggio del contenuto non implica la sicurezza degli effetti.

6. Conservazione degli Obiettivi (P4)

Su tutte le esecuzioni in cui la governance consente, il sistema preserva gli obiettivi del programma. Se un programma è progettato per raggiungere un valore di ritorno specifico $v$ , e i controlli di governance passano, l'esecuzione governata raggiungerà $v$ .

7. Sicurezza tramite Negazione (Liveness vs. Safety)

Quando un controllo di governance fallisce, il sistema scambia la liveness per la sicurezza. L'esecuzione diverge (spin) piuttosto che produrre un risultato errato. Il sistema garantisce che non si verifichi mai un effetto non autorizzato e che non venga mai prodotto un valore di ritorno "non sicuro".

Significato e Ambito

Il documento afferma di dimostrare che la governance e l'espressività computazionale sono ortogonali. La governance può essere imposta per vincolare il confine degli effetti dei programmi senza ridurre la loro espressività computazionale interna o alterare la loro semantica sulle tracce consentite.

Confine di Fiducia: Le garanzie valgono rispetto a una Base di Calcolo Fidata (TCB) composta dal kernel Rocq, dalla libreria degli Alberi di Interazione e dall'implementazione runtime dell'operatore $G$ . Il documento traccia un parallelo con i compilatori verificati (CompCert) e i kernel del sistema operativo (seL4), notando che il divario tra il modello formale e il runtime distribuito è colmato dai test (validati contro oltre 70.000 sequenze generate).
Limitazioni: Il teorema di trasparenza si applica solo alle esecuzioni consentite; le esecuzioni negate divergono. Il modello astrae l'esaurimento delle risorse, la pianificazione e i comportamenti probabilistici dei modelli. I teoremi si applicano all'architettura e all'interprete astratti, non a garanzie end-to-end sui binari compilati.

Questo lavoro estende sviluppi meccanizzati precedenti (McCann [2026b, 2026e]) aggiungendo trasparenza semantica, minimalità espressiva e un confine di decidibilità formale, fornendo una base rigorosa per la "governance trasparente agli effetti" nei sistemi AI.