🤖 AI

Algebraic Semantics of Governed Execution: Monoidal Categories, Effect Algebras, and Coterminous Boundaries

Questo articolo presenta una semantica algebrica meccanizzata per l'esecuzione governata, formalizzata in 32 moduli Rocq utilizzando alberi di interazione e coinduzione, che stabilisce una categoria monoidale simmetrica in cui la governance è assiomatizzata, composizionale e coterminale con l'esprimibilità, garantendo che tutti i programmi costruibili siano governati preservando al contempo la completezza di Turing ed escludendo l'I/O non mediato.

Autori originali: Alan L. McCann

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Alan L. McCann

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un robot complesso in grado di pensare, parlare, ricordare cose e persino uscire nel mondo per fare la spesa o chiamare un amico. Vuoi che questo robot sia incredibilmente intelligente e capace, ma devi anche assicurarti che non faccia mai nulla di pericoloso, illegale o contrario alle regole mentre lavora.

Questo articolo presenta un nuovo modo per progettare il "cervello" e le "regole" per un tale robot. Invece di sperare semplicemente che il robot si comporti bene, gli autori hanno costruito una fortezza matematica attorno alle sue azioni. Chiamano questo sistema "Esecuzione Governata".

Ecco la spiegazione della loro idea utilizzando semplici analogie:

1. Il Problema: Il "Far West" dell'IA

Attualmente, cerchiamo di controllare l'IA in due modi:

L'Approccio del "Filtro": Addestriamo l'IA a essere educata o filtriamo le sue risposte dopo che ha parlato. È come cercare di fermare un rubinetto che perde moppingando il pavimento. Non ferma l'acqua che esce; cerca solo di pulirla in un secondo momento.
L'Approccio del "Guardrail": Mettiamo recinzioni intorno al robot. Ma spesso, queste recinzioni sono solo suggerimenti o regole morbide che il robot può saltare (accidentalmente o intenzionalmente).

Gli autori sostengono che abbiamo bisogno di un sistema in cui le regole siano incorporate nel tessuto stesso della capacità del robot di agire. Se il robot tenta di fare qualcosa senza permesso, letteralmente non può farlo.

2. La Soluzione: Il "Tavolo a Tre Gambe" (L'Algebra)

Gli autori hanno creato un quadro matematico chiamato Algebra di Governance. Pensateci come a un tavolo a tre gambe che deve essere perfettamente bilanciato affinché il sistema funzioni. Se manca una gamba, tutto crolla. Le tre gambe sono:

Sicurezza: Il robot non deve mai compiere un'azione senza un "biglietto di permesso" (un controllo di governance).
Trasparenza: Se il robot ha il permesso, le regole non dovrebbero cambiare cosa fa, ma solo il fatto che ha controllato prima. (Non dovrebbe rallentare il robot o cambiare la sua risposta, ma solo assicurarsi che sia sicuro).
Correttezza: Le regole devono essere coerenti. Se due robot fanno la stessa cosa, le regole devono trattarli esattamente allo stesso modo.

3. L'"Albero di Interazione": Il Processo di Pensiero del Robot

Per dimostrare che questo funziona, rappresentano il pensiero del robot come un gigantesco Albero.

I Rami: Ogni volta che il robot pensa, si divide in rami.
Le Foglie: Le azioni finali (come "Chiamare un amico" o "Scrivere un file").
Il Tronco: Il percorso che il robot compie per arrivarci.

Nel loro sistema, ogni singolo ramo di questo albero deve passare attraverso un Cancello di Sicurezza (l'Operatore di Governance) prima di poter crescere. Se un ramo tenta di crescere senza passare attraverso il cancello, l'albero semplicemente rifiuta di esistere.

4. La "Doppia Garanzia": Il Tesserino e La Guardia di Sicurezza

L'articolo introduce un intelligente sistema di sicurezza in due parti:

Il Tesserino (Capacità): Prima ancora che il robot inizi, riceve un tesserino che elenca esattamente cosa gli è permesso fare (ad esempio, "Può leggere file", "Non può cancellare file"). Questa è una lista statica.
La Guardia di Sicurezza (Governance): Mentre il robot si muove, una Guardia di Sicurezza controlla ogni singolo passo. Anche se il robot ha un tesserino, la Guardia lo ferma se l'azione specifica sembra sospetta in quel momento.

L'articolo dimostra che entrambe le cose devono accadere contemporaneamente. Non puoi avere solo il tesserino (perché il robot potrebbe confondersi), e non puoi avere solo la guardia (perché la guardia potrebbe perdere qualcosa). Lavorano insieme per garantire che ogni singola azione sia sia autorizzata che controllata.

5. Il "Confine Coterminale": La Corrispondenza Perfetta

Questa è la parte più entusiasmante dell'articolo. Gli autori dimostrano un teorema di "Corrispondenza Perfetta".

L'Affermazione: Nel loro sistema, tutto ciò che il robot è capace di costruire è automaticamente sicuro.
L'Analogia: Immagina una fabbrica di giocattoli in cui gli unici giocattoli che puoi costruire sono quelli che arrivano con un certificato di sicurezza. Non puoi accidentalmente costruire un giocattolo che non è sicuro. Se non è sicuro, la macchina della fabbrica non ti permette nemmeno di iniziare a costruirlo.
Il Risultato: La zona "sicura" e la zona "possibile" sono esattamente della stessa dimensione. Non esiste una "zona grigia" in cui un robot possa fare qualcosa di rischioso. Se il robot può esprimere un pensiero o un'azione, è garantito che sia governato.

6. La Prova della "Scatola Nera"

Gli autori non hanno solo scritto questo; hanno costruito una macchina di prova digitale massiccia (utilizzando uno strumento chiamato Rocq) con oltre 12.000 righe di codice e 454 prove matematiche.

Hanno dimostrato che se segui le loro regole, il robot non può accidentalmente fare qualcosa di brutto.
Hanno dimostrato che il robot è ancora abbastanza intelligente da svolgere compiti complessi (è "Turing completo", il che significa che può risolvere qualsiasi problema che un computer può risolvere).
Hanno persino costruito un "Registro" (come un diario a prova di manomissione) che registra ogni singolo controllo di permesso e azione, così che se qualcuno tenta di barare in seguito, il diario dimostra che l'ha fatto.

Riepilogo

Questo articolo dice: "Abbiamo costruito una gabbia matematica per le azioni dell'IA. All'interno di questa gabbia, l'IA è libera di fare tutto ciò che vuole, ma è fisicamente impossibile che faccia qualcosa di insicuro. Le regole non sono solo suggerimenti; sono le leggi della fisica per questo specifico sistema."

Hanno dimostrato questo matematicamente, lo hanno testato con milioni di scenari casuali e hanno mostrato che la versione "sicura" dell'IA funziona esattamente alla stessa velocità della versione "insicura". È un modo per rendere l'IA potente senza renderla pericolosa.

Riepilogo Tecnico: Semantica Algebrica dell'Esecuzione Governata

Enunciato del Problema

I sistemi attuali di workflow AI, che compongono chiamate a modelli linguistici con recupero dati, esecuzione di codice e accesso ad API esterne, mancano di un quadro formale per l'esecuzione governata. Gli approcci di governance esistenti rientrano in due categorie:

Approcci comportamentali (es. RLHF, Constitutional AI, guardrail) che filtrano o addestrano gli output dei modelli ma non affrontano la questione se gli effetti strutturali del sistema (chiamate API, scritture su file) attraversino un confine di governance.
Approcci strutturali che impongono invarianti al livello di esecuzione ma spesso mancano di prove verificate meccanicamente o non affrontano la composizione. Tipicamente verificano programmi individuali piuttosto che dimostrare che la governance è chiusa rispetto agli operatori di composizione del sistema.

La sfida fondamentale è stabilire una semantica in cui la governance non sia meramente un filtro esterno, ma una proprietà intrinseca e composizionale del modello di esecuzione stesso, garantendo che l'insieme dei programmi esprimibili coincida con l'insieme dei programmi governati.

Metodologia

Il documento sviluppa una semantica algebrica per l'esecuzione governata, meccanizzata in 32 moduli Rocq (circa 12.000 righe di codice, 454 teoremi, 0 lemmi ammessi). Il quadro di riferimento si basa su tre pilastri tecnici principali:

Alberi di Interazione (ITrees): I programmi sono rappresentati come alberi coinduttivi con tre tipi di nodi: Ret (valori puri), Tau (passi silenziosi) e Vis (eventi visibili). Il sistema utilizza il tipo DirectiveE per modellare 14 capacità esterne distinte (es. chiamate LLM, richieste HTTP, operazioni su file).
Algebra della Governance: La governance è assiomatizzata come un record parametrico (GovernanceAlgebra) definito da tre assiomi:
- Sicurezza: L'operatore di governance G garantisce che i programmi interpretati soddisfino un predicato di sicurezza coinduttivo (gov safe).
- Trasparenza: In condizioni permissive (tutti i controlli superati), l'interpretazione governata è osservativamente equivalente all'interpretazione non governata.
- Proprietà: I gestori equivalenti producono gestori governati equivalenti.
Categorie Monoidali ed Effetti Algebrici: Il quadro estende la categoria dei programmi (Mashin) con una struttura monoidale simmetrica. Vincola il sistema di effetti algebrici in modo tale che solo i gestori che portano un certificato di sicurezza verificato meccanicamente (GovernedHandler) possano essere costruiti nel frammento sicuro.

La formalizzazione utilizza la coinduzione parametrizzata (tramite la libreria paco) per dimostrare proprietà come gov safe e within caps (limiti delle capacità). Il sistema è estratto in OCaml e integrato come Funzione Implementata Nativa (NIF) nel runtime BEAM, con test basati su proprietà (70.000+ input casuali) che verificano l'equivalenza comportamentale tra la specifica e il runtime.

Contributi Chiave

1. Algebra della Governance Parametrica e Struttura Monoidale

Il documento definisce un record GovernanceAlgebra. Dai tre assiomi, ne deriva convergenza, chiusura composizionale e conservazione degli obiettivi per qualsiasi sistema che soddisfi tali assiomi.

Struttura Monoidale: È dimostrato che la categoria Mashin ammette una struttura monoidale simmetrica con coerenza verificata del pentagono, del triangolo e dell'esagono.
Conservazione della Governance: Crucialmente, ogni composizione tensoriale (composizione indipendente parallela/sequenziale) preserva la governance. Le prove sono computazionali piuttosto che coinduttive perché i morfismi strutturali sono puri.

2. Effetti Algebrici Governati

A differenza dei sistemi standard di effetti algebrici in cui qualsiasi gestore è valido, questo quadro vincola l'algebra dei gestori.

GovernedHandlers: Solo i gestori accompagnati da una prova che la loro interpretazione soddisfa gov safe possono appartenere al tipo GovernedHandler.
Nessun Effetto Ambientale: Un teorema dimostra che i programmi nell'insieme vuoto di capacità emettono solo direttive di osservabilità. Non possono eseguire chiamate LLM, richieste HTTP o altri effetti a meno che non siano esplicitamente autorizzati dall'insieme delle capacità.

3. Composizione Indicizzata per Capacità e Garanzia Duale

I programmi sono accompagnati da limiti di capacità verificati meccanicamente (CapMorphisms) validati da un reticolo di fiducia.

Composizione: Gli operatori di composizione sequenziale, tensoriale e a ramo preservano i limiti delle capacità.
Garanzia Duale: Un teorema centrale stabilisce che per qualsiasi programma, i limiti di capacità (ciò che il programma può fare) e la sicurezza della governance (ciò che il programma è autorizzato a fare) valgono simultaneamente. Le capacità statiche vincolano i potenziali effetti, mentre la governance dinamica garantisce che ogni effetto superi un controllo prima dell'esecuzione.

4. Il Confine Coterminale

Il risultato culminante del documento definisce la relazione tra esprimibilità e governance all'interno del modello formale:

Esprimibili (E): Programmi costruibili da quattro morfismi primitivi (code, reason, memory, call).
Governati (G): Programmi in cui l'interpretazione tramite G soddisfa gov safe.
Risultato: $E = G$ . Ogni programma esprimibile è governato sotto interpretazione, e ogni programma governato è l'immagine di un programma esprimibile.
Implicazioni: La completezza di Turing è preservata all'interno della governance. L'I/O non mediato è strutturalmente escluso dal frammento governato. Il diniego della governance è modellato come divergenza coinduttiva sicura (non terminazione), garantendo che non venga mai prodotto un risultato non sicuro.

Risultati e Verifica

Verifica Formale: L'intero quadro è meccanizzato in Rocq con zero lemmi ammessi.
Estrazione Runtime: Il codice OCaml estratto viene eseguito come NIF nel runtime BEAM.
Test: Test basati su proprietà con oltre 70.000 input casuali hanno mostrato zero disaccordi tra la specifica Rocq, il NIF estratto e l'interprete Elixir.
Prestazioni: Il percorso di esecuzione governata non aggiunge alcun sovraccarico misurabile (mediana 0,23 ms vs 0,24 ms per l'esecuzione non governata).
Semantica delle Tracce: Il quadro deriva proprietà a livello di traccia, dimostrando che l'esecuzione governata produce tracce "ben governate" in cui ogni evento di I/O è preceduto da un controllo di governance superato. Queste tracce mappano su un registro a prova di manomissione tramite concatenazione di hash.

Significato e Affermazioni

Il documento afferma di fornire il primo quadro meccanizzato che combina interpretazione vincolata dalla governance, effetti algebrici limitati per capacità e un teorema di esprimibilità/governanza coterminale su un modello di esecuzione basato su alberi di interazione.

Governance Strutturale vs. Contenutistica: Il lavoro si distingue dagli approcci comportamentali (che filtrano gli output) imponendo una governance strutturale (mediando gli effetti). Il Teorema 3.3 stabilisce che la governance strutturale fornisce garanzie che i controlli orientati all'output non possono replicare all'interno di questo modello formale.
Parametricità: L'GovernanceAlgebra è parametrica; i teoremi derivati valgono per qualsiasi sistema che soddisfi i tre assiomi, non solo per l'istanziazione specifica Mashin.
Composizionalità: Il quadro dimostra che la governance è chiusa rispetto a tutti gli operatori di composizione del sistema, colmando una lacuna nei lavori precedenti che verificavano programmi individuali ma non la loro composizione.
Limitazioni: Gli autori notano che il prodotto tensoriale è indipendente dalla sequenza (non realmente concorrente), la catena di hash si basa su un hash iniettivo astratto (richiedendo ulteriori lavori per hash crittografici concreti) e il wrapper NIF stesso non è formalmente verificato. Il confine coterminale è stabilito specificamente per il modello di esecuzione a quattro primitivi.

In sintesi, il documento sostiene che, assiomatizzando la governance come una struttura algebrica sugli alberi di interazione, è possibile realizzare un sistema in cui la governanza è coterminale con l'esprimibilità: se un programma può essere scritto nel sistema, è strutturalmente garantito che sia governato.