🤖 AI

The Two Boundaries: Why Behavioral AI Governance Fails Structurally

Questo articolo sostiene che la governance comportamentale dell'intelligenza artificiale fallisce strutturalmente perché è indecidibile verificare gli effetti di programmi arbitrari rispetto alle politiche (secondo il teorema di Rice), e propone la "governance coterminale" — una separazione architetturale del calcolo dagli effetti, in cui la governance è integrata nella pipeline di esecuzione — come unica soluzione per eliminare i rischi inevitabili e le inefficienze causate dalla disallineamento tra i confini delle capacità e quelli delle politiche.

Autori originali: Alan L. McCann

Pubblicato 2026-05-01

📖 5 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Alan L. McCann

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema Centrale: Il Disallineamento delle "Due Confini"

Immagina di avere un robot molto potente in grado di fare quasi tutto: inviare email, spostare denaro o modificare record di database. Per mantenerlo sicuro, costruisci una recinzione (governance) per dirgli cosa è autorizzato a fare.

Il documento sostiene che in quasi ogni sistema di intelligenza artificiale costruito oggi esistono due recinzioni diverse che non corrispondono:

La Recinzione delle Capacità (Ciò che il robot può fare): Questa è determinata dagli strumenti e dal codice del robot. Se il robot ha uno strumento per inviare email, può inviare email.
La Recinzione delle Regole (Ciò che il robot è autorizzato a fare): Questa è determinata dalle regole di sicurezza e dai filtri che hai scritto.

Il Problema: Queste due recinzioni sono quasi mai della stessa dimensione o forma.

La "Zona di Rischio" (Capacità non governata): A volte il robot possiede uno strumento che può utilizzare, ma le tue regole non coprono quello strumento specifico. È come se il robot avesse una porta di servizio segreta di cui la tua guardia di sicurezza non è a conoscenza. Il robot scivola attraverso e accadono cose negative.
La "Zona Teatrale" (Teatro della governance): A volte le tue regole sono molto severe riguardo a cose che il robot non può fare. È come avere una guardia di sicurezza che controlla il "volo" quando il robot non ha ali. Stai sprecando energia nel controllare cose che non sono possibili, mentre i veri pericoli (le porte di servizio) rimangono aperti.

Il documento afferma che cercare di risolvere questo problema aggiungendo più guardie o più regole rende semplicemente la "Zona Teatrale" più grande e la "Zona di Rischio" leggermente più piccola, ma non risolve mai il divario.

Perché Non Puoi Semplicemente "Osservare" il Robot (Il Problema Matematico)

Potresti pensare: "Perché non costruiamo un monitor super-intelligente che osserva il robot e lo ferma se fa qualcosa di sbagliato?"

Il documento utilizza una famosa regola matematica chiamata Teorema di Rice per spiegare perché questo è impossibile per un'intelligenza artificiale flessibile e intelligente.

L'Analogia: Immagina di cercare di prevedere la fine di un film guardando solo la sceneggiatura. Se il film è breve e semplice, puoi indovinare la fine. Ma se il film è una storia infinita e complessa che cambia in base al pubblico, nessun algoritmo può prevedere la fine con il 100% di certezza prima che il film venga proiettato.
Il Risultato: Poiché l'IA è così flessibile (può scrivere il proprio codice e combinare strumenti in modi nuovi), non puoi dimostrare matematicamente in anticipo che una specifica azione sarà sicura. Puoi solo indovinare. E poiché puoi solo indovinare, ci sarà sempre la possibilità che il robot faccia qualcosa di sbagliato che il tuo monitor non ha visto.

La Soluzione: Il "Prenditore di Ordini" contro lo "Chef"

Il documento propone una soluzione strutturale. Invece di cercare di osservare il robot e fermarlo dal fare cose cattive, cambi il modo in cui il robot è costruito.

Il Vecchio Modo (Governance Comportamentale):
Il robot è uno Chef che ha accesso diretto al fornello, ai coltelli e al gas. Tu ti trovi accanto a lui con un blocco note, urlando "Stop!" se cerca di afferrare l'ingrediente sbagliato.

Difetto: Lo Chef potrebbe afferrare il gas prima che tu possa urlare, oppure potrebbe trovare un nuovo modo di cucinare che non hai scritto sul tuo blocco note.

Il Nuovo Modo (Governance Strutturale / Governance Coterminale):
Separi lo Chef dalla Cucina.

Lo Chef (Computazione): All'IA è consentito solo pensare e scrivere una ricetta (una "direttiva"). Non può toccare il fornello, i coltelli o il gas. Non ha mani fisiche.
Il Prenditore di Ordini (Confine di Governance): Un sistema separato e rigoroso riceve la ricetta. Controlla: "Questa ricetta ha gli ingredienti giusti? È sicura?"
- Se sì, il Prenditore di Ordini entra in cucina e prepara il pasto.
- Se no, il Prenditore di Ordini butta via la ricetta.

Perché funziona:

L'IA non può fare nulla di male perché letteralmente non ha gli strumenti per toccare il mondo.
Ogni singola azione deve passare attraverso il Prenditore di Ordini.
Non esiste una "Zona di Rischio" perché l'IA non ha porte di servizio segrete.
Non esiste una "Zona Teatrale" perché il Prenditore di Ordini controlla solo ricette che possono effettivamente essere cucinate.

Perché il "Monitoraggio" Non è Abbastanza

Il documento spiega anche perché semplicemente "registrare" o "tracciare" ciò che fa l'IA non conta come governance.

L'Analogia: Immagina una telecamera di sicurezza in una banca. Se la telecamera vede un ladro, registra il crimine. Ma la telecamera non ha fermato la rapina.
La Matematica: Se una telecamera intercetta il 99% delle rapine, sembra ottimo. Ma se la banca ha 1.000 transazioni al giorno, la probabilità che almeno una rapina scivoli attraverso il 1% di divario è quasi del 100%.
Il Punto: Devi fermare l'azione prima che accada, non solo registrarla dopo.

La Conclusione

Il documento conclude che per governare davvero l'IA, non puoi semplicemente aggiungere più filtri o regole sopra i sistemi esistenti. Devi ricostruire il sistema in modo che l'IA possa solo chiedere cose, e un guardiano rigoroso e separato decida se quelle cose accadano.

Se i confini corrispondono: L'IA è sicura per progettazione (Governance Strutturale).
Se i confini non corrispondono: Avrai sempre un certo rischio e uno spreco di energie, indipendentemente da quante regole aggiungi (Governance Comportamentale).

Gli autori hanno dimostrato questo matematicamente utilizzando codice informatico (Coq) per mostrare che questo approccio del "Prenditore di Ordini" è l'unico modo per garantire che ogni azione sia governata.

1. Enunciato del Problema

Il documento affronta il fallimento strutturale fondamentale negli attuali framework di governance dell'IA riguardo agli effetti dell'IA (azioni eseguite nel mondo, come chiamate API, scritture su database e invocazioni di strumenti).

I Due Confini: Ogni sistema con effetti possiede due confini distinti:
1. Confine di Espressività: Definito dall'architettura del sistema (linguaggi, API, strumenti), rappresenta tutto ciò che il sistema può fare.
2. Confine di Governance: Definito da politiche e monitoraggio, rappresenta tutto ciò che al sistema è consentito fare.
La Divergenza: Nelle implementazioni attuali, questi confini sono definiti indipendentemente, creando tre regioni:
1. Capacità Governata (Sovrapposizione): L'unica regione funzionale in cui le capacità sono coperte dalla politica.
2. Capacità Non Governata (Rischio): Capacità che il sistema può eseguire ma che mancano di copertura di governance (ad esempio, esfiltrazione di dati tramite canali secondari non monitorati).
3. Teatro della Governance: Politiche che affrontano capacità che il sistema non possiede (ad esempio, filtrare i numeri di carta di credito nelle email quando il sistema non ha accesso a dati di carte di credito).
Il Problema Centrale: La governance comportamentale (filtri di contenuto, RLHF, monitoraggio) tenta di colmare questo divario aggiungendo livelli a posteriori. Tuttavia, poiché gli agenti IA possiedono un'espressività dinamica e Turing-completa, il confine di governance non può mai corrispondere strutturalmente al confine di espressività tramite mezzi comportamentali da soli.

2. Metodologia e Fondamento Teorico

Il documento impiega metodi formali e informatica teorica per analizzare il problema della governance.

Teorema di Rice (1953): Lo strumento teorico centrale. Il teorema di Rice afferma che per qualsiasi proprietà semantica non banale di un programma Turing-completo, è indecidibile se un programma arbitrario possieda tale proprietà.
- Applicazione: La proprietà "l'effetto di questo programma è conforme alla politica P?" è una proprietà semantica non banale. Pertanto, nessun algoritmo può decidere in generale se un agente IA Turing-completo arbitrario violerà una politica di governance.
Verifica Formale: Le affermazioni sono meccanizzate in Coq (454 teoremi su 36 moduli, zero lemma ammessi). Ciò fornisce certezza matematica riguardo alle proprietà strutturali della soluzione proposta.
Analisi Architettonica: Il documento contrappone gli approcci "comportamentali" (analisi degli output) agli approcci "strutturali" (separazione architetturale delle responsabilità).

3. Contributi Chiave

A. L'Impossibilità della Governance Comportamentale degli Effetti

Il documento dimostra che la governance comportamentale è strutturalmente insufficiente per il controllo degli effetti nei sistemi Turing-completi.

I filtri di contenuto, l'RLHF e l'IA Costituzionale operano su proprietà semantiche (cosa dice o intende il modello).
Poiché lo spazio delle azioni possibili è combinatorio e Turing-completo, gli approcci comportamentali possono produrre solo approssimazioni (falsi positivi/negativi).
Il monitoraggio è insufficiente perché è un sistema separato; osserva ma non controlla, portando a lacune di copertura inevitabili che si moltiplicano esponenzialmente con il numero di azioni.

B. L'Alternativa Strutturale: Separazione di Computazione ed Effetto

Il documento propone un radicale cambiamento architetturale: Separare la Computazione dall'Effetto.

Livello di Computazione: Codice puro che produce direttive (dati strutturati che descrivono gli effetti intesi) ma non può eseguire I/O.
Confine di Governance: Un singolo livello obbligatorio che riceve le direttive, le convalida rispetto alla politica (controllo sintattico) ed esegue l'effetto.
Risultato: La governance diventa una funzione della direttiva (sintassi), non del programma (semantica). Poiché le direttive sono dati strutturati, le loro proprietà sono decidibili per costruzione.

C. Governance Coterminale

Il documento definisce la Governance Coterminale come lo stato in cui il Confine di Espressività è uguale al Confine di Governance.

Definizione: Un sistema soddisfa la governance coterminale se (1) ogni effetto esprimibile passa attraverso un confine di governance (Sicurezza) e (2) i primitivi sono sufficientemente espressivi per indirizzare i calcoli desiderati (Sufficienza).
Proprietà:
- Nessuna Regione Non Governata: Nulla sfugge alla governance per costruzione.
- Nessuna Regione di Teatro: Ogni politica corrisponde a una capacità reale.
- Ragionamento Compositivo: Se i componenti A e B sono governati, la loro composizione è automaticamente governata.
- Intelligibilità Intrinseca: Il registro di governance è il registro di esecuzione stesso.

D. Conseguenze sull'Efficienza

Governance Comportamentale: Costo additivo. Ogni livello (filtro, monitor) aggiunge latenza e calcolo proporzionali al throughput ( $k \times$ throughput).
Governance Strutturale: Assorbe l'infrastruttura. I controlli di governance fanno parte della pipeline di esecuzione. Il costo è lineare con il throughput solamente, senza un sistema separato da mantenere.
Dati Empirici: Su Apple Silicon, il sovraccarico dell'esecuzione governata è stato misurato a 0,23ms mediano (rispetto a 0,24ms per l'esecuzione non governata), dimostrando che la governance strutturale è indistinguibile dalla velocità di esecuzione nativa.

4. Risultati

Dimostrazione Teorica: Il teorema di Rice conferma che la governance comportamentale di agenti Turing-completi è indecidibile nel caso generale.
Verifica Formale: Le prove in Coq dimostrano che il proposto "Principio di Separazione" produce un sistema in cui valgono i teoremi di Sicurezza e Sufficienza, garantendo confini coterminanti.
Prestazioni: La governance strutturale introduce una latenza trascurabile rispetto ai livelli comportamentali, che scalano male all'aumentare del numero di livelli di governance.
Modalità di Fallimento: Il documento dimostra che, senza separazione strutturale, il "Rischio" (capacità non governate) e il "Teatro" (politiche per capacità inesistenti) sono strutturalmente inevitabili.

5. Significato e Implicazioni

Cambio di Paradigma: Il documento sostiene che la sicurezza dell'IA non può essere raggiunta "pattinando" le architetture esistenti con più filtri o monitor. Richiede una riprogettazione fondamentale in cui gli effetti non sono capacità dirette del codice, ma mediati attraverso un confine governato.
Distinzione dei Livelli: Chiarisce che la Governance dei Contenuti (modellare ciò che dicono gli LLM) e la Governanza degli Effetti (controllare ciò che fanno gli agenti) sono problemi distinti che richiedono meccanismi diversi. La governance dei contenuti è comportamentale; la governance degli effetti deve essere strutturale.
Politica vs. Applicazione: Il documento sottolinea che la governance strutturale garantisce l'applicazione di una politica con certezza matematica, ma non garantisce la correttezza della politica stessa. La progettazione delle politiche rimane un problema di giudizio umano.
Limitazioni Pratiche: L'approccio richiede una riprogettazione completa dei framework di agenti esistenti (che attualmente mescolano I/O e logica). Non può essere adattato come libreria. Impone inoltre una disciplina agli sviluppatori (computazione pura vs. direttive) che potrebbe influire sulla velocità di prototipazione.

Conclusione

"The Two Boundaries" conclude che per i sistemi IA con agenzia, la sicurezza strutturale è l'unica strada verso un rischio residuo zero. Gli approcci comportamentali possono ridurre il rischio ma non possono eliminare la "regione non governata" a causa dell'indecidibilità delle proprietà semantiche nei sistemi Turing-completi. La Governance Coterminale, ottenuta separando la computazione dall'effetto, è il criterio architetturale necessario per garantire che ogni azione intrapresa da un'IA sia provatamente governata.