Riepilogo Tecnico: Meta-STPA Costituzionale

1. Definizione del Problema

I Large Language Models (LLM) vengono sempre più utilizzati per automatizzare la generazione di artefatti di analisi della sicurezza (perdite, pericoli, Azioni di Controllo Non Sicure [UCA] e vincoli) all'interno di framework rigorosi come il Systems-Theoretic Process Analysis (STPA). Tuttavia, esiste un punto cieco critico: mentre i sistemi target (ad esempio, aeromobili, dispositivi medici) vengono analizzati, gli strumenti assistiti da LLM che eseguono l'analisi sono raramente sottoposti a scrutinio. Questi strumenti sono essi stessi sistemi rilevanti per la sicurezza, capaci di allucinare standard, emettere vincoli non verificabili e fallire nel mantenere tracce di audit. Il documento pone la domanda fondamentale: "Chi analizza l'analizzatore?" La letteratura attuale manca di un metodo per analizzare formalmente lo strumento di sicurezza assistito da IA stesso, lasciandolo vulnerabile proprio alle azioni di controllo non sicure che l'STPA è progettato per prevenire.

2. Metodologia: Meta-STPA Costituzionale

Gli autori propongono la Meta-STPA Costituzionale, una metodologia a ciclo chiuso che applica l'STPA alla classe di strumenti di sicurezza assistiti da IA per derivare la propria costituzione di governance.

2.1. Il Processo Meta-STPA

Invece di analizzare un sistema fisico, lo strumento tratta la pipeline di sicurezza dell'IA come il sistema sotto analisi.

• Controllori: L'LLM, lo strato di validazione, l'armatura di voto (voting harness), il gate di esportazione e l'ingegnere reperibile.
• Azioni di Controllo: Generazione di perdite/pericoli/UCA, segnalazione di errori, segnalazione di disaccordo tra modelli ed esportazione di report.
• Derivazione: Attraverso il percorso dei quattro tipi di UCA su queste azioni di controllo, il sistema identifica pericoli unici per gli strumenti IA (ad esempio, chiamate LLM non loggate, deriva silenziosa delle versioni, descrizioni manomesse).
• Generazione di Vincoli: Ogni pericolo identificato produce un vincolo di sicurezza, formando una costituzione di governance.

2.2. Struttura della Costituzione

La costituzione derivata consiste in 29 principi vincolati a specifici punti di enforcement del codice:

• 21 Principi dello Strumento (TP): Uno strato comportamentale che modella il contenuto dell'analisi (ad esempio, enumerazione sistematica, assenza di fabbricazione, vincoli misurabili).
• 8 Principi di Meta-Sicurezza (MSP): Uno strato di governance che governa il meccanismo dello strumento (ad esempio, logging dell'audit, manifest di esecuzione, fissaggio della versione del modello, voto per corrispondenza semantica, esportazione protetta dal validatore).

2.3. Implementazione della Pipeline

Lo strumento opera come una pipeline a cinque fasi ($\Pi$) che mappa una descrizione del sistema ($S$) e una costituzione ($C$) in un artefatto ($A$):

1. Generazione LLM: Generazione a formato libero di perdite, pericoli e strutture di controllo.
2. Enumerazione Deterministica: Il motore crea slot fissi per ogni tripla (controllore, azione, tipo di UCA). L'LLM deve riempirli con una UCA concreta o una giustificazione esplicita di "non applicabilità". Ciò garantisce la completezza strutturale indipendentemente dalla diligenza del modello.
3. Generazione di Vincoli: Viene creato uno slot di vincolo per ogni UCA non N/A.
4. Validazione: Otto validatori deterministici basati su regex/struttura controllano completezza, linguaggio vago, eccessiva sicurezza e mancanza di evidenze.
5. Gating: Un "Export protetto dal Validatore" (MSP-07) blocca gli artefatti ridistribuibili (PDF, email) se sono presenti errori di validazione, a meno che un ingegnere non fornisca un override registrato.

2.4. Riproducibilità e Audit

• Manifest: Ogni esecuzione genera un run manifest.json che fissa la versione dello strumento, il modello, il seed, la temperatura e gli hash SHA-256 della descrizione del sistema e della costituzione.
• Log di Audit: Ogni chiamata LLM è loggata con gli hash SHA-256 di prompt/risposta, conteggio dei token e latenza.
• Voto Semantico: Per gestire il disaccordo tra i modelli, lo strumento utilizza un matcher di somiglianza Jaccard dei token (soglia $\tau=0.4$), piuttosto che l'uguaglianza rigorosa di ID, consentendo la gestione dei sinonimi pur mantenendo il determinismo.

3. Contributi Chiave

1. Metodo Meta-STPA: Un metodo che deriva la costituzione di governance di uno strumento di sicurezza applicando l'STPA allo strumento stesso, risultando in una costituzione pubblicata di 29 principi.
2. Valutazione Comportamentale Controllata: Un esperimento che isola l'impatto dei livelli costituzionali, dimostrando che i Principi dello Strumento specifici per il compito migliorano significativamente il comportamento di sicurezza, mentre i preamboli generici "utili/innocui" non lo fanno.
3. Framework di Copertura: Una definizione formale di "copertura marginale costituzionale" con un lemma di correttezza. Il documento riporta un risultato negativo: la copertura lessicale non è monotona rispetto alla forza della costituzione su un sistema fisso, ma agisce come un discriminatore di sistema (distinguendo gli strumenti IA dall'hardware).
4. Artefatto di Piena Riproducibilità: Rilascio di codice, costituzioni, manifest e chiamate con seed che permettono di riprodurre ogni risultato da una singola riga di comando.

4. Risultati Sperimentali

4.1. Auto-derivazione (Lo strumento può analizzare se stesso?)

• Modelli di Frontiera Forti: Un ensemble di voto composto da claude-opus-4.8 e claude-sonnet-4 ha recuperato 18/21 dei Principi dello Strumento canonici e tutti gli 8/8 i Principi di Meta-Sicurezza dal design dello strumento stesso.
• Modelli Deboli: Una coppia più debole (gpt-4o-mini + gpt-4o) ha recuperato solo 12/21 dei principi canonici e 3/8 dei principi meta.
• Conclusione: Il livello meta è limitato dal modello, non dalla costituzione. I principi sono recuperabili dal design da parte di modelli capaci, non solo asseriti.
• Generalizzazione: Applicato a un secondo strumento IA indipendente (un assistente per la revisione del codice), l'ensemble forte ha recuperato tutti gli 8/8 i principi di governance, confermando che queste sono proprietà della classe degli strumenti IA, non artefatti del design del particolare strumento.

4.2. Impatto Comportamentale (La costituzione cambia il comportamento?)

• Setup: Sono state testate 20 sonde avversarie contro cinque varianti di costituzione (Nessuna, Generica, Principi dello Strumento, Strumento+Generica, Completa).
• Risultati:
  • L'aggiunta dei 21 Principi dello Strumento (cv2) ha elevato il punteggio medio di sicurezza da 1.03 a 1.85 (+79%, $p<0.001$, $d=1.29$).
  • I preamboli generici "utili/innocui" (cv1) non hanno mostrato alcun miglioramento significativo rispetto all'assenza di costituzione.
  • L'aggiunta degli 8 Principi di Meta-Sicurezza (MSP) ai Principi dello Strumento non ha ulteriormente migliorato i punteggi di sicurezza in singolo turno, poiché gli MSP governano il meccanismo di analisi (logging, gating) e non la generazione del testo in sé.

4.3. Copertura e Validità di Costrutto

• Non-Monotonicità: Su un sistema fisso, l'aumento della forza della costituzione non ha aumentato linearmente la meta-copertura lessicale. Di fatto, il controllo vuoto (cv0) spesso ha fatto emergere più meta-pericoli perché questi pericoli sono intrinseci alla struttura dello strumento IA.
• Discriminazione del Sistema: La meta-copertura era 0/8 per i sistemi hardware (AEB, pompa di infusione, UAV), ma è salita a 6/8 per l'auto-sistema IA. Ciò conferma che la copertura è un discriminatore tra strumenti IA e hardware, non una metrica "dose-risposta" da massimizzare.
• Riproducibilità: Sotto seed fissi, lo strumento ha mostrato un'alta stabilità tra i vendor (gemini-2.5-flash era esattamente riproducibile; claude-sonnet-4 mostrava bassa varianza).

5. Significato e Assertioni

Il documento sostiene di rispondere a "Chi analizza l'analizzatore?" dimostrando che l'analizzatore può analizzare se stesso.

• Costituzione Radicata: I principi di governance non sono asserzioni create a mano, ma sono derivati dal design dello strumento stesso tramite STPA.
• Sicurezza Operativa: La costituzione è applicata tramite codice (validator, gating, manifest) piuttosto che tramite semplici istruzioni di prompt.
• Capacità del Modello come Collo di Bottiglia: La capacità di recuperare i principi di governance dipende dalla capacità del modello LLM sottostante, non dalla formulazione della costituzione.
• Trasparenza: Gli autori riportano apertamente l'incapacità di replicare un precedente risultato esplorativo (un aumento monotono della copertura), riformulando la metrica di copertura come un discriminatore di sistema piuttosto che una curva dose-risposta.

Il documento conclude che affinché gli strumenti di sicurezza assistiti da LLM possano essere affidabili, devono includere uno strato comportamentale specifico per il compito (Principi dello Strumento) e un substrato di governance (Principi di Meta-Sicurezza) che sia codificato nel flusso di esecuzione dello strumento, garantendo che i vincoli di sicurezza dello strumento stesso siano auditabili e applicabili.