Technisch Overzicht: Constitutionele Meta-STPA

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet om de generatie van veiligheidsanalyse-artefacten (verliezen, gevaren, onveilige regelacties [Unsafe Control Actions (UCA's)] en restricties) te automatiseren binnen rigoureuze kaders zoals Systems-Theoretic Process Analysis (STPA). Echter, er bestaat een kritiek blinde vlek: terwijl de doelssystemen (bijv. vliegtuigen, medische apparaten) worden geanalyseerd, worden de door LLM ondersteunde instrumenten die de analyse uitvoeren zelden onderzocht. Deze instrumenten zijn zelf veiligheidsrelevante systemen die standaarden kunnen hallucineren, onverifieerbare restricties kunnen emitteren en kunnen falen in het handhaven van audit trails. Het artikel stelt de fundamentele vraag: "Wie analyseert de analist?" De huidige literatuur mist een methode om het door AI-ondersteunde veiligheidsinstrument zelf formeel te analyseren, waardoor het kwetsbaar blijft voor precies die onveilige regelacties die STPA juist bedoeld is te voorkomen.

2. Methodologie: Constitutionele Meta-STPA

De auteurs stellen Constitutionele Meta-STPA voor, een gesloten-lus methodologie die STPA toepast op de klasse van AI-ondersteunde veiligheidstools om hun eigen governance-constitutie af te leiden.

2.1. Het Meta-STPA Proces

In plaats van een fysiek systeem te analyseren, behandelt het instrument de AI-veiligheidspijplijn als het te analyseren systeem.

• Controllers: De LLM, de validatorlaag, de voting harness, de exportpoort en de on-call engineer.
• Regelacties (Control Actions): Genereren van verliezen/gevaren/UCA's, het signaleren van fouten, het rapporteren van onenigheid tussen modellen en het exporteren van rapporten.
• Afleiding: Door de vier typen UCA's over deze regelacties heen te doorlopen, identificeert het systeem gevaren die uniek zijn voor AI-tools (bijv. niet-gelogde LLM-aanroepen, stille versie-drift, gemanipuleerde beschrijvingen).
• Restrictiegeneratie: Elk geïdentificeerd gevaar levert een veiligheidsrestrictie op, wat een governance-constitutie vormt.

2.2. De Structuur van de Constitutie

De afgeleide constitutie bestaat uit 29 principes die gebonden zijn aan specifieke code-handhavingspunten:

• 21 Tool Principles (TP): Een gedragslaag die de inhoud van de analyse vormgeeft (bijv. systematische enumeratie, geen fabricage, meetbare restricties).
• 8 Meta-Safety Principles (MSP): Een governance-laag die de machinerie van de tool beheert (bijv. audit logging, run manifests, modelversie-pinning, semantische matching voting, validator-gegate export).

2.3. De Pijplijn Implementatie

Het instrument werkt via een vijfstaps pijplijn ($\Pi$) die een systeembeschrijving ($S$) en een constitutie ($C$) mapt naar een artefact ($A$):

1. LLM Generatie: Vrije generatie van verliezen, gevaren en controle-structuren.
2. Deterministische Enumeratie: De engine creëert vaste slots voor elke (controller, actie, UCA-type) triple. De LLM moet deze invullen met een concrete UCA of een expliciete "niet van toepassing" rechtvaardiging. Dit waarborgt structurele volledigheid onafhankelijk van de nauwgezetheid van het model.
3. Restrictiegeneratie: Er wordt één restrictie-slot gecreëerd per niet-N/A UCA.
4. Validatie: Acht deterministische regex/structuur validators controleren op volledigheid, vage taal, overmoed en ontbrekende bewijslast.
5. Gating: Een "Validator-Gated Export" (MSP-07) blokkeert redistribueerbare artefacten (PDF's, e-mails) als er validatiefouten zijn, tenzij een engineer een geregistreerde override verstrekt.

2.4. Reproduceerbaarheid en Auditing

• Manifesten: Elke run genereert een run manifest.json die de toolversie, het model, de seed, de temperatuur en de SHA-256 hashes van de systeembeschrijving en de constitutie vastlegt.
• Audit Logs: Elke LLM-aanroep wordt gelogd met prompt/respons SHA-256 hashes, token counts en latentie.
• Semantische Voting: Om onenigheid tussen modellen af te handelen, gebruikt het instrument een token-Jaccard similarity matcher (drempelwaarde $\tau=0.4$), in plaats van strikte ID-gelijkheid, wat synoniemen-afhandeling mogelijk maakt terwijl determinisme behouden blijft.

3. Belangrijkste Bijdragen

1. Meta-STPA Methode: Een methode die de governance-constitutie van een veiligheidstool afleidt door STPA op de tool zelf toe te passen, resulterend in een gepubliceerde 29-principes constitutie.
2. Gecontroleerde Gedrags-evaluatie: Een experiment dat de impact van constitutionele lagen isoleert, waarbij wordt aangetoond dat taakspecifieke Tool Principles de veiligheid gedrag aanzienlijk verbeteren, terwijl generieke "helpful/harmless" preambles dat niet doen.
3. Coverage Framework: Een formele definitie van "constitution-marginal coverage" met een soundness lemma. Het artikel rapporteert een negatief resultaat: lexicale coverage is niet monotoon met de kracht van de constitutie op een vast systeem, maar fungeert als een systeem-discriminator (het onderscheidt AI-tools van hardware).
4. Volledig Reproduceerbaar Artefact: Publicatie van code, constituties, manifesten en seeded calls waardoor elk resultaat met één enkele opdrachtregel kan worden afgespeeld.

4. Experimentele Resultaten

4.1. Zelf-afleiding (Kan het instrument zichzelf analyseren?)

• Sterke Frontier Modellen: Een voting ensemble van claude-opus-4.8 en claude-sonnet-4 herstelde 18/21 canonieke Tool Principles en alle 8/8 Meta-Safety Principles uit het eigen ontwerp van de tool.
• Zwakke Modellen: Een zwakker paar (gpt-4o-mini + gpt-4o) herstelde slechts 12/21 canonieke en 3/8 meta-principes.
• Conclusie: De meta-laag is model-beperkt, niet constitutioneel beperkt. De principes zijn door de capaciteit van de modellen uit het ontwerp te herleiden, en worden niet enkel geclaimd.
• Generalisatie: Toegepast op een tweede, onafhankelijk geautoriseerde AI-tool (een code-review assistent), herstelde het sterke ensemble alle 8/8 governance principes, wat bevestigt dat dit eigenschappen zijn van de klasse van AI-tools, en niet artefacten van het specifieke tool-ontwerp.

4.2. Gedragsimpact (Verandert de constitutie het gedrag?)

• Setup: 20 adversariële probes werden getest tegen vijf varianten van de constitutie (Geen, Generiek, Tool Principles, Tool+Generic, Volledig).
• Bevindingen:
  • Het toevoegen van de 21 Tool Principles (cv2) verhoogde de gemiddelde veiligheidsscore van 1.03 naar 1.85 (+79%, $p<0.001$, $d=1.29$).
  • Generieke "helpful/harmless" preambles (cv1) vertoonden geen significante verbetering ten opzichte van geen constitutie.
  • Het toevoegen van de 8 Meta-Safety Principles (MSP) aan de Tool Principles leidde niet tot verdere verbetering van de single-turn adversariële scores, aangezien MSP's de machinerie tijdens de analyse beheren (logging, gating) en niet de tekstgeneratie zelf.

4.3. Coverage en Construct Validiteit

• Niet-monotoniteit: Op een vast systeem leidde het verhogen van de constitutionele kracht niet tot een lineaire toename van de lexicale meta-coverage. Sterker nog, de lege controle (cv0) bracht vaak meer meta-gevaren naar voren omdat deze gevaren inherent zijn aan de structuur van de AI-tool.
• Systeem Discriminatie: De meta-coverage was 0/8 voor hardware-systemen (AEB, infuuspomp, UAV) maar steeg naar 6/8 voor het AI self-systeem. Dit bevestigt dat coverage een discriminator is tussen AI-tools en hardware, en geen "dose" metriek die gemaximaliseerd moet worden.
• Reproduceerbaarheid: Onder vaste seeds vertoonde de tool een hoge stabiliteit over vendors heen (gemini-2.5-flash was exact reproduceerbaar; claude-sonnet-4 vertoonde een lage variantie).

5. Betekenis en Claims

Het artikel beweert het antwoord te geven op "Wie analyseert de analist?" door aan te tonen dat de analist zichzelf kan analyseren.

• Gegronde Constitutie: De governance-principes zijn geen handmatig geconstrueerde beweringen, maar zijn afgeleid van het eigen ontwerp van de tool via STPA.
• Operationele Veiligheid: De constitutie wordt afgedwongen via code (validators, gating, manifesten) in plaats van enkel via prompt-instructies.
• Model Capabiliteit als Bottleneck: Het vermogen om governance-principes te herleiden hangt af van de capaciteit van de onderliggende LLM, niet van de formulering van de constitutie.
• Transparantie: De auteurs rapporteren openlijk het falen om een eerder verkennend resultaat (een monotone stijging in coverage) te repliceren, en herformuleren de coverage-metriek als een systeem-discriminator in plaats van een dose-response curve.

Het artikel concludeert dat voor vertrouwen in LLM-ondersteunde veiligheidstools, zij een taakspecifieke gedragslaag (Tool Principles) en een governance-substraat (Meta-Safety Principles) moeten bevatten die hard-coded in de executie-flow van de tool zijn opgenomen, om te garanderen dat de eigen veiligheidsrestricties van de tool auditeerbaar en afdwingbaar zijn.